Оценивание параметров модели. Пример использования метода максимального правдоподобия.

Оценивание параметров модели

Оценивание параметров модели. Пример использования метода максимального правдоподобия.

 

А.М. Пятницкий

 

 

Попытаемся проникнуть в тайный смысл следующей фразы основателя современной статистики Рональда Фишера: “нет ничего проще, чем придумать оценку параметра”. Kлассик иронизировал:  он имел в виду, что легко придумать плохую оценку. Хорошую оценку не надо придумывать(!) – ее надо получать стандартным образом, используя принцип максимального правдоподобия.

 

Задача. Согласно H0 математические ожидания трех независимых пуассоновских случайных величин  связаны линейной зависимостью: .

Даны реализации этих величин . Требуется оценить два параметра линейной зависимости и проверить H0.

Для наглядности можно представить линейную регрессию , которая в точках принимает средние значения . Пусть получены значения . Что можно сказать о величине и справедливости H0?

 

 

Наивный подход

 

Казалось бы, оценить параметры можно из элементарного здравого смысла. Оценку наклона  прямой регрессии получим, поделив приращение при переходе от x1 =-1 к x3=+1 на , а оценку значениянайдем как среднее арифметическое:

Легко проверить, что математические ожидания оценок равны (оценки несмещенные).

После того как оценки получены, H0 проверяют как обычно с помощью хи-квадрат критерия Пирсона:

Оценки ожидаемых частот можно получить, исходя из оценок :

При этом, если наши оценки ”правильные”, то расстояние Пирсонабудет распределено как случайная величина хи-квадрат с одной степенью свободы: 3-2=1. Напомним, что мы оцениваем два параметра, подгоняя данные под нашу модель. При этом сумма  не фиксирована, поэтому дополнительную единицу вычитать не нужно.

            Однако, подставив , получим странный результат:

 

С одной стороны ясно, что для данных частот нет оснований отвергать H0, но мы не в состоянии это проверить с помощью хи-квадрат критерия, так как оценка  ожидаемой частоты в первой точке оказывается отрицательной. Итак, найденные из “здравого смысла” оценки не позволяют решить задачу в общем случае.

 

Метод максимального правдоподобия

 

Случайные величины независимы и имеют пуассоновское распределение. Вероятность получить значения  равна:

Согласно принципу максимального правдоподобия значения неизвестных параметров надо искать, требуя, чтобы вероятность получить значения  была максимальной:

Еслипостоянны, то мы имеем дело с обычной вероятностью. Фишер предложил новый термин “правдоподобие” для случая, когда  постоянны  , а переменными считаются . Если правдоподобие оказывается произведением вероятностей независимых событий, то естественно превратить произведение в сумму и дальше иметь дело с логарифмом правдоподобия:

Здесь все слагаемые, которые не зависят от , обозначены и в окончательном выражении отброшены. Чтобы найти максимум логарифма правдоподобия, приравняем производные по к нулю:

Решая эти уравнения, получим:

Таковы “правильные” выражения для оценок. Оценка среднего значения совпадает с тем, что предлагал здравый смысл, однако оценки для наклона различаются: . Что можно сказать по поводу формулы для ?

1) Кажется странным, что ответ зависит от частоты в средней точке, так как величина определяет угол наклона прямой.

2) Тем не менее, если справедлива H0 (линия регрессии - прямая), то при больших значениях наблюдаемых частот, они становятся близки к своим математическим ожиданием. Поэтому: , и оценка максимального правдоподобия становится близка к результату, полученному из здравого смысла.

3) Преимущества оценки начинают ощущаться, когда мы замечаем, что все ожидаемые частоты теперь оказываются всегда положительными:

 

 

Это было не так для “наивных” оценок, поэтому применить хи-квадрат критерий можно было не всегда (попытка заменить отрицательную или равную нулю ожидаемую частоту на единицу не спасает положения).

4) Численные расчеты показывают, что наивными оценками можно пользоваться только, если ожидаемые частоты достаточно велики. Если использовать их при малых значениях, то вычисленное расстояние Пирсона часто будет оказываться чрезмерно большим.

 

Вывод

Правильный выбор оценки важен, так как в противном случае проверить гипотезу с помощью критерия хи-квадрат не удастся. Оценка, казалось бы, очевидная может оказаться непригодной!

Добавить комментарий


Защитный код
Обновить