4. СТАТИСТИЧНЕ ОЦІНЮВАННЯ

Поняття статистичного оцінювання параметрів

Основною метою статистичного оцінювання є визначення дійсних пара­метрів генеральної сукупності на основі вивчення вибіркових показників. При цьому вибірка повинна достатньо добре відтворювати властивості генераль­ної сукупності, тобто бути представницькою або репрезентативною. Щоб досягти репрезентативності, використовують спеціальні методи формування вибірки. Найпоширенішими вважаютьсярандомізовані (прості і системати­чні), стратифіковані та кластерні вибірки.

Проста рандомізована вибірка формується зі списку об'єктів генеральної сукупності за системою відбору, що гарантує рівну ймовірність попадання кожного об'єкта у вибірку. У цьому варіанті розрізняють три групи: всю ге­неральну сукупність; групу рандомізації, з якої проводиться відбір; експери­ментальну рандомізовану вибірку. На практиці способом випадкового відбо­ру формують спочатку будь-яку групу потенційних випробовуваних. Після вимірювань властивостей їх розподіляють по групах рівноімовірнісним спо­собом. В основу технологій рандомізації покладено процес генерації послі­довності псевдовипадкових чисел.

Систематична рандомізована вибірка відповідає принципам рівноімові-рнісного відбору і вважається оптимальною тоді, коли генеральна сукупність складає великий список об'єктів. Наприклад, для вибірки обсягом 100 об'єк­тів з генеральної сукупності обсягом 100000 можна визначити перший випа­дковий об'єкт (індекс), а потім взяти ще 99 випадкових індексів, причому ко­жний наступний об'єкт повинен відстояти від першого взятого на к позицій.

Стратифікована вибірка гарантує репрезентативність вибраних осіб по відношенню до обраних у дослідженні властивостей. Наприклад, якщо у складі досліджуваної сукупності присутніми є 600 осіб жіночої і 400 - чоло­вічої статі, то репрезентативна вибірка обсягом у 100 студентів повинна збе­регти пропорційне (60% і 40%) представництво осіб кожної статі. У разі про­стої (або систематичної) рандомізованої вибірки якісне і кількісне співвідно­шення осіб може бути неадекватним до генеральної сукупності. Використан­ня стратифікованої вибірки обмежено тим, що досить часто склад генеральної сукупності щодо основних підгруп залишається невідомим.

Кластерна вибірка здатна вирішувати проблему неповноти складу підгруп формування. Кластерний метод передбачає поетапний вибір груп (кластерів), а не окремих елементів. Наприклад, на першому етапі отримання репрезентати­вної вибірки студентів може виконуватися формування списку базових на­вчальних дисциплін. Тоді групою може бути список студентів різних спеціа­льностей, що відвідують заняття з певного навчального предмета. Якщо спи­сок дисциплін достатньо великий (30-40 груп), можна випадковим методом відібрати 8-10 таких груп. Якщо групи нечисленні, можна досліджувати всіх студентів, якщо ні - можна сформувати більш дрібні рандомізовані вибірки. Ступінь і глибина розгалуження (кількість етапів групування) визначається метою та умовами дослідження. Кластерні вибірки менш надійні, ніж імовір­нісні із-зі наявності декількох етапів відбору, кожний з яких додає свою по­хибку. У разі ж рандомізованої вибірки дослідник ризикує лише один раз. То­му математична теорія вибіркового методу здебільшого базується на аналізі власно імовірнісної вибірки.

Теоретичну основу оцінювання з використанням вибіркового методу складає закон великих чисел, згідно з яким при необмеженому збільшені об­сягу вибірки випадкові характеристики вибірки наближаються (сходяться за ймовірністю) до певних параметрів генеральної сукупності (див. розділ 3.3).. Наприклад, для скінченної генеральної сукупності вибіркове середнє X і дисперсія 8Х2 наближаються до своїх генеральних показників (середнього ц і дисперсії а2 відповідно). У разі нескінченної генеральної сукупності (И = <») замість середнього ц і дисперсії а2 мається на увазі математичне сподівання M[X] і дисперсія D[X розподілу досліджуваної випадкової величини x.

Отже, генеральна сукупність (обсяг И) і вибірка (обсяг п) можуть харак­теризуватися тими ж самими змістовними показниками: для генеральної су­купності вони мають назву «параметри», для вибіркової сукупності - «ста­тистики» (табл. 4.1). Статистики, що використовуються як наближене зна­чення невідомого параметра генеральної сукупності називається статистич­ною оцінкою.

Таблиця 4.1

Основні показники генеральної і вибіркової сукупностей

 

 

Показники сукупностей

Генеральна сукупність

Вибірка

параметри:

статистики:

Середнє арифметичне

ц

X

Дисперсія

2

а

2

Стандартне відхилення

а

 

Коефіцієнт кореляції

Рху

 

Обсяг

N

п

 

Таким чином, статистична оцінка 0- це вибіркова статистика, яка мі­стить інформацію про відповідний параметр генеральної сукупності 0. Більш того, оцінювання параметра виконується на основі статистики, яка в свою чергу є випадковою величино, оскільки реалізується у випробуваннях як п незалежних результатів спостережень (наприклад, значень х1, х2, хп випадкової величини X). Отже, оцінка © як випадкова величина залежить і від закону розподілу досліджуваної випадкової величини X, і від обсягу вибі­рки п.

Узагальнюючи вищесказане, оцінкою можна називати будь-яку функцію результатів спостережень &(х1, х2, ••• хп), за допомогою якої роблять ви­сновки щодо значення параметру генеральної сукупності ©(X) .

Проте в дослідженнях можна отримати декілька різних функцій від ре­зультатів спостережень, які можна використовувати у якості оцінки парамет­ру. Наприклад, для оцінки математичного сподівання випадкової величини (генерального середнього) можна запропонувати вибіркові показники: серед­нє, моду, медіану, які (див. розділі 2.2) можуть приймати різні значення. На­звати «найкращий» показник як оцінку на основі індивідуального значення неможливо. Принципово це можна зробити лише на основі вибіркового роз­поділу оцінки, а саме: якщо розподіл оцінки &„ концентрується поблизу іс­тинного значення параметру & , то з більшою ймовірністю можна прийняти, що оцінка незначно відрізнятиметься від параметру. Строго кажучи: мате­матичне сподівання квадрату відхилення оцінки від параметра має бути як­найменшим:

M[0n -0]2 = min.         (4.1)

Така основна умова стосовно «найкращої» оцінки.

Статистичне оцінювання підрозділяють на точкове та інтервальне.

Точкове оцінювання. Властивості статистичних оцінок

Точкове оцінювання застосовують для приблизної оцінки параметрів генеральної сукупності за статистиками вибірки. Спостережені вибіркові показники є статистичними оцінками параметрів генеральної сукупності з певною точністю (або з певними статистичними похибками). До того ж ста­тистичні оцінки є випадковими величинами, яким притаманний неконтро-льований розкид навіть, якщо вибірки взято з тієї ж самої генеральної сукуп­ності.

При оцінюванні бажано, щоб втрата інформації, яка може бути суттєвою для прийняття статистичних рішень, була мінімальною. Отже, для того, щоб оцінки були надійними, вони мають відповідати деяким вимогам, тобто во­лодіти певними властивостями.

Основними властивостями статистичних оцінок є спроможність, незмі-щенність, ефективність:

• Спроможність. Статистична оцінка ®n спроможна тоді, коли при по­стійному збільшенні обсягу вибірки (n —»со) вона наближається до значення параметра ©, який оцінює. Статистика ©„ є спроможною оцінкою парамет­


ра © , коли для будь-якого додатного числа є є справедливим співвідношення

limР{\вп -0|>£} = 0.   (4.2)

Наприклад, вибіркове середнє X є спроможною оцінкою генерального се­реднього fi, оскільки при збільшені числа випробувань X наближається до свого математичного сподівання (див. вираз (3.45)). Спроможною оцінкою вважається і вибіркова дисперсія.

Вимога спроможності означає, що оцінка має нести практичний сенс, на­ближати нас до істини і не бути абсурдною. З другого боку, у більшості ситу­ацій можна запропонувати декілька спроможних оцінок для одного й того ж самого параметра. Отже, властивість спроможності необхідна, але недостатня вимога. її необхідно доповнити іншими вимогами.

• Незміщенність. Статистика вважається незміщеною, якщо її матема­тичне сподівання дорівнює параметру, що оцінюється. Вибіркове середнє X є незміщеною оцінкою генерального середнього fi, оскільки М[ X ] =ц, чого не можна сказати, наприклад, про вибіркові показники дисперсії. Для математи­чного сподівання можна записати


M [ X ] = M


 

,=]

Еx


1 M[£] =1ЕM[X] = М. (4.3) n    7=1       ntl


Вибіркова дисперсія * є зміщеною хоча і спроможною оцінкою відпові­дного параметра генеральної сукупності. Це можна довести таким математи-

чним перетворенням


2

=1M п

,=1

= -M п

=1M п


 

Подпись: =1M пПодпись: 1Е (x - X )2
п ,=1
Е ((- M[x , ]) - (X - M[x, ])

£ (x, - M[x, ])2 - 2(X - M[x,]) -J (x, -M[x,]) + E (X " M[x, ])

¡=1       ,=1       ,=1

E (xt - M[xі])2 - 2(X - M[x;]) • (nX - nM[x,]) + n(X - M[x])2

,=1       .

E(x7 -M[x7])2 -n(X-M[x;])2 = -n EM[(x -M[x7])]2 -nM[(X-M[x;])2]

,=1


Подпись: noПодпись:
Подпись: n)     n

n


 

n


Отже, математичне сподівання вибіркової дисперсії дорівнює


M [s 2] = — а2 =а2

n


 

n


(4.4)


Як видно, оцінка 82 параметру а2 є зміщеною. Від'ємне зміщення дорів­нює а2/п, залежить від обсягу вибірки п і в ситуації спроможності досягає ну­ля, якщо п—> є». Вимога незміщенності особливо чутлива для малої кількості спостережень. Ця вада оцінки 82 усувається переходом до незміщенної оцінки

• Ефективність. Точкова оцінка називається ефективною, якщо вона має найменшу міру дисперсії вибіркового розподілу у порівнянні з аналогіч­ними оцінками, тобто виявляє найменшу випадкову варіативність. Напри­клад, серед трьох показників положення центру нормального розподілу (се­реднього X, медіани Md і моди Mo) найбільш ефективною оцінкою вважа­ється X і найменш ефективною - Mo, оскільки для їхніх дисперсій характер-

2          2          2

ним є співвідношення sx < sMd < sMo [43, С. 100].

Для статистичного оцінювання параметрів генеральної сукупності бажано використовувати оцінки, які задовольняють одночасно вимоги спроможності, незміщенності й ефективності. Крім того, важливо знати, за якими методами відбувається вибір і побудова тієї чи іншої моделі статистичного оцінювання.

Методи статистичного оцінювання параметрів

19 Див., наприклад, Кобзар А.И. Прикладная математическая статистика. - М., 2006

Методи статистичного оцінювання розкривають математичні процедури, за допомогою яких будуються різні моделі «найкращого» оцінювання пара­метрів за результатами тих чи інших статистик. У прикладній статистиці роз­роблено багато видів оцінок19, серед яких найчастіше використовуються ме­тоди моментів, максимальної правдоподібності, найменших квадратів, які стали вже «класичними», а також методи «цензурування», «урізування», ви­користання порядкових статистик та ін. Метод моментів

За цим методом (запропоновано К. Пірсоном) певна кількість вибіркових моментів (початкових vk або центральних mk, або тих і інших) прирівнюють до відповідних теоретичних моментів ( ~k або щ ) розподілу випадкової вели­чини X. Нагадаємо, що вибіркові моменти визначаються за формулами (2.13 - 2.20 ), а відповідні теоретичні моменти - за формулами (3.14 - 3.39). Отже, оцінки невідомих параметрів є рішенням системи рівнянь. Кількість рівнянь визначається кількістю параметрів, що підлягають оцінюванню.

Приклад 4.1. Визначити точкові оцінки випадкової величини X, що має нормальний розподіл, за методом моментів.

Рішення:

Щільність нормального розподілу випадкової величини X має вигляд

f(x;fi,a ) =        exp<!--—\ з двома невідомими параметрами: серед-

л/2я-сг2     І    2°    J

нім іл = M[X] = v1 (3.36) і дисперсією о2 = D[X] = m2 (3.37), які є першим

початковим і другим центральним теоретичними моментами.

Відповідні вибіркові моменти мають вигляд: v1 = — ^xi і m2 = v2 -    .

n i=1

Звідси визначається система з двох рівнянь:

1     "

1 -       ( 1 n   \2            (4-6)

Рішення системи рівнянь дає оцінки середнього juMM і дисперсії сгмм за методом моментів


= і:

(4.7)

Як бачимо, точковими оцінками середнього і дисперсії випадкової вели­чини x, що має нормальний розподіл, є вибіркові середнє X і дисперсія 82.

Оцінювання за методом моментів є спроможним, порівняно простим у розрахунках, але за показником ефективності не «найкращим». Основним методом отримання оцінок параметрів генеральної сукупності вважається метод максимальної правдоподібності, запропонований Р.Фішером.

Метод максимальної правдоподібності

Основу метода складає функція правдоподібності Ь(х; ©) , яка виражає ймовірність спільної появи результатів вибірки хь х2,    хп:

Ь( хх, х2,---, хп ;©) = <р( хх,@) -ср( х2,@) ■■■■$( хп, ©).

Згідно з метод максимальної правдоподібності за оцінку невідомого па­раметра  ©   приймається таке значення  ©„, яке максимізує функцію


Ь{ х;&)


20


Приклад 4.2. Визначити точкові оцінки параметрів випадкової величини x, що має нормальний розподіл, за методом максимальної правдоподібності. Рішення:

Щільність нормального розподілу випадкової величини x визначається


Подпись:

(4.8)


і має два параметри: середнє ц і дисперсію а2, які слід оцінити. Функція правдоподібності має вигляд


Подпись:
Подпись: (4.9)

Після логарифмування потримаємо


20


Див., наприклад, Н.Кремер [41, С. 303-305].


1nL = --(1nа2 + 1п(2тг)) - —— Z(xi - /и)1.     (4.Ю)
2          2ct   ,=1

Для знаходження параметрів ц і а2 часткові похідні за цими параметрами

необхідно прирівняти нулю і розв'язати відповідну систему рівнянь:

\д 1n L     1


д/и     а2


v(         )2         "           0          (4.ll)


„da2    2а4 ІГ '            2а2

З першого рівняння (для а2>0) отримаємо

n          n          n          n          1     n ,

Z(x,      = Zx, "Z^) = Zx, 'nM=°, звідки /" = -Zx , тобто

i=1       i=]


/і ™ =  (4.12)

З другого рівняння після скорочення (для а2>0) і підстановки отримаємо

¡=1

—X (х; -   )2 - п = 0, звідки °'г= п Z (хі ~ х)2 , тобто

¡•=1

* L» = -x2-      (4.13)

Таким чином, оцінками за методом максимальної правдоподібності мате­матичного сподівання /йямп і дисперсії гх2^ випадкової величини x, що має

нормальний розподіл, є відповідно вибіркове середнє x і вибіркова диспер­сія ^2 . Оцінки за методом моментів і методом максимальної правдоподібнос­ті для середнього і дисперсії співпадають, але тільки для випадкової величи­ни x, що має нормальний розподіл.

Оцінки максимальної правдоподібності, як правило, є спроможними і асимптотично ефективними. Основний недолік цього методу пов'язаний з труднощами розрахунку оцінок, а також і те, що для побудови оцінок і забез­печення їх «найкращими» властивостями необхідно знати закон розподілу випадкової величини, що у багатьох випадках виявляється практично нереа­льним.

Метод найменших квадратів

В основі застосування методу найменших квадратів покладено умову мі­німізації суми квадратів відхилень вибіркових даних від тих, що визначають­ся оцінкою.

Приклад 4.3. Визначити оцінку генерального середнього /ймнк випадкової величини xза методом найменших квадратів. Рішення:

Згідно з умовою мінімізації можна записати

n

u = Y, (л - М)2 = min.            (4.14)

i=1

Для визначення екстремуму першу похідну функції u слід прирівняти ну­лю

-dU- = -2]Г (xt-ц) = 0, звідки X (x       = Х xi - n<" = 0 і M= - Z x< .

dM      i=i        i=i        i=i        n i=i

Отже, ß янк = x.         (4.15)

Таким чином, оцінка за методом найменших квадратів математичного сподівання /йянк випадкової величини x є вибіркове середнє x (ця оцінка співпадає з оцінкою максимальної правдоподібності для випадкової величи­ни, що має нормальний розподіл). Метод найменших квадратів має широке застосування у практиці статистичних досліджень, оскільки не вимагає знан­ня закону розподілу випадкової величини і має достатньо розроблений мате­матичний апарат.

Інтервальне оцінювання

Точкові оцінки навіть у тих ситуаціях, коли вони спроможні (наближу­ються до значення параметру при збільшені n), незміщені (у середньому збі­гаються з параметром) і ефективні (мають найменшу ступінь випадкових відхилень), є все ж таки наближеними показниками невідомих параметрів. їхнім головним недоліком вважається те, що при малому обсязі вибірки точ­кові оцінки можуть мати значне розходження з тим параметром, який вони оцінюють, а це може призвести до грубих помилок.

Інтервальною оцінкою називається чисельний інтервал, який покриває21 з певною ймовірністю невідомий параметр генеральної сукупності. Цей чи­сельний інтервал (2/1) називається довірчим інтервалом, а ймовірність - дові­рчою ймовірністю в 22. Найчастіше довірчий інтервал вибирається симетрич­ним до параметру ©, тобто (© -а, © +а ).

Розмір довірчого інтервалу залежить від обсягу вибірки п (зменшується з ростом п) і від значення довірчої ймовірності (збільшується при наближенні

в до одиниці). Відхилення оцінки ©п від параметра ©, що оцінюється з пе­вною довірчою ймовірністю в, називають випадковою похибкою репрезента­тивності. її найбільше відхилення є граничною похибкою. Випадкова похибка репрезентативності виникає внаслідок того, що досліджується не вся сукуп­ність, а лише її частина (вибірка). її не слід плутати з систематичною похи­бкою репрезентативності, яка є наслідком порушення принципу випадковості при відборі елементів до вибірки, що може мати місце у практичній діяльно­сті.

Довірча ймовірність в визначається дослідником за принципом практи­чної неможливості, а саме: події з імовірністю, близькою до 1, вважаються вірогідними (достовірними); події з імовірністю, близькою до 0, визнаються невірогідними (неможливими). Цей принцип не може бути доказаний мате­матично. До того ж його сформульовано до однократного виконання випро­бування.

Поруч із поняттям «довірча ймовірність» в використовується поняття «рівень значущості» а. Між в і а існує співвідношення: в =1- а.

21        С.Айвазян, Н. Кремер та ін. наполягають на використанні саме слів «інтервал по-
криває», а не «містить», оскільки межі чисельного інтервалу визначаються за вибірковими
даними і тому є випадковими величинами [1, С. 289; 41, С. 320].

22        Іноді довірчу ймовірність називають рівнем довіри або надійністю оцінки. [41, С

320].

Рівень значущості а - вказує ймовірність помилки оцінювання. Для практичних цілей використовують різні значення довірчої ймовірності в або рівня значущості а - усе залежить від ризику помилки, який може собі до­зволити дослідник. Якщо в (довірча імовірність) - це своєрідний «рівень до­віри» прийняття рішення, то сенс параметра а (рівень значущості) можна трактувати як ймовірність ризику помилитися при прийнятті рішення. У пси­хологічних і педагогічних дослідженнях загальноприйнятими вважаються так звані стандартні значення в і а (див. табл. 4.2).

Таблиця 4.2

Стандартні значення довірчої ймовірності в, рівня значущості « і параметра і

 

Довірча ймовірність

Рівень значущості

Параметр нормального розподілу

в

а

2 а

2 а/2

0,90 (90%   вірогідності)

0,10 (10%-й   рівень)

1,28

1,64

0,95 (95%   вірогідності)

0,05 (5%-й   рівень)

1,64

1,96

0,99 (99%   вірогідності)

0,01  (1%-й   рівень)

2,33

2,58

0,999 (99,9% вірогідності)

0,001 (0,1%-й рівень)

3,09

3,29

 

Методи визначення довірчих інтервалів реалізовано в основному на двох підходах: на знанні точного розподілу вибіркових характеристик для малих обсягів вибірок і на асимптотичних властивостях розподілу вибіркових хара­ктеристик для значних обсягів вибірок.

Довірчий інтервал розміром 2А - це чисельний інтервал, який з довірчою ймовірністю в покриває дійсне значення параметра генеральної сукупності. Наприклад, генеральне середнє /г може належати до інтервалу значень від (X -А) до (X +А), де вибіркове X є серединою цього довірчого інтервалу. Ширина довірчого інтервалу 2А може бути точно обчислена для заданої довірчої ймовірно­сті в (або рівня значущості а) і цілком певного розподілу ймовірностей. На рис. 4.1 показано ширину симетричного довірчого інтервалу генерального середнього /і для нормального розподілу N(0,1).

Як бачимо, при збільшені довірчої ймовірності в (зменшені значення а) ширина довірчого інтервалу 2А зростає, що знижує точність визначення па­раметра генеральної сукупності. Для нормального розподілу модель інтерва­



• довірчий інтервал середнього генеральної сукупності ¡1 дорівнюватиме

Л=       =          « 1,23

л/и       л/80     '

Відповідь: на рівні значущості 0,05 середнє генеральної сукупності fi на­лежить діапазонові 100,0 + 1,23 . Інакше кажучи, з довірчою ймовірністю 95% середнє fi покривається діапазоном значень у межах від 98,77 до 101,23.

Довірчий інтервал зручно оцінювати за допомогою спеціальної функції MS Excel з відповідними аргументами =ДОВЕРИТ(а; sx; и). Так, для прикладу 4.4, функція =ДОВЕРИТ(0,05; 5,6; 80) повертає вже відоме значення 1,23. Запитання. Завдання.

Охарактеризуйте основні методи формування емпіричної вибірки.

Розкрийте поняття статистичної оцінки.

Чим відрізняються між собою точкове й інтервальне оцінювання?

Чим відрізняються «параметри» від « статистик»?

Охарактеризуйте основні властивості статистичних оцінок.

Яка ідея методу моментів як методи статистичного оцінювання?

В чому суть методу максимальної правдоподібності?

Які умови покладено в основу методу найменших квадратів?

В чому полягає суть інтервального статистичного оцінювання?

Охарактеризуйте поняття «довірча ймовірність» і «рівень значущос­ті». Яке співвідношення існує між ними?

Що означає довірчий інтервал і як його розрахувати?

Повторіть математичні розрахунки за прикладами 4.1 - 4.4.

Виконайте лабораторну роботу № 9.