Przedział ufności

Przedział ufności – podstawowe narzędzie estymacji przedziałowej. Pojęcie to zostało wprowadzone do statystyki przez matematyka polskiego pochodzenia Jerzego Spławę-Neymana. Występuje w wielu wariantach, w klasycznym wąskim rozumieniu opiera się o błąd standardowy. Szczególny przypadek przedziału ufności w badaniach ankietowych jest zwyczajowo określany marginesem błędu.

Przedziały ufności (95%) oparte na stu symulacjach prób z tego samego rozkładu normalnego. Szerokość i położenie każdego przedziału to parametry oparte na próbie, w związku z czym cechują się one zmiennością. Można jednak oczekiwać, że w idealnej sytuacji na sto przypadków tylko około pięć nie będzie zawierać średniej oryginalnego rozkładu.

Definicja

Niech cecha $X$ ma rozkład w populacji z nieznanym parametrem $\theta .$ Z populacji wybieramy próbę losową $(X_{1},X_{2},\dots ,X_{n}).$ Przedziałem ufności o współczynniku ufności $1-\alpha$ nazywamy taki przedział $(\theta _{1},\theta _{2}),$ który spełnia warunek:

$P(\theta _{1}<\theta <\theta _{2})=1-\alpha ,$

gdzie $\theta _{1}$ i $\theta _{2}$ są funkcjami wyznaczonymi na podstawie próby losowej.

Podobnie jak w przypadku estymatorów definicja pozwala na dowolność wyboru funkcji z próby, jednak tutaj kryterium wyboru najlepszych funkcji narzuca się automatycznie – zazwyczaj będziemy poszukiwać przedziałów najkrótszych.

Współczynnik ufności $1-\alpha$ jest wielkością, którą można interpretować w następujący sposób: jest to prawdopodobieństwo wyznaczenia takiego przedziału, że rzeczywista wartość parametru $\theta$ w populacji znajdzie się w tym przedziale. Im większa wartość tego współczynnika, tym szerszy przedział ufności, a więc mniejsza dokładność estymacji parametru. Im mniejsza wartość $1-\alpha ,$ tym większa dokładność estymacji, ale jednocześnie tym większe prawdopodobieństwo popełnienia błędu. Wybór odpowiedniego współczynnika jest więc kompromisem pomiędzy dokładnością estymacji a ryzykiem błędu. W praktyce przyjmuje się zazwyczaj wartości: 0,99; 0,95 lub 0,90, zależnie od parametru.

Interpretacja

55 wybranych historycznych oszacowań prędkości światła w próżni wraz z przybliżonymi przedziałami ufności (86%; 1.48 × szacowany w badaniu błąd; na podstawie pracy Henriona i Fischoffa). Gdyby eksperymenty nie były obarczone błędami systematycznymi, można byłoby oczekiwać aby tylko około 8 przedziałów nie zawierało poprawnej wartości. W tym przypadku aż 24 nie są trafne (zaznaczone na żółto).

Przedziały ufności konstruowane w oparciu o paradygmat częstościowy weryfikacji hipotez statystycznych niosą ze sobą trudności interpretacyjne typowe dla tego podejścia. Metodologia ta nie była tworzona jako narzędzie służące do jednorazowego szacowania parametrów, lecz długoterminowej kontroli błędów, co jest z reguły kontrintuicyjne dla użytkowników. Zdaniem niektórych statystyków preferujących paradygmat bayesowski, jak Hoekstra i in., lub Gelman, prawidłowa interpretacja przedziałów ufności nie uprawnia w ścisłym sensie do przyjęcia, że z daną „ufnością” prawdziwa wartość parametru znajduje się w zaobserwowanym przedziale. Przy wielokrotnym powtarzaniu eksperymentu, 95% przedziałów ufności na poziomie 95% powinno w idealnych warunkach zawierać rzeczywistą wartość parametru, ale nie przekłada się to na równoważną pewność co do żadnego konkretnego przedziału, ani tym bardziej – średniej na której jest on skonstruowany. Do wniosków takich w pełni uprawniają na przykład metody bayesowskie.

Dla ilustracji, osoba, która kierowałaby się przedziałami ufności w grze hazardowej, w przypadku wielu rodzajów danych przegrywałaby statystycznie częściej, niż sugerują nominalne właściwości tych przedziałów. Według badań z 2004 r. większość naukowców jest przekonana, że średnie arytmetyczne uzyskane dla kolejnych prób losowych będą się zawierały w skonstruowanym 95% przedziale ufności z częstotliwością 95%. W rzeczywistości kolejne średnie z próbek zawierają się w skonstruowanym przedziale z prawdopodobieństwem ok. 83,4% dla próbek z rozkładu normalnego. W wielu przypadkach przedziały skonstruowane z użyciem statystyk odpornościowych są bardziej niezawodne, ale i w tym przypadku wykryto wyjątki.

Z przyjęciem tej nieintuicyjnej i zniuansowanej interpretacji ma jednak problem większość osób, nawet badaczy-praktyków. Dodatkowo, w praktyce dobór prób i pomiary nie są nigdy realizowane w idealnej zgodności z założeniami modeli statystycznych. Ogólnie rzecz biorąc, zaleca się traktowanie nominalnego poziomu ufności jako przeszacowującego epistemologiczną pewność wyników, oraz używanie statystyk bayesowskich do zastosowań ściśle epistemologicznych.

Przykłady przedziałów ufności

Ponieważ szukamy jak najkrótszych przedziałów ufności, dlatego przy wyznaczaniu przedziału staramy się wykorzystać jak najwięcej dostępnych informacji o rozkładzie cechy w populacji. Jeśli np. cecha ma rozkład normalny z odchyleniem standardowym $\sigma ,$ to zastosowanie wzoru na przedział ufności dla nieznanego $\sigma$ również da poprawny wynik, jednak przedział otrzymany tą metodą będzie szerszy, czyli mniej dokładny. Z kolei wzory ogólniejsze, np. dla nieznanego rozkładu, często korzystają z rozkładów granicznych estymatorów i dlatego wymagają dużej liczebności próby.

Przedział ufności dla średniej

Znane odchylenie standardowe

Cecha ma w populacji rozkład normalny $N(\mu ,\sigma ),$ przy czym odchylenie standardowe $\sigma$ jest znane. Przedział ufności dla parametru $\mu$ tego rozkładu ma postać:

$P\left({\overline {X}}-u_{1-{\frac {\alpha }{2}}}{\frac {\sigma }{\sqrt {n}}}<\mu <{\overline {X}}+u_{1-{\frac {\alpha }{2}}}{\frac {\sigma }{\sqrt {n}}}\right)=1-\alpha ,$

lub równoważnie

$P\left({\overline {X}}+u_{\frac {\alpha }{2}}{\frac {\sigma }{\sqrt {n}}}<\mu <{\overline {X}}-u_{\frac {\alpha }{2}}{\frac {\sigma }{\sqrt {n}}}\right)=1-\alpha$

gdzie:

• $n$ – liczebność próby losowej,
• ${\overline {X}}$ – średnia z próby losowej,
• $\sigma$ – odchylenie standardowe populacji,

• $u_{1-{\frac {\alpha }{2}}}=-u_{\frac {\alpha }{2}}$ to kwantyl rzędów $1-{\frac {\alpha }{2}}$ rozkładu $N(0,1).$

Nieznane odchylenie standardowe

Cecha ma w populacji rozkład normalny $N(\mu ,\sigma ),$ przy czym odchylenie standardowe $\sigma$ jest nieznane. Przedział ufności dla parametru $\mu$ tego rozkładu ma postać:

$P\left({\overline {X}}-t_{1-{\frac {\alpha }{2}}}{\frac {S}{\sqrt {n}}}<\mu <{\overline {X}}+t_{1-{\frac {\alpha }{2}}}{\frac {S}{\sqrt {n}}}\right)=1-\alpha ,$

gdzie:

• $n$ – liczebność próby losowej,
• ${\overline {X}}$ – średnia z próby losowej,
• $S$ – odchylenie standardowe z próby,
• $t_{1-{\frac {\alpha }{2}}}$ to kwantyl rzędu $1-{\frac {\alpha }{2}}$ rozkład Studenta z $n-1$ stopniami swobody.

Zwykle stosuje się ten wzór dla małej próby $(n<30).$ Tak naprawdę działa on dla każdej wielkości próby, jednak dla dużych prób można przybliżyć rozkład t Studenta rozkładem normalnym, co jest łatwiejsze do wyliczenia a dające niemal takie same wartości (patrz niżej).

Nieznane odchylenie standardowe – duża próba (n > 30)

Cecha ma w populacji rozkład normalny $N(\mu ,\sigma ),$ przy czym odchylenie standardowe $\sigma$ jest nieznane, a próba jest duża (n>30). Granica 30 jest czysto umowna, im $n$ jest większe, tym wzór dokładniejszy. Przedział ufności dla parametru m tego rozkładu ma postać:

$P\left({\overline {X}}-u_{1-{\frac {\alpha }{2}}}{\frac {S}{\sqrt {n}}}<\mu <{\overline {X}}+u_{1-{\frac {\alpha }{2}}}{\frac {S}{\sqrt {n}}}\right)=1-\alpha ,$

gdzie:

• $n$ – liczebność próby losowej,
• ${\overline {X}}$ – średnia z próby losowej,
• $S$ – odchylenie standardowe z próby,
• $u_{1-{\frac {\alpha }{2}}}$ – statystyka ze zmienną losową o rozkładzie normalnym $N(0,1).$

Przedział ufności dla wariancji

Poniższy wzór pozwala wyznaczyć przedział ufności dla wariancji w populacji o rozkładzie normalnym $N(m,\sigma )$

$P\left({\frac {nS^{2}}{\chi _{1-{\frac {\alpha }{2}},n-1}^{2}}}<\sigma ^{2}<{\frac {nS^{2}}{\chi _{{\frac {\alpha }{2}},n-1}^{2}}}\right)=1-\alpha ,$

gdzie:

• $n$ – liczebność próby losowej,
• $S$ – odchylenie standardowe z próby,
• $\chi _{{\frac {\alpha }{2}},n-1}^{2}$ i $\chi _{1-{\frac {\alpha }{2}},n-1}^{2}$ – statystyki spełniające odpowiednio nierówności:

$P\left(\chi ^{2}\geqslant \chi _{{\frac {\alpha }{2}},n-1}^{2}\right)={\frac {\alpha }{2}},$

$P\left(\chi ^{2}\geqslant \chi _{1-{\frac {\alpha }{2}},n-1}^{2}\right)=1-{\frac {\alpha }{2}}.$

gdzie $\chi ^{2}$ ma rozkład chi-kwadrat z $n-1$ stopniami swobody.

Podobnie jak poprzednio, zwykle stosuje się ten wzór dla małej próby (n < 30), choć również działa on dla każdej wielkości próby.

Duża próba (n > 30)

Poniższy wzór pozwala wyznaczyć przedział ufności dla wariancji w populacji o rozkładzie normalnym $N(m,\sigma )$ dla dużej próby, czyli umownie dla $n>30.$

$P\left({\frac {S}{1+{\frac {u_{\alpha }}{\sqrt {2n}}}}}<\sigma <{\frac {S}{1-{\frac {u_{\alpha }}{\sqrt {2n}}}}}\right)=1-\alpha ,$

gdzie:

• $n$ – liczebność próby losowej,
• $S$ – odchylenie standardowe z próby,
• $u_{\alpha }$ – statystyka spełniająca warunek:

$P(-u_{\alpha }<U<u_{\alpha })=1-\alpha ,$

gdzie $U$ jest zmienną losową o rozkładzie normalnym $N(0,1).$

Przedział ufności dla odsetka (wskaźnik struktury)

Poniższy wzór pozwala wyznaczyć przedział ufności dla odsetka w populacji o rozkładzie normalnym $N(m,\sigma )$

$P\left({\frac {m}{n}}-u_{\alpha }{\sqrt {\frac {{\frac {m}{n}}(1-{\frac {m}{n}})}{n}}}<p<{\frac {m}{n}}+u_{\alpha }{\sqrt {\frac {{\frac {m}{n}}(1-{\frac {m}{n}})}{n}}}\right)=1-\alpha ,$

gdzie:

• $n$ – liczebność próby losowej,
• $m$ – liczebność wybranej grupy z próby,
• $u_{\alpha }$ – statystyka spełniającą warunek:

$P(-u_{\alpha }<U<u_{\alpha })=1-\alpha$ gdzie $U$ jest zmienną losową o rozkładzie normalnym $N(0,1).$

Przedział ufności dla współczynnika korelacji

Poniższy wzór pozwala wyznaczyć przedział ufności dla współczynnika korelacji w populacji o rozkładzie normalnym $N(m,\sigma ).$ Tak jak poprzednio, działa on dla dowolnej próby, choć jest zwykle stosowany tylko dla prób małych $(n<30).$

$P\left(Z-u_{\alpha }{\frac {1}{\sqrt {n-3}}}<\rho <Z+u_{\alpha }{\frac {1}{\sqrt {n-3}}}\right)=1-\alpha ,$

gdzie:

• $n$ – liczebność próby losowej,
• $u_{\alpha }$ – statystyka spełniająca warunek:

$P(-u_{\alpha }<U<u_{\alpha })=1-\alpha$ gdzie $U$ jest zmienną losową o rozkładzie normalnym $N(0,1),$

• $Z={\frac {1}{2}}\ln {\frac {1+r}{1-r}},$
• $r$ – współczynnik korelacji.

Duża próba (n > 30)

Poniższy wzór pozwala wyznaczyć przedział ufności dla współczynnika korelacji w populacji o rozkładzie normalnym $N(m,\sigma )$

$P\left(r-u_{\alpha }{\frac {1-r^{2}}{\sqrt {n}}}<\rho <r+u_{\alpha }{\frac {1-r^{2}}{\sqrt {n}}}\right)=1-\alpha ,$

gdzie:

• $n$ – liczebność próby losowej,
• $u_{\alpha }$ jest statystyką spełniającą warunek:

$P(-u_{\alpha }<U<u_{\alpha })=1-\alpha$ gdzie $U$ jest zmienną losową o rozkładzie normalnym $N(0,1),$

• $r$ – współczynnik korelacji.

Przedział ufności dla współczynnika $\alpha _{1}$

Poniższy wzór pozwala wyznaczyć przedział ufności dla współczynnika $\alpha _{1}$ w populacji o rozkładzie normalnym $N(m,\sigma )$

$P\left(a_{1}-t_{\alpha }{\frac {s_{u}}{\sqrt {\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}}}<\alpha _{1}<a_{1}+t_{\alpha }{\frac {s_{u}}{\sqrt {\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}}}\right)=1-\alpha ,$

gdzie:

• $X$ – wartość z próby losowej,
• ${\overline {X}}$ – średnia z próby losowej,
• $t_{\alpha }$ ma rozkład Studenta z $n-2$ stopniami swobody.

Minimalna liczebność próby

Jeśli chcemy oszacować parametr z określoną dokładnością $d,$ możemy – po odpowiednich przekształceniach wzorów na przedziały ufności – wyznaczyć liczebność próby losowej potrzebną do osiągnięcia zakładanej dokładności.

Przykład: Wiemy, że wzrost wikipedystów ma rozkład normalny z odchyleniem standardowym 25,28 cm (dane chyba nieprawdziwe). Obliczmy, ilu wikipedystów wystarczy zmierzyć, aby z prawdopodobieństwem 95% wyznaczyć średni wzrost wikipedysty z dokładnością do 5 cm.

Jeśli chcemy uzyskać dokładność 5 cm, należy zadbać o to, aby połowa długości przedziału ufności była mniejsza lub równa niż 5 cm. Ze wzoru na przedział ufności dla rozkładu normalnego o znanym odchyleniu standardowym wynika, że dokładność estymacji powinna spełniać zależność:

$d\geqslant u_{\alpha }{\frac {\sigma }{\sqrt {n}}}.$

Przekształcamy podaną nierówność, uzyskując pożądany wzór na liczebność próby:

$n\geqslant {\frac {u_{\alpha }^{2}\sigma ^{2}}{d^{2}}}.$

Podstawiając do wzoru wartości $\sigma$ = 25,28; d = 5 cm; $u_{\alpha }$ = 1,96 (wartość obliczona na podstawie tablic rozkładu normalnego), uzyskujemy minimalną wielkość próby na poziomie 99 wikipedystów.