Mapa Serwisu
|
| Jaka jest różnica między analizą wariancji a regresji? |
|
Admin1 dnia marzec 10 2007 23:32:59
|
Jaka jest różnica między analizą wariancji a regresji?
Analiza wariancji polega na badaniu istotności wpływu wyodrębnionego czynnika klasyfikacyjnego (zabiegu) na zmienną objaśnianą. Hipoteza jaką chcemy weryfikować to: Ho = m1=m2=mr czyli wszystkie średnie we wszystkich wyodrębnionych populacjach są identyczne wobec hipotezy alternatywnej H1:mi¹mj dla co najmniej jednej pary wska¼ników i, j (i¹j).
Y=m+ai+eki
m - jest pewną nie znaną stałą wartością wspólną dla wszystkich populacji i równą ich średniej,
ai - jest również nieznaną stałą, która wyraża efekt i-tego poziomu czynnika klasyfikacyjnego na wartość obserwacji,
eki - jest zmienną losową wyrażającą łączny efekt wpływu różnych innych czynników o charakterze przypadkowym na wartość obserwacji i jest nazywana błędem losowym.
Analiza regresji zajmuje się wyznaczaniem funkcji f(x) na podstawie wartości zaobserwowanych Y dla różnych wartości X badamy np. zależność ilości spożywanego masła Y od ceny margaryny X.
Regresja - jest zależność zmiennej losowej Y od zmiennej X typu:
Y = f(x) + e
e - pewna zmienna losowa której wartość oczekiwana jest zero.
Wyjaśnij metodę najmniejszych kwadratów.
Jest to najstarsza metoda konstruowania estymatorów.
Idea metody najmniejszych kwadratów jest następująca: jeśli na podstawie próby (x1,x2,...,xn) szacuje się wartość średnią m. populacji to można opisać xi = m. + ei , i = 1,...,n
gdzie ei jest odchyleniem zmiennej Xi od m.
Należy oczekiwać że odchylenia te są małe gdyż obserwacje dostarczają pewnych informacji o m. Stąd, jako estymatora średniej m. można użyć takiej wielkości m. , która minimalizuje sumę:
Na czym polega metoda wszystkich regresji doboru zmiennych.
Liczba wszystkich funkcji regresji jest a^p. „Optymalny podzbiór: jest podzbiór o największym poprawionym współczynniku determinacji.
S=r^2-Adekuate (a stat) dla danego a jeżeli:
Rs^2 > 1-(1-r^2)(1 + dn,p. ^a) jeżeli:
p.jest bardzo dużo i zmiennych niezależnych jest dużo) gdzie:
Jakie wnioski wyprowadzamy na podstawie przedziału ufności w funkcji regresji.
Przedział ufności (estymator przedziałowy) - jest przedziałem o końcach zależnych od próby, który z pewnym z góry zadanym prawdopodobieństwem pokrywa nieznaną wartość parametru.
Na podstawie przedziału ufności możemy wnioskować o wartościach średnich cechy Y jednocześnie dla wielu wybranych wartości cechy X.
Wyjaśnij co mierzy poprawiony współczynnik determinacji.
Współczynnik determinacji jest miarą dopasowania hiperpłaszczyzny regresji, wyznaczonej metodą najmniejszych kwadratów do danych empirycznych.
Jednakże przy dodawaniu zmiennych do modelu wartość współczynnika determinacji liniowej stale rośnie (z wyjątkiem sytuacji kiedy ocena parametru równa się zero). Tej wady nie ma współczynnik determinacji skorygowany ze względu na stopnie swobody. Określa jaką część całkowitej wariancji zmiennej zależnej stanowi wariancja reszt. Wartość skorygowanego współczynnika determinacji maleje przy wprowadzaniu zmiennych nie wywołujących znacznego przyrostu wyjaśnionej regresją sumy kwadratów odchyleń.
Co to jest reszta w analizie regresji.
Wartości zmiennej losowej wyznaczanej w następujący sposób:
ei = Yi - Yi (z daszkiem)
określamy jako reszty modelu.
Yi (z dachem) – teoretyczne wartości zmiennej Y (wyznaczane z próby).
Co mierzy współczynnik korelacji wielokrotnej.
Współczynnik ten przyjmuje wartości z przedziału <0;1> (kowariancja zmiennych Y i Y(z dachem) jest zawsze dodatnia. Współczynnik ten informuje o sile związku między zmienną Y a całym zespołem zmiennych x1, x2, itd.
W 2 czynnikowej analizie wariancji hipotezę o braku współdziałania czynników A oraz B odrzucono. Zinterpretuj wynik.
Oznacza to, że czynniki wpływające na zmienną objaśnianą są skorelowane i każda ocena zmiennej jest zależna od obu czynników jednocześnie.
Wyjaśnić jakie wnioski można wyprowadzić z analizy normalnego wykresu prawdopodobieństwa.
Wyniki z takiej analizy charakteryzują stopień skupiania się wartości zmiennej losowej wokół średniej w rozkładzie normalnym. np. 68% obserwacji mieści się w granicach jednego odchylenia standardowego (wokół średniej), około 95% w granicach dwóch odchyleń i 99% w granicach trzech. (reguła 3sigm).
ANALIZA RESZTOWA polega na zbadaniu czy reszty empir. Ej=Yj-Yi^ mogą być traktowane jako próba losowa z rozkładu normalnego.
BL¡D II RODZAJU błąd wnioskowania polegający na nie odrzuceniu hipotezy gdy w rzeczywistości jest ona fałszywa.
B£¡D I RODZAJU błąd polegający na odrzuceniu hipotezy gdy w rzeczywistości jest ona prawdziwa .
CECHY CI¡G£E mogą przyjmować wartości rzeczywiste np. waga, wzrost.
DOMINAT¡ Do (modą) zmiennej losowej X nazywamy wartość x zmiennej losowej, której odpowiada największe prawdopodobieństwo w przypadku zmiennej losowej skokowej, maksimum lokalne funkcji gęstości - w przypadku zmiennej losowej.
DOPE£NIENIE ALGEBRAICZNE wyznaczamy Aij powstałej z macierzy A przez określenie i-tego wiersza oraz j-tej kolumny
DYSTRYBUANT¡ zmiennej losowej X nazywamy funkcję F(x) określoną na zbiorze liczb rzeczywistych.: F(x) = P(X<=x).
Przyjmuje ona wartości równe prawdopodobieństwu tego, że zmienna losowa X przyjmie wartość nie większą od wartości argumentu.
ESTYMACJA MODELU REGRESJI
Do estymacji tego modelu wykorzystuje się metodę najmniejszych kwadratów
ESTYMATOR
Estymatorem Tn parametru q rozkładu populacji generalnej nazywamy staystykę z próby Tn = t (X1,X2 ITD.) która służy do oszacowania wartości tego parametru.
Rozkład estymatora jest zdeterminowany przez rozkład zmiennej losowej X a przy tym jest zależny od parametru q.
ESTYMATOR rozsądne oszacowanie wartości parametru.
ESTYMATOR PUNKTOWY jest funkcją próby 0~^=0`^(x1,x2...xn) w rozsądny sposób przybliżający wartość parametru 0~(~jest w 0 a ^ nad)
FUNKCJA REGRESJI (WIELORAKIEJ) Funkcję m1 (x1,x2 itd.) której wartościami są warunkowe wartości oczekiwane zmiennej losowej Y nazywamy funkcją regresji (wielorakiej / wielokrotnej) I rodzaju zmiennej losowej Y względem zmiennych losowych X1, X2 itd.
HIPOTEZA STATYSTYCZNA rozumie się dowolne przypuszczenie co do rozkładu populacji generalnej. Prawdziwość tego przypuszczenia jest oceniana na podstawie wyników próby losowej.
HIPOTEZA STATYSTYCZNA dowolne przypuszczenie dot. rozkładu prawdopodobieństwa cechy (oznaczenie Ho).
JEDNOCZYNNIKOWA ANALIZA WARIANCJI:
warunki:
I. zmienne niezależne występują lub nie
II. każda X obserwacji zmiennej Y uzależniona jest tylko od jednej ze zmiennych niezależnych.
KLASYCZYNY MODEL REGRESJI LINIOWEJ Każdej ustalonej wartości jednej zmiennej powiedzmy X druga zmienna losowa czyli Y ma warunkowy rozkład z wartością oczekiwaną.
E (Y[X = x) ax +b
KWANTYL Kwantylem rzędu p. (0= p.
Kwantyle są rzędu 0,25, 0,5 0,75 i oddzielają one 25% obserwacji o wartościach niższych i 75 obserwacji o wartościach wyższych.
Kwantylem rzędu p. zmiennej losowej X nazywamy wartość Kp spełniającą nierówności
P.(X<=kP)>=P. p.(x>=kP)>=1-P. 0
MEDIANA ROZK£ADU EMPIRYCZNEGO
nazywamy taką wartość cechy że conajmnej połowa jednostek zbiorowości ma wartość cechy nie większą od niej i równocześnie najmniej połowa jednostek ma wartość cechy nie mniejszą od tej wartości
MOC TESTU jest to prawdopodobieństwo odrzucenia fałszywej hipotezy Ho i przyjęcia w to miejsce prawdziwej hipotezy alternatywnej.
MODEL JEDNOCZYNNIKOWY rozpatrujemy oddzielnie dla pojedynczego czynnika jego wpływ na zmienną objaśnianą.
MODEL WIELOCZYNNIKOWY badamy wpływ na zmienną objaśnianą kilku czynników razem
OBSZAR PREDYKCJI na jego podstawie możemy wnioskować o wartości średniej cechy Y jednocześnie dla wielu wybranych wartości cechy X.
ODCHYLENIE STANDARDOWE Ze względu na to że miana wariancji są kwadraty jednostek w których mierzona jest badana cecha jako miary zróżnicowania używa się też dodatniego pierwiastka kwadratowego z wariancji, który określa się mianem odchylenia standardowego.
ODCHYLENIE STANDARDOWE RESZT Pierwiastek kwadratowy z wariancji reszt Se określamy mianem odchylenia standardowego reszt.
ORTOGONALNE WEKTORY A i B nazywamy ortogonalnymi prostopadłymi E ai bi=0
PE£NEGO RZęDU nie jest Macierz X gdy układ równań normalnych ma nieskończenie wiele rozwiązań.
PORÓWNYWANIE PROSTYCH REGRESJI: zbadać równoległość, identyczność, istnienie punktu wspólnego.
POZIM ISTOTNOŁCI
Poziom istotności jest prawdopodobieństwem popełnienia błędu I rodzaju polegającego na odrzuceniu hipotezy która jest prawdziwa. Najczęściej przyjmowaną wartością jest 0,1 0,05 0,01.
POZIOM ISTOTNOŁCI dowolna liczba z przedziału (0,1) określająca prawdopodobieństwo popełnienia błędu I –ego rodzaju.
POZIOM UFNOŁCI (współczynnik ufności) – Ustalone z góry prawdopodobieństwo 1-a z jakim przedział ufności pokrywa nieznaną wartość parametru.
PREDYKCJA przewidywanie jaką wartość przyjmie zmienna zależna przy ustalonych wartościach zmiennych niezależnych.
PREDYKCJA STATYSTYCZNA Zbudowany model regresji może stanowić podstawę do przewidywania jakie wartości przyjmie zmienna zależna przy zadanych wartościach zmiennej niezależnej.
PRZEDZIA£ UFNOŁCI losowy przedział o końcach zależnych od próby, który z określonym z góry prawdopodobieństwem (większym od 0) pokrywa nieznaną wartość szacowanego parametru. Na jego długość wpływa liczność próby, poziom ufności, wariancja cechy.
REGRESJA II RODZAJU Prostą Y(z dachem)=ayX+by spełniającą warunek E{[Y-(ayX+by)2}=min nazywamy prostą regresji II rodzaju zmiennej losowej Y względem zmiennej losowej X.
ay = cov(X,Y)/D2X współczynnik regresji liniowej (przyrost średniej wartości zmiennej Y wywołany przyrostem zmiennej X o 1).
REGRESJA £AMANA funkcja regr. zmiennej Y od zmiennej X składa się z dwóch odcinków prostej.
REGU£A 3 SIGM
Jeżeli dane obserwacje dokonywane na zmiennej losowej o rozkładzie normalnym mieszczą się w przedziale (m. - 3s, m.+ 3s).
Jest ona stosowana do eliminowania obserwacji „niewiarygodnych” czyli takich które różnią się od średniej o więcej niż odchylenia standardowe.
ROZK£AD NORMALNY
Zmienna losowa X ma rozkład normalny o parametrach m oraz s co w skrócie zapisuje się jako X: N (m,s) jeśli jej funkcja gęstości ma następującą postać:
-¥ < x < ¥
przy czym s >0
m – średnia zmiennej losowej X o rozkładzie normalnym,
s - odchylenie standardowe
ROZK£AD POISSONA Przy zastosowaniu takiego rozkładu można w sposób przybliżony charakteryzować takie zjawiska jak liczba usterek w produkowanych urządzeniach, liczba skaz na określonej powierzchni mat..
Zmienna losowa X wartości k = 0,1,2... ma rozkład Poissona o parametrze l jeśli jej funkcja prawdopodobieństwa opisana jest wzorem:
P.(X=K)=(l^k \ k!)*e ^-l dla k =0,1,2...
ROZK£AD ZM. LOSOWEJ zbiór wartości zm. losowej oraz prawdopodobieństwa z jakimi są te wartości przyjmowane.
RZ¡D MACIERZY ilość liniowo niezależnych kolumn
SERIA najdłuższy odcinek składający się z elementów jednego rodzaju.
STATYSTYKA TESTOWA funkcja próby na podstawie której wnioskuje się o odrzuceniu lub nie hipotezy statystycznej.
STOPNIE SWOBODY Jest to liczba niezależnych informacji z próby niezbędnych do wyznaczenia danej sumy kwadratów.
TEST HIPOTEZY STATYSTYCZNEJ postępowanie mające na celu odrzucenie lub nie hipotezy statystycznej
TEST K I SMIRNOWA
Test ten służy do weryfikacji hipotezy że dwie populacje mają jednakowy rozkład lub że dwie próby pochodzą z tej samej populacji.
TEST KO£OMOGOROWA porównuje się tutaj dystrybuantę empiryczną z hipotetyczną. Ważne jest przy tym że test l może być stosowany jedynie wtedy, kiedy hipotetyczna dystrybuanta jest ciągła
TEST STATYSTYCZNY nazywamy regułę postępowania która każdej możliwej próbie przyporządkowuje decyzję przyjęcia lub odrzucenia hipotezy. Oznacza że test stat. jest regułą rozstrzygającą jakie wyniki próby pozwalają uznać sprawdzaną hipotezę za prawdziwą a jakie za fałszywą.
WARIANCJA Prezentuje parametry charakteryzujące zróżnicowanie cechy w rozkładzie empirycznym.
Wariancją dla x1,x2, itd. nazywamy wyrażenie
gdzie x (z dachem) jest średnią arytmetyczną.
Jest to średnia arytmetyczna kwadratów odchyleń wartości od średniej arytmetycznej z wartości.
WARIANCJA RESZT
W klasycznym modelu regresji liniowej wyrażenie Se^2 jest nieobciążonym estymatorem
wariancji składnika losowego s^2. Możemy go także określić jako wariancję reszt.
WSP. KORELACJI PEARSONA PIERWIASTEK (+ lub -) ze współczynnika determinacji
WSPÓ£CZYNNIK DETERMINACJI zmiennej Y przez X Jest to liczba z przedz. (0%,100%); dopasowanie funkcji regresji. Jest tym lepsze im ten współczynnik jest wyższy (procent zmienności cechy Y wyjaśnionej przez f.regresji.)
WSPÓ£CZYNNIK DETERMINACJI W POPULACJI Kwadrat współczynnika korelacji (p^2) nosi nazwę współczynnika determinacji. Współczynnik ten informuje jaka całkowita część wariancji zmiennej zależnej stanowi wariancja wyjaśnia liniowa regresją względem drugiej. Im wartość p^2 jest bliższa 1 tym wariancja resztowa zmiennej jest mniejsza Czyli rozkład zmiennej zależnej koncentruje się bardziej wokół odpowiedniej prostej regresji i tym bardziej ścisła jest współzależność.
WSPÓ£CZYNNIK DETERMINACJI W PRÓBIE Dzieląc sumę kwadratów odchyleń wyjaśnioną regresją przez całkowitą sumę kwadratów odchyleń otrzymujemy miarę dokładności dopasowania prostej i oznaczamy jako r^2. Wartość tego współczynnika zawiera się w przedziale [0;1] i informuje jak część obserwowanej w próbie całkowitej zmienności Y została wyjaśniona regresją liniową względem X.
WSPÓ£CZYNNIK KORELACJI
Jest to zależność między dwiema zmiennymi losowymi można scharakteryzować za pomocą parametru rozkładu dwuwymiarowego zwanego współczynnikiem korelacji. Współczynnik korelacji jest wielkością niemianowaną przyjmującą wartość z przedziału [-1;1]
Gdzie licznik jest kowariancją zmiennych, natomiast mianownik jest odchyleniami standardowymi odpowiednich rozkładów brzegowych.
Jeśli jest równy 0 to zmienne są nieskorelowane i ich proste regresji są prostopadłe.
WSPÓ£CZYNNIK KORELACJI CZ¡STKOWEJ jest miarą skorelowania zmiennych Y i X1 po wyeliminowaniu wpływu na (obie te zmienne) zmiennych X2,X3 itd.
WSPÓ£CZYNNIK KORELACJI RANG Zaproponował Spearman. Oznaczamu ai rangę przyporządkowaną i-tej obserwacji z pierwszego ciągu, przez bi rangę przyporządkowanej tej jednostce w drugim ciągu oraz przez di różnicę między rangami przyporządkowanymi i-tej jednostce w obu ciągach. Współczynnik korlacji rang Spearmana jest zdefiniowany wtedy jako zwykły współczynnik r Pearsona dla rang ai i bi.
WSPÓ£CZYNNIK ZMIENNOŁCI
To iloraz odchylenia standardowego i średniej w danym rozkładzie V=s/x. Współczynnik ten często wyraża się procentowo aby określić jaki procent średniej stanowi odchylenie standardowe w rozkładzie.
ZMIENNA LOSOWA
Niech będzie E zbiorem zdarzeń elementarnych danego doświadczenia. Funkcję X(e) przyporządkowującą każdemu zdarzeniu elementarnemu e nal do E jedną i tylko jedną liczbę X(e)=x nazywamy zmienną losową.
ZMIENNA LOSOWA (cecha) – funkcja określona na zbiorze zdarzeń elementarnych o wartościach rzeczywistych.
ZMIENNA LOSOWA SKOKOWA (DYSKRETNA) zmienna której zbiór wartości jest skończony lub przeliczalny.
ETAPY ANALIZY REGRESJI:
1. zaprog.funkcji regresji
2. zbadać czy funkcja opisuje zależność ,zweryfikować hip.Ho=const.
3. dopasować funkcję f
4. uprościc f –usunąć zbędne zmienne niezależne
5. ocenić jakość dopasowania funkcji f
-determinacji,-an.resztowa
6. wyprowadzić odpowiednie wnioski
Narzędzia analizy regresji.
Zadania analizy regresji:
1. Zbadać czy funkcja f opisuje zależność, która nas interesuje zwerefikować hipotezę Ho i f = const.
2. Dopasowanie funkcji f:
techniki dopasowania funkcji:
metoda najmniejszych kwadratów
metoda najmniejszych modułów
inne
3.Uprościć funkcję f - usunąć zbędne zmienne niezależne
4.Ocena jakości dopasowania - na ile dobrze zaproponowany wzór odzwierciedla funkcję Y.
-determinacja - na ile dobrze X odznacza Y za pomocą funkcji f
-adekwatność - czy funkcja jest odpowiednia dla badania ich zmiennych X,Y
-analiza resztowa.
5.Wyprowadzenie odpowiednich wniosków.
MODELE LINIOWE
Funkcja regresji f(x1...xp)=bo+b1x1+...+bpxp tzn. E(Y)x1=x1...xp=xp)= bo+b1x1+...+bpxp
Regresja liniowa f(x)= bo+b1x
Regresja wielokrotna f(x1...xp)= bo+b1x1+...+bpxp
Regresja potęgowa f(x)= boxb, log f(x) = log bo-logx
Regresja wielomianowe f(x) = bo+b1x1+...+bpxi
Regresja nieliniowa - funkcja nieliniowa ze względu na parametry f(x)= bo+b1e-b2x
|
|
|
Zaloguj się, żeby móc dodawać komentarze.
|
|
|
Dodawanie ocen dostępne tylko dla zalogowanych Użytkowników.
Proszę się zalogować lub zarejestrować, żeby móc dodawać oceny.
Brak ocen.
|
|
|
|
