Model autoregresyjny - Autoregressive model

W statystyce, ekonometrii i przetwarzaniu sygnałów model autoregresyjny ( AR ) jest reprezentacją pewnego rodzaju procesu losowego; jako taki, jest używany do opisu pewnych zmiennych w czasie procesów w przyrodzie, ekonomii itp. Model autoregresyjny określa, że ​​zmienna wyjściowa zależy liniowo od swoich własnych wcześniejszych wartości i od składnika stochastycznego (niedoskonale przewidywalnego składnika); zatem model ma postać stochastycznego równania różnicowego (lub relacji rekurencyjnej, której nie należy mylić z równaniem różniczkowym). Wraz z modelem średniej ruchomej (MA) jest to szczególny przypadek i kluczowy składnik bardziej ogólnych modeli szeregów czasowych z autoregresyjną średnią kroczącą (ARMA) i autoregresyjną zintegrowaną średnią kroczącą (ARIMA), które mają bardziej skomplikowany stochastyczny charakter. Struktura; jest to również szczególny przypadek modelu autoregresji wektorowej (VAR), który składa się z układu więcej niż jednego zazębiającego się równania różnicy stochastycznej w więcej niż jednej ewoluującej zmiennej losowej.

W przeciwieństwie do modelu ze średnią ruchomą (MA), model autoregresyjny nie zawsze jest stacjonarny, ponieważ może zawierać pierwiastek jednostkowy.

Definicja

Zapis wskazuje na autoregresyjny model porządku p . Model AR( p ) jest zdefiniowany jako ${\displaystyle AR(p)}$

${\ Displaystyle X_ {t} = c + \ suma _ {i = 1} ^ {p} \ varphi _ {i} X_ {ti} + \ varepsilon _ {t} \}$

gdzie są parametry modelu, jest stałą i jest białym szumem . Można to równoważnie zapisać za pomocą operatora przesunięcia wstecz B jako ${\ Displaystyle \ varphi _ {1}, \ ldots , \ varphi _ {p}}$${\displaystyle c}$${\ Displaystyle \ varepsilon _ {t}}$

${\ Displaystyle X_ {t} = c + \ suma _ {i = 1} ^ {p} \ varphi _ {i} B ^ {i} X_ {t} + \ varepsilon _ {t}}$

tak, że przenosząc wyraz sumujący na lewą stronę i używając notacji wielomianowej , mamy

${\ Displaystyle \ phi [B] X_ {t} = c + \ varepsilon _ {t} \,.}$

Model autoregresyjny można zatem postrzegać jako wyjście wielobiegunowego filtru o nieskończonej odpowiedzi impulsowej, którego wejściem jest biały szum.

Niektóre ograniczenia parametrów są niezbędne, aby model pozostał nieruchomy w szerokim sensie . Na przykład procesy w modelu AR(1) z nie są stacjonarne. Bardziej ogólnie, aby model AR( p ) był stacjonarny o szerokim znaczeniu, pierwiastki wielomianu muszą leżeć poza okręgiem jednostkowym , tj. każdy (złożony) pierwiastek musi spełniać (patrz strony 88,90). ${\displaystyle |\varphi_{1}|\geq 1}$${\ Displaystyle \ Phi (z): = \ textstyle 1- \ suma _ {i = 1} ^ {p} \ varphi _ {i} z ^ {pi}}$${\displaystyle z_{i}}$${\displaystyle |z_{i}|>1}$

Międzyokresowy efekt wstrząsów

W procesie AR jednorazowy szok wpływa na wartości ewoluującej zmiennej nieskończenie daleko w przyszłość. Rozważmy na przykład model AR(1) . Niezerowa wartość dla powiedzmy czasu t =1 wpływa na ilość . Następnie przez równanie AR dla pod względem , wpływa to na ilość . Następnie z równania AR dla pod względem , wpływa to na ilość . Kontynuacja tego procesu pokazuje, że efekt nigdy się nie kończy, chociaż jeśli proces jest nieruchomy, wówczas efekt zmniejsza się do zera w granicy. ${\ Displaystyle X_ {t} = c + \ varphi _ {1} X_ {t-1} + \ varepsilon _ {t}}$${\ Displaystyle \ varepsilon _ {t}}$${\displaystyle X_{1}}$${\displaystyle \varepsilon_{1}}$${\displaystyle X_{2}}$${\displaystyle X_{1}}$${\displaystyle X_{2}}$${\ Displaystyle \ varphi _ {1} \ varepsilon _ {1}}$${\ Displaystyle X_ {3}}$${\displaystyle X_{2}}$${\ Displaystyle X_ {3}}$${\ Displaystyle \ varphi _ {1} ^ {2} \ varepsilon _ {1}}$${\displaystyle \varepsilon_{1}}$

Ponieważ każdy wstrząs wpływa na wartości X nieskończenie daleko w przyszłość od momentu ich wystąpienia, na każdą dana wartość X _t wpływają wstrząsy występujące nieskończenie daleko w przeszłości. Można to również zobaczyć, przepisując autoregresję

${\ Displaystyle \ phi (B) X_ {t} = \ varepsilon _ {t} \}$

(gdzie stały składnik został stłumiony przez założenie, że zmienna została zmierzona jako odchylenia od jej średniej) as

${\ Displaystyle X_ {t} = {\ Frac {1} {\ phi (B)}} \ varepsilon _ {t} \ ,.}$

Gdy przeprowadzany jest podział wielomianowy po prawej stronie, wielomian w zastosowanym operatorze przesunięcia wstecznego ma nieskończony porządek — to znaczy nieskończoną liczbę opóźnionych wartości pojawia się po prawej stronie równania. ${\ Displaystyle \ varepsilon _ {t}}$${\ Displaystyle \ varepsilon _ {t}}$

Wielomian charakterystyczny

Funkcja autokorelacji procesu AR( p ) może być wyrażona jako

${\ Displaystyle \ rho (\ tau) = \ suma _ {k = 1} ^ {p} a_ {k} y_ {k} ^ {-| \ tau |}}$

gdzie są pierwiastki wielomianu ${\displaystyle y_{k}}$

${\ Displaystyle \ phi (B) = 1 - \ suma _ {k = 1} ^ {p} \ varphi _ {k} B ^ {k}}$

gdzie B jest operatorem przesunięcia wstecz , gdzie jest funkcją definiującą autoregresję, a gdzie są współczynnikami autoregresji. ${\displaystyle \phi (\cdot)}$${\ Displaystyle \ varphi _ {k}}$

Funkcja autokorelacji procesu AR( p ) jest sumą zanikających wykładników.

• Każdy pierwiastek rzeczywisty wnosi składnik do funkcji autokorelacji, która zanika wykładniczo.
• Podobnie, każda para złożonych sprzężonych korzeni przyczynia się do wykładniczo tłumionej oscylacji.

Wykresy procesów AR( p )

Najprostszym procesem AR jest AR(0), który nie ma zależności między terminami. Tylko pojęcie błędu/innowacji/szumu ma wpływ na wynik procesu, więc na rysunku AR(0) odpowiada białemu szumowi.

W przypadku procesu AR(1) z dodatnim , tylko poprzedni składnik w procesie i składnik szumu przyczyniają się do wyjścia. Jeśli jest bliski 0, proces nadal wygląda jak biały szum, ale gdy zbliża się do 1, wyjście otrzymuje większy wkład z poprzedniego składnika w stosunku do szumu. Powoduje to „wygładzenie” lub integrację wyjścia, podobnie jak w filtrze dolnoprzepustowym. ${\displaystyle \varphi}$${\displaystyle \varphi}$${\displaystyle \varphi}$

W przypadku procesu AR(2) dwa poprzednie składniki i składnik szumu mają wpływ na wyjście. Jeśli oba i są dodatnie, wyjście będzie przypominać filtr dolnoprzepustowy, ze zmniejszoną częścią szumu o wysokiej częstotliwości. Jeśli jest dodatnia, a ujemna, to proces sprzyja zmianom znaku pomiędzy elementami procesu. Wyjście oscyluje. Można to porównać do wykrywania krawędzi lub wykrywania zmiany kierunku. ${\ Displaystyle \ varphi _ {1}}$${\ Displaystyle \ varphi _ {2}}$${\ Displaystyle \ varphi _ {1}}$${\ Displaystyle \ varphi _ {2}}$

Przykład: proces AR(1)

Proces AR(1) jest podany przez:

${\ Displaystyle X_ {t} = c + \ varphi X_ {t-1} + \ varepsilon _ {t} \}$

gdzie jest procesem białego szumu o zerowej średniej i stałej wariancji . (Uwaga: indeks dolny on został pominięty.) Proces jest szeroko rozumiany stacjonarny , ponieważ jest uzyskiwany jako wyjście stabilnego filtra, którego wejściem jest biały szum. (Jeśli wtedy wariancja zależy od opóźnienia czasowego t, tak że wariancja szeregu rozchodzi się do nieskończoności w miarę t zmierza do nieskończoności, a zatem nie jest stacjonarna w szerokim sensie.) Zakładając , średnia jest identyczna dla wszystkich wartości t przez samą definicję stacjonarności szeroko rozumianej. Jeżeli średnia jest oznaczona przez , to wynika z ${\ Displaystyle \ varepsilon _ {t}}$${\ Displaystyle \ sigma _ {\ varepsilon} ^ {2}}$${\ Displaystyle \ varphi _ {1}}$${\displaystyle |\varphi |<1}$${\ Displaystyle \ varphi =1}$${\ Displaystyle X_ {t}}$${\displaystyle |\varphi |<1}$${\ Displaystyle \ operatorname {E} (X_ {t})}$${\ Displaystyle \ mu}$

${\ Displaystyle \ nazwa operatora {E} (X_ {t}) = \ nazwa operatora {E} (c) + \ varphi \ nazwa operatora {E} (X_ {t-1}) + \ nazwa operatora {E} (\ varepsilon _ { T}),}$

że

${\ Displaystyle \ mu = c + \ varphi \ mu + 0,}$

i stąd

${\ Displaystyle \ mu = {\ Frac {c} {1-\ varphi}}.}$

W szczególności, jeśli , to średnia wynosi 0. ${\displaystyle c=0}$

Wariancja jest

${\ Displaystyle {\ textrm {var}} (X_ {t}) = \ operatorname {E} (X_ {t} ^ {2}) - \ mu ^ {2} = {\ Frac {\ Sigma _ {\ varepsilon }^{2}}{1-\varphi ^{2}}},}$

gdzie jest odchylenie standardowe . Można to pokazać, zauważając, że ${\ Displaystyle \ sigma _ {\ varepsilon}}$${\ Displaystyle \ varepsilon _ {t}}$

${\ Displaystyle {\ textrm {zmienna}} (X_ {t}) = \ varphi ^ {2} {\ textrm {zmienna}} (X_ {t-1}) + \ sigma _ {\ varepsilon} ^ {2} ,}$

a następnie zauważając, że powyższa wielkość jest stabilnym, stałym punktem tej relacji.

Autokowariancji jest dana przez

${\ Displaystyle B_ {n} = \ operatorname {E} (X_ {t + n} X_ {t}) - \ mu ^ {2} = {\ Frac {\ sigma _ {\ varepsilon} ^ {2}} 1-\varphi ^{2}}}\,\,\varphi ^{|n|}.}$

Można zauważyć, że funkcja autokowariancji zanika z czasem zanikania (zwanym również stałą czasową ) [aby to zobaczyć, napisz gdzie jest niezależne od . Następnie zanotuj to i dopasuj do prawa rozkładu wykładniczego ]. ${\ Displaystyle \ tau =-1/\ ln (\ varphi )}$${\ Displaystyle B_ {n} = K \ varphi ^ {| n |}}$${\ Displaystyle K}$${\ Displaystyle n}$${\ Displaystyle \ varphi ^ {| n |} = e ^ {| n | \ ln \ varphi }}$${\displaystyle e^{-n/\tau}}$

Funkcja gęstości widmowej jest transformatą Fouriera funkcji autokowariancji. W kategoriach dyskretnych będzie to dyskretna transformata Fouriera:

${\ Displaystyle \ Phi (\ omega ) = {\ Frac {1} {\ sqrt {2 \ pi}}} \ \ suma _ {n = - \ infty} ^ {\ infty} B_ {n} e ^ { -i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma _{\varepsilon }^{2}}{1+\varphi ^ {2}-2\varphi \cos(\omega )}}\prawo).}$

Wyrażenie to jest okresowe ze względu na dyskretny charakter , który przejawia się jako wyraz cosinus w mianowniku. Jeśli założymy, że czas próbkowania ( ) jest znacznie mniejszy niż czas zaniku ( ), to możemy zastosować przybliżenie continuum do : ${\ Displaystyle X_ {j}}$${\ Displaystyle \ Delta t = 1}$${\ Displaystyle \ tau}$${\ Displaystyle B_ {n}}$

${\ Displaystyle B (t) \ około {\ Frac {\ Sigma _ {\ varepsilon} ^ {2}} {1-\ varphi ^ {2}}} \ \ \ varphi ^ {| t |}}$

co daje profil Lorentza dla gęstości widmowej:

${\ Displaystyle \ Phi (\ omega ) = {\ Frac {1} {\ sqrt {2 \ pi}}} \ {\ Frac {\ sigma _ {\ varepsilon} ^ {2}} {1-\ varphi ^ {2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}}$

gdzie jest częstotliwość kątowa związana z czasem zaniku . ${\ Displaystyle \ gamma = 1/\ tau}$${\ Displaystyle \ tau}$

Alternatywne wyrażenie za można wyprowadzić, najpierw zastępując za w równaniu definiującym. Kontynuacja tego procesu N razy daje ${\ Displaystyle X_ {t}}$${\ Displaystyle c + \ varphi X_ {t-2} + \ varepsilon _ {t-1}}$${\ Displaystyle X_ {t-1}}$

${\ Displaystyle X_ {t} = c \ suma _ {k = 0} ^ {N-1} \ varphi ^ {k} + \ varphi ^ {N} X_ {tN} + \ suma _ {k = 0} ^ {N-1}\varphi ^{k}\varepsilon _{tk}.}$

Dla N zbliżającego się do nieskończoności, zbliży się do zera i: ${\ Displaystyle \ varphi ^ {N}}$

${\ Displaystyle X_ {t} = {\ Frac {c} {1-\ varphi }} + \ suma _ {k = 0} ^ {\ infty} \ varphi ^ {k} \ varepsilon _ {tk}.}$

Widać, że jest to biały szum splątany z jądrem plus stała średnia. Jeśli biały szum jest procesem gaussowskim, to jest to również proces gaussowski. W innych przypadkach centralne twierdzenie graniczne wskazuje, że będzie w przybliżeniu rozkład normalny, gdy jest bliski jedności. ${\ Displaystyle X_ {t}}$${\ Displaystyle \ varphi ^ {k}}$${\ Displaystyle \ varepsilon _ {t}}$${\ Displaystyle X_ {t}}$${\ Displaystyle X_ {t}}$${\displaystyle \varphi}$

Wyraźna forma średniej/różnicy procesu AR(1)

Model AR(1) jest analogią czasu dyskretnego do ciągłego procesu Ornsteina-Uhlenbecka . Dlatego czasami przydatne jest zrozumienie właściwości modelu AR(1) oddanego w równoważnej formie. W tej postaci model AR(1) wraz z parametrem procesu wyraża się wzorem : ${\displaystyle \theta}$

${\ Displaystyle X_ {t + 1} = X_ {t} + (1-\ theta) (\ mu -X_ {t}) + \ epsilon _ {t + 1}}$, gdzie i jest średnią modelu.${\displaystyle |\theta |<1\,}$${\ Displaystyle \ mu}$

Umieszczając to w formularzu , a następnie rozszerzając serię o , można pokazać, że: ${\ Displaystyle X_ {t + 1} = c + \ phi X_ {t} \ + \ epsilon _ {t + 1}}$${\ Displaystyle X_ {t + n}}$

${\ Displaystyle \ operatorname {E} (X_ {t + n} | X_ {t}) = \ mu \ lewo [1-\ theta ^ {n} \ prawo] + X_ {t} \ theta ^ {n}}$, oraz

${\ Displaystyle \ Operatorname {Var} (X_ {t + n} | X_ {t}) = \ Sigma ^ {2} {\ Frac {1-\ theta ^ {2n}} {1-\ theta ^ {2} }}}$.

Wybór maksymalnego opóźnienia

Częściowa autokorelacja procesu AR(p) jest równa zeru przy opóźnieniu, które nie jest większe niż rząd p i stanowi dobry model korelacji między i , więc odpowiednie maksymalne opóźnienie to takie, powyżej którego wszystkie autokorelacje cząstkowe wynoszą zero. ${\displaystyle X_{1}}$${\displaystyle X_{p+1}}$

Obliczanie parametrów AR

Istnieje wiele sposobów oszacowania współczynników, takich jak zwykła procedura najmniejszych kwadratów lub metoda momentów (poprzez równania Yule'a-Walkera).

Model AR( p ) jest określony równaniem

${\ Displaystyle X_ {t} = \ suma _ {i = 1} ^ {p} \ varphi _ {i} X_ {ti} + \ varepsilon _ {t}. \,}$

Opiera się na parametrach, gdzie i = 1, ..., p . Istnieje bezpośrednia zgodność między tymi parametrami a funkcją kowariancji procesu i tę zależność można odwrócić, aby określić parametry z funkcji autokorelacji (która sama jest otrzymywana z kowariancji). Odbywa się to za pomocą równań Yule-Walker. ${\ Displaystyle \ varphi _ {i}}$

Równania Yule'a-Walkera

Równania Yule'a-Walkera, nazwane dla Udny Yule i Gilberta Walkera , są następującym zestawem równań.

${\ Displaystyle \ gamma _ {m} = \ suma _ {k = 1} ^ {p} \ varphi _ {k} \ gamma _ {mk} + \ sigma _ {\ varepsilon} ^ {2} \ delta _ { m,0},}$

gdzie m  = 0, …,  p , co daje równania p  +1 . Oto funkcja autokowariancji X _t , jest to odchylenie standardowe procesu szumu wejściowego i jest funkcją delta Kroneckera . ${\ Displaystyle \ gamma _ {m}}$${\ Displaystyle \ sigma _ {\ varepsilon}}$${\ Displaystyle \ delta _ {m, 0}}$

Ponieważ ostatnia część pojedynczego równania jest niezerowa tylko wtedy, gdy m  = 0 , zbiór równań można rozwiązać, przedstawiając równania dla m  > 0 w postaci macierzowej, otrzymując w ten sposób równanie

${\displaystyle {\zacząć{bmatrix}\gamma_{1}\\\gamma_{2}\\\gamma_{3}\\\vdots \\\gamma _ {p}\\\koniec {bmatrix} }={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\cdots \\\gamma _{1}&\gamma _{0}&\ gamma _{-1}&\cdots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\cdots \\\vdots &\vdots &\vdots &\ddots \\\ gamma _{p-1}&\gamma _{p-2}&\gamma _{p-3}&\cdots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\ \varphi _{2}\\\varphi _{3}\\\vdots \\\varphi _{p}\\\end{bmatrix}}}$

które można rozwiązać dla wszystkich Pozostałe równanie dla m = 0 to ${\ Displaystyle \ {\ varphi _ {m}; m = 1,2, \ kropki, p \}.}$

${\ Displaystyle \ gamma _ {0} = \ suma _ {k = 1} ^ {p} \ varphi _ {k} \ gamma _ {-k} + \ sigma _ {\ varepsilon} ^ {2}}$

które, gdy są znane, mogą być rozwiązane${\ Displaystyle \ {\ varphi _ {m}; m = 1,2, \ kropki, p \}}$${\ Displaystyle \ sigma _ {\ varepsilon} ^ {2}.}$

Alternatywnym sformułowaniem jest sformułowanie funkcji autokorelacji . Parametry AR są określone przez pierwsze elementy p +1 funkcji autokorelacji. Pełną funkcję autokorelacji można następnie wyprowadzić, obliczając rekurencyjnie ${\ Displaystyle \ rho (\ tau)}$

${\ Displaystyle \ rho (\ tau) = \ suma _ {k = 1} ^ {p} \ varphi _ {k} \ rho (k-\ tau)}$

Przykłady dla niektórych procesów AR( p ) niskiego rzędu

• p =1
  • ${\ Displaystyle \ gamma _ {1} = \ varphi _ {1} \ gamma _ {0}}$
  • Stąd ${\ Displaystyle \ rho _ {1} = \ gamma _ {1} / \ gamma _ {0} = \ varphi _ {1}}$
• p = 2
  • Równania Yule'a-Walkera dla procesu AR(2) to:

    ${\ Displaystyle \ gamma _ {1} = \ varphi _ {1} \ gamma _ {0} + \ varphi _ {2} \ gamma _ {-1}}$

    ${\ Displaystyle \ gamma _ {2} = \ varphi _ {1} \ gamma _ {1} + \ varphi _ {2} \ gamma _ {0}}$

    • Zapamietaj to ${\ Displaystyle \ gamma _ {-k} = \ gamma _ {k}}$
    • Korzystanie z pierwszego równania daje ${\ Displaystyle \ rho _ {1} = \ gamma _ {1} / \ gamma _ {0} = {\ Frac {\ varphi _ {1} {1-\ varphi _ {2}}}}$
    • Korzystanie z formuły rekurencji daje plony ${\ Displaystyle \ rho _ {2} = \ gamma _ {2} / \ gamma _ {0} = {\ Frac {\ varphi _ {1} ^ {2} - \ varphi _ {2} ^ {2} + \varphi _{2}}{1-\varphi _{2}}}}$

Estymacja parametrów AR

Powyższe równania (równania Yule'a-Walkera) dostarczają kilku sposobów szacowania parametrów modelu AR( p ), poprzez zastąpienie teoretycznych kowariancji wartościami szacunkowymi. Niektóre z tych wariantów można opisać w następujący sposób:

• Estymacja autokowariancji lub autokorelacji. Tutaj każdy z tych terminów jest szacowany oddzielnie, przy użyciu konwencjonalnych szacunków. Można to zrobić na różne sposoby, a wybór między nimi wpływa na właściwości schematu estymacji. Na przykład, niektóre wybory mogą spowodować negatywne oszacowania wariancji.
• Sformułowanie jako problem regresji metodą najmniejszych kwadratów, w którym konstruuje się zwykły problem predykcji metodą najmniejszych kwadratów, opierając przewidywanie wartości X _t na p poprzednich wartościach tego samego szeregu. Można to traktować jako schemat przewidywania w przód. W normalnych równań tego problemu widać, odpowiadającą przybliżeniu w postaci macierzy równań Yule-Walker, w którym każdy występ o autokowariancji tego samego opóźnienia zastępuje się nieco inną oszacowania.
• Sformułowanie jako rozszerzona forma zwykłego zadania przewidywania najmniejszych kwadratów. Tutaj dwa zestawy równań prognostycznych są połączone w jeden schemat estymacji i pojedynczy zestaw równań normalnych. Jeden zestaw to zestaw równań przewidywania w przód, a drugi to odpowiedni zestaw równań przewidywania wstecznego, odnoszących się do wstecznej reprezentacji modelu AR:

${\ Displaystyle X_ {t} = c + \ suma _ {i = 1} ^ {p} \ varphi _ {i} X_ {ti} + \ varepsilon _ {t} ^ {*} \,.}$

Tutaj przewidywane wartości X _t byłyby oparte na p przyszłych wartościach tego samego szeregu. Ten sposób szacowania parametrów AR wynika z metody Burga i jest nazywany metodą Burga: Burg i późniejsi autorzy nazywali te konkretne szacunki „oszacowaniami maksymalnej entropii”, ale rozumowanie za tym odnosi się do użycia dowolnego zestawu estymowanych parametrów AR. W porównaniu ze schematem estymacji wykorzystującym tylko równania przewidywania w przód, powstają różne estymaty autokowariancji, a estymaty mają różne właściwości stabilności. Szacunki Burg są szczególnie związane z estymacją widmową maksymalnej entropii .

Inne możliwe podejścia do estymacji obejmują szacowanie maksymalnego prawdopodobieństwa . Dostępne są dwa różne warianty największej prawdopodobieństwa: w jednym (szeroko równoważnym schematowi najmniejszych kwadratów z przewidywaniem w przód) rozważana funkcja prawdopodobieństwa odpowiada rozkładowi warunkowemu późniejszych wartości w szeregu przy danych początkowych wartościach p w szeregu; w drugim rozważana jest funkcja wiarygodności odpowiadająca bezwarunkowemu łącznemu rozkładowi wszystkich wartości w obserwowanych szeregach. Istotne różnice w wynikach tych podejść mogą wystąpić, jeśli obserwowana seria jest krótka lub proces jest bliski niestacjonarności.

Widmo

Mocy widmowej gęstości (PSD) o AR ( p ) z procesu wariancji szumu jest ${\ Displaystyle \ operatorname {Var} (Z_ {t}) = \ Sigma _ {Z} ^ {2}}$

${\ Displaystyle S (f) = {\ Frac {\ Sigma _ {Z} ^ {2}} {| 1- \ suma _ {k = 1} ^ {p} \ Varphi _ {K} e ^ {-i2 \pi fk}|^{2}}}.}$

AR(0)

Dla białego szumu (AR(0))

${\ Displaystyle S (f) = \ sigma _ {Z} ^ {2}.}$

AR(1)

Dla AR(1)

${\ Displaystyle S (f) = {\ Frac {\ Sigma _ {Z} ^ {2}} {| 1- \ varphi _ {1} e ^ {-2 \ pi jeśli} | ^ {2}}} = {\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}-2\varphi _{1}\cos 2\pi f}}}$

• Jeśli występuje pojedynczy pik widmowy przy f=0, często określany jako szum czerwony . Jak staje się bliższy 1, nie ma większą moc przy niskich częstotliwościach, czyli większych opóźnień czasowych. Jest to zatem filtr dolnoprzepustowy, po zastosowaniu do światła o pełnym spektrum, wszystko oprócz czerwonego światła zostanie przefiltrowane.${\ Displaystyle \ varphi _ {1}> 0}$${\ Displaystyle \ varphi _ {1}}$
• Jeśli jest minimum przy f=0, często określane jako szum niebieski . Działa to podobnie jak filtr górnoprzepustowy, wszystko oprócz niebieskiego światła zostanie przefiltrowane.${\ Displaystyle \ varphi _ {1}<0}$

AR(2)

Procesy AR(2) można podzielić na trzy grupy w zależności od cech ich korzeni:

${\ Displaystyle z_ {1}, z_ {2} = {\ Frac {1} {2}} \ lewo (\ varphi _ {1} \ pm {\ sqrt {\ varphi _ {1} ^ {2} + 4 \varphi _{2}}}\prawo)}$

• Kiedy , proces ma parę złożonych sprzężonych korzeni, tworząc szczyt średniej częstotliwości przy:${\ Displaystyle \ varphi _ {1} ^ {2} + 4 \ varphi _ {2} <0}$

${\ Displaystyle f ^ {*} = {\ Frac {1} {2 \ pi}} \ cos ^ {-1} \ lewo ({\ Frac {\ varphi _ {1} (\ varphi _ {2} -1 )}{4\varphi _{2}}}\prawo)}$

W przeciwnym razie proces ma prawdziwe korzenie i:

• Kiedy działa jako filtr dolnoprzepustowy na białym szumie ze szczytem widmowym przy${\ Displaystyle \ varphi _ {1}> 0}$${\displaystyle f=0}$
• Kiedy działa jako filtr górnoprzepustowy na biały szum ze szczytem widmowym przy .${\ Displaystyle \ varphi _ {1}<0}$${\ Displaystyle f = 1/2}$

Proces jest niestacjonarny, gdy korzenie znajdują się poza okręgiem jednostkowym. Proces jest stabilny, gdy pierwiastki znajdują się w okręgu jednostkowym lub równoważnie, gdy współczynniki znajdują się w trójkącie . ${\displaystyle -1\leq \varphi_{2}\leq1-|\varphi_{1}|}$

Pełną funkcję PSD można wyrazić w postaci rzeczywistej jako:

${\ Displaystyle S (f) = {\ Frac {\ Sigma _ {Z} ^ {2}} {1 + \ Varphi _ {1} {2} + \ Varphi _ {2} ^ {2} -2 \ varphi _{1}(1-\varphi _{2})\cos(2\pi f)-2\varphi _{2}\cos(4\pi f)}}}$

Wdrożenia w pakietach statystyk

• R , pakiet statystyk zawiera funkcję ar .
• Zestaw narzędzi Econometrics Toolbox i System Identification Toolbox firmy MATLAB zawiera modele autoregresyjne
• Matlab i Octave : zestaw narzędzi TSA zawiera kilka funkcji estymacji dla modeli jednowymiarowych, wielowymiarowych i adaptacyjnych modeli autoregresyjnych.
• PyMC3 : statystyka bayesowska i struktura programowania probabilistycznego obsługują tryby autoregresyjne z opóźnieniami p .
• bayesloop obsługuje wnioskowanie parametrów i wybór modelu dla procesu AR-1 ze zmiennymi w czasie parametrami.
• Python : implementacja w statsmodelach.

Odpowiedź impulsowa

Odpowiedź impulsowa systemu jest zmianą zmiennej ewoluującej w odpowiedzi na zmianę wartości składnika szokowego k okresów wcześniej, w funkcji k . Ponieważ model AR jest szczególnym przypadkiem modelu wektorowej autoregresji, stosuje się tutaj obliczanie odpowiedzi impulsowej w wektorowej autoregresji#odpowiedź impulsowa .

n – prognozowanie z wyprzedzeniem

Gdy parametry autoregresji

${\ Displaystyle X_ {t} = c + \ suma _ {i = 1} ^ {p} \ varphi _ {i} X_ {ti} + \ varepsilon _ {t} \}$

zostały oszacowane, autoregresja może być wykorzystana do prognozowania dowolnej liczby okresów w przyszłość. Pierwsze użycie t w odniesieniu do pierwszego okresu, dla którego dane nie są jeszcze dostępne; wstaw znane poprzednie wartości X _t-i dla i= 1, ..., p do równania autoregresyjnego, ustawiając składnik błędu równy zero (ponieważ prognozujemy, że X _t będzie równe jego wartości oczekiwanej, a wartość oczekiwana składnika błędu nieobserwowanego wynosi zero). Wynikiem równania autoregresyjnego jest prognoza dla pierwszego nieobserwowanego okresu. Następnie użyj t, aby odnieść się do następnego okresu, dla którego dane nie są jeszcze dostępne; ponownie równanie autoregresyjne jest używane do wykonania prognozy, z jedną różnicą: wartość X jeden okres przed tym, który jest obecnie prognozowany, nie jest znana, więc zamiast tego używana jest jej wartość oczekiwana — wartość przewidywana wynikająca z poprzedniego kroku prognozowania . Następnie dla przyszłych okresów stosuje się tę samą procedurę, za każdym razem stosując jeszcze jedną wartość prognozy po prawej stronie równania predykcyjnego, aż po p prognozach wszystkie p wartości po prawej stronie będą wartościami prognozowanymi z poprzednich etapów. ${\ Displaystyle \ varepsilon _ {t}}$

Istnieją cztery źródła niepewności dotyczące prognoz uzyskanych w ten sposób: (1) niepewność, czy model autoregresyjny jest modelem poprawnym; (2) niepewność co do dokładności prognozowanych wartości, które są używane jako wartości opóźnione po prawej stronie równania autoregresji; (3) niepewność co do prawdziwych wartości współczynników autoregresji; oraz (4) niepewność co do wartości składnika błędu dla przewidywanego okresu. Każdą z trzech ostatnich można określić ilościowo i połączyć w celu uzyskania przedziału ufności dla predykcji n -krokowych; przedział ufności będzie się poszerzał wraz ze wzrostem n ze względu na stosowanie coraz większej liczby szacowanych wartości dla zmiennych po prawej stronie. ${\ Displaystyle \ varepsilon _ {t} \,}$

Ocena jakości prognoz

Wydajność predykcyjną modelu autoregresyjnego można ocenić zaraz po wykonaniu estymacji, jeśli stosuje się walidację krzyżową . W tym podejściu część początkowo dostępnych danych została wykorzystana do celów estymacji parametrów, a część (z dostępnych później obserwacji w zestawie danych) została wstrzymana do testów poza próbą. Alternatywnie, po pewnym czasie od oszacowania parametrów, dostępnych będzie więcej danych i można będzie ocenić wydajność predykcyjną, a następnie przy użyciu nowych danych.

W obu przypadkach istnieją dwa aspekty wydajności predykcyjnej, które można ocenić: wydajność o jeden krok do przodu i wydajność n -kroku do przodu . W przypadku wykonania o jeden krok do przodu, oszacowane parametry są wykorzystywane w równaniu autoregresji wraz z obserwowanymi wartościami X dla wszystkich okresów poprzedzających ten, który jest przewidywany, a wynikiem równania jest prognoza z jednym krokiem naprzód; ta procedura jest używana do uzyskania prognoz dla każdej z obserwacji poza próbą. Aby ocenić jakość prognoz n -krokowych do przodu, do uzyskania prognoz stosuje się procedurę prognozowania opisaną w poprzedniej sekcji.

Mając zestaw przewidywanych wartości i odpowiadający im zestaw rzeczywistych wartości dla X dla różnych okresów czasu, powszechną techniką oceny jest użycie średniokwadratowego błędu przewidywania ; dostępne są również inne miary (patrz prognozowanie#dokładność prognozowania ).

Pojawia się pytanie, jak interpretować zmierzoną dokładność prognozowania — na przykład, jaka jest „wysoka” (zła) lub „niska” (dobra) wartość średniokwadratowego błędu prognozy? Istnieją dwa możliwe punkty porównania. Po pierwsze, do celów porównawczych można wykorzystać dokładność prognozowania alternatywnego modelu, oszacowanego przy różnych założeniach modelowania lub różnych technikach szacowania. Po drugie, miara dokładności poza próbą może być porównana z tą samą miarą obliczoną dla punktów danych w próbie (które zostały użyte do oszacowania parametrów), dla których dostępna jest wystarczająca ilość wcześniejszych wartości danych (tj. porzucenie pierwszych danych p punktów, dla których nie jest dostępnych p wcześniejszych punktów danych). Ponieważ model został oszacowany specjalnie tak, aby jak najlepiej pasował do punktów w próbce, zwykle będzie tak, że wydajność predykcyjna poza próbą będzie gorsza niż wydajność predykcyjna w próbce. Ale jeśli jakość predykcyjna pogorszy się poza próbą o „niewiele” (co nie jest precyzyjnie zdefiniowane), to prognostyk może być zadowolony z wyników.

Zobacz też

• Model średniej ruchomej
• Liniowe równanie różnicy
• Analityka predykcyjna
• Liniowe kodowanie predykcyjne
• Rezonans
• Rekurencja Levinsona
• Proces Ornsteina-Uhlenbecka

Uwagi

Bibliografia

• Mills, Terence C. (1990). Techniki szeregów czasowych dla ekonomistów . Wydawnictwo Uniwersytetu Cambridge.
• Percival, Donald B.; Walden, Andrew T. (1993). Analiza spektralna do zastosowań fizycznych . Wydawnictwo Uniwersytetu Cambridge.
• Pandit, Sudhakar M.; Wu, Shien-Ming (1983). Szeregi czasowe i analiza systemowa z aplikacjami . John Wiley & Synowie.

Zewnętrzne linki

• Analiza autoregresji (AR) Paula Bourke
• Wykład z ekonometrii (temat: Modele autoregresyjne) na YouTube autorstwa Marka Thoma