本篇文章由博主参考王燕老师的《应用时间序列分析》结合学校开设的《时间序列分析》课程撰写，主要用来作为考前复习，如有疏漏欢迎留言讨论。
斜体或者标题加*内容为辅助理解内容
Introduction
传统的统计学习过程中我们用样本推断总体的方法时，我们希望分析的随机变量越少越好，同时每一个变量的信息(样本容量 n)越大越好，这从两个方面保证了我们统计分析的合理性，而对于时间序列而言，因为引入了时间变量T T T 不同时刻对应随机变量的具有某种一定的相似性 ，这也就引出了我们所说的“平稳性”的概念，简单来说时间序列的平稳性就是在看随机变量的分布特征是否会随着时间改变。
特征统计量
这块主要是涉及对序列统计性质的描述，基本上和数理统计学到的内容一致.
均值
方差
自协方差函数和自相关系数（Auto Correlation Function）度量自己过去的行为对自己现在的影响 。
对于时间序列Z t , t ∈ T {Z_t,t\in T} Z t , t ∈ T γ ( t , s ) \gamma(t,s) γ ( t , s )
γ ( t , s ) = E ( X t − μ t ) ( X s − μ s ) ( t , s ∈ T ) \gamma(t, s)=E\left(X_t-\mu_t\right)\left(X_s-\mu_s\right)(t,s\in T)
γ ( t , s ) = E ( X t − μ t ) ( X s − μ s ) ( t , s ∈ T )
ACF
自相关系数（Auto Correlation Function）记为ρ ( t , s ) \rho(t,s) ρ ( t , s )
ρ ( t , s ) = γ ( t , s ) γ ( t , t ) γ ( s , s ) \rho(t, s)=\frac{\gamma(t, s)}{\sqrt{\gamma(t, t)\gamma(s, s)}}
ρ ( t , s ) = γ ( t , t ) γ ( s , s ) γ ( t , s )
平稳性
严平稳是一种条件十分苛刻的平稳，也是最先想到的平稳，也就是说我们会认为分布不会随时间改变的序列属于严平稳序列：
对于一个给定的时间序列Z t {Z_t} Z t m m m t 1 < t 2 < … < t m t_1< t_2<… < t_m t 1 < t 2 < … < t m ( Z t 1 + s , Z t 2 + s , Z t m + s ) (Z_{t_1+s},Z_{t_2+s},Z_{t_m+s}) ( Z t 1 + s , Z t 2 + s , Z t m + s ) 严平稳的
从定义中不难看出，这种条件是很难进行验证的，在实际应用过程中，我们更可能会遇到一种比较宽松的平稳，也就是弱平稳 ：
γ ( t , s ) = E [ ( Z t − μ ) ( Z s − μ ) ] = γ ( t − s , 0 ) \gamma(t, s)=E\left[\left(Z_t-\mu\right)\left(Z_s-\mu\right)\right]=\gamma(t-s, 0)
γ ( t , s ) = E [ ( Z t − μ ) ( Z s − μ ) ] = γ ( t − s , 0 )
即认为宽平稳
常数均值:μ t = μ ( μ 固定常数 ) \mu_t=\mu(\mu\text{固定常数}) μ t = μ ( μ 固定常数 )
序列的自协方差函数与自相关系数只与时间间隔有关，与时间起点无关。
记间隔为k k k ρ k \rho_k ρ k
ρ ( t , s ) = r ( t , s ) r ( t , t ) r ( s , s ) = r k r 0 r 0 = r k r 0 = ρ k \rho(t, s)=\frac{r(t, s)}{\sqrt{r(t, t)} \sqrt{r(s, s)}}=\frac{r_k}{\sqrt{r_0} \sqrt{r_0}}=\frac{r_k}{r_0}=\rho_k
ρ ( t , s ) = r ( t , t ) r ( s , s ) r ( t , s ) = r 0 r 0 r k = r 0 r k = ρ k
自相关系数的一些性质:
规范性：ρ 0 = 1 \rho_0=1 ρ 0 = 1 ∣ ρ k ∣ ≤ 1 , ∀ k |\rho_k|\le 1,\forall k ∣ ρ k ∣ ≤ 1 , ∀ k
对称性： ρ k = ρ − k \rho_{k}=\rho_{-k} ρ k = ρ − k
非负定性（补充）: 相关系数组成的阵为非负定阵
除此以外，自相关系数还具有对应模型的非唯一性 ，一个平稳时间序列对应一个自相关系数，但是一个自相关系数未必对应一个平稳时间序列。
注意
严平稳与宽平稳之间并不存在是一个平稳序列就一定是另一个平稳序列的关系。事实上，一个严平稳序列，某一时刻的随机变量可以不存在二阶矩(Secondary Moment)，因此，它不一定是宽平稳序列；反之，一个宽平稳序列的分布不一定随时间推移而不变，也就不一定是严平稳序列。严平稳强调的是分布(distribution)，宽平稳强调的随机变量(Stochastic Variable)的数字特征(Numerical Characteristic)。
从图形分析序列的平稳性
严平稳要求每个变量的分布相同，这种平稳条件下的时间序列的图形可以看做一个是一个随机变量的分布图，宽平稳则要求均值相等和二阶矩有限，也就是说数据的时间图显示出 T 个值围绕特定常数水平上以相同幅度波动。
平稳序列自相关系数的估计
这个不是老师课堂讲的内容，感觉可以帮助加深对平稳性度量的理解。前边提到对平稳性的界定是为了能够对序列的特征进行估计，这里以估计平稳序列的均值和自相关系数为例来进行具体的说明:
μ t , t ∈ T {\mu_t,t\in T}
μ t , t ∈ T
因为序列是平稳的，所以均值序列变为了常数列（μ t = μ \mu_t=\mu μ t = μ
μ , t ∈ T {\mu,t\in T}
μ , t ∈ T
这样对均值进行估计时就可以用到每一个随机变量的观察值，使得本来难以估计的均值变得可以估计（所有观察值都可以看做对均值的估计），这样的话对于序列均值的估计值就变成了:
μ ^ = x ˉ = ∑ i = 1 n x i n \hat{\mu}=\bar{x}=\frac{\sum\limits_{i=1}^n x_i}{n}
μ ^ = x ˉ = n i = 1 ∑ n x i
同理，也可以得到基于全体观察样本得到的自协方差函数的估计值:
γ ^ ( k ) = ∑ t = 1 n − k ( x t − x ˉ ) ( x t + k − x ˉ ) n − k , ∀ 0 < k < n \hat{\gamma}(k)=\frac{\sum_{t=1}^{n-k}\left(x_t-\bar{x}\right)\left(x_{t+k}-\bar{x}\right)}{n-k}, \forall 0<k<n
γ ^ ( k ) = n − k ∑ t = 1 n − k ( x t − x ˉ ) ( x t + k − x ˉ ) , ∀ 0 < k < n
自相关系数的估计值:
\begin{equation*}
\begin{aligned}
\hat{\rho}_k=\frac{\hat{\gamma}(k)}{\hat{\gamma}(0)}, \forall 0<k<n\\
\hat{\rho}_k \cong \frac{\sum_{t=1}^{n-k}\left(x_i-\bar{x}\right)\left(x_{t+k}-\bar{x}\right)}{\sum_{t=1}^n\left(x_i-\bar{x}\right)^2}, \forall 0<k<n
\end{aligned}
\end{equation*}
上述估计的条件是k ≪ n k\ll n k ≪ n
白噪声序列
白噪声序列是平稳序列的一种，之所以将这种序列单拿出来是因为这种序列有比较特殊的性质。我们对时间序列的分析是希望借助历史数据来预测未来走势，但是如果某一个序列中各项之间完全不相关，那么即使这种序列是平稳的，研究这种序列也是没有意义的。这种序列值之间不具有任何相关关系，波动完全随机的序列叫做纯随机序列，也叫做白噪声序列，严格定义如下:t ∈ T t \in T t ∈ T E X t = μ E X_t=\mu E X t = μ t , s ∈ T t, s \in T t , s ∈ T
γ ( t , s ) = { σ 2 , t = s 0 , t ≠ s \gamma(t, s)=\left\{\begin{array}{l}
\sigma^2, t=s \\
0, t \neq s
\end{array}\right.
γ ( t , s ) = { σ 2 , t = s 0 , t = s
白噪声序列的两条性质:
纯随机性：γ ( k ) = 0 \gamma(k)=0 γ ( k ) = 0
方差齐性：D X t = γ ( 0 ) = σ 2 DX_t=\gamma(0)=\sigma^2 D X t = γ ( 0 ) = σ 2
方差齐性是一条很重要的性质，根据马尔科夫定理，只有方差齐性下才会有 OLS 无偏估计的性质
平稳时间序列
分析方法
延迟算子:{ z t , t = 0 , ± 1 , ± 2 } \{z_t,t=0,\pm1,\pm2\} { z t , t = 0 , ± 1 , ± 2 } 线性差分方程 定义为:
z t + a 1 z t − 1 + a 2 z t − 2 + ⋯ + a p z t − p = h ( t ) [ p ≥ 1 ] z_t+a_1 z_{t-1}+a_2 z_{t-2}+\cdots+a_p z_{t-p}=h(t)[p\ge1]
z t + a 1 z t − 1 + a 2 z t − 2 + ⋯ + a p z t − p = h ( t ) [ p ≥ 1 ]
AR
A R ( p ) AR(p) A R ( p ) z t z_t z t
{ x t = ϕ 0 + ϕ 1 x t − 1 + ϕ 2 x t − 2 + ⋯ + ϕ p x t − p + ε t ϕ p ≠ 0 ( 限定最高阶数为p ) E ( ε t ) = 0 , Var ( ε t ) = σ ε 2 , E ( ε t ε s ) = 0 , s ≠ t ( { ε } 为零均值白噪声序列 ) E x s ε t = 0 , ∀ s < t （当前随机干扰与过去序列值无关） \left\{\begin{array}{l}
x_t=\phi_0+\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t \\
\phi_p \neq 0(\text{限定最高阶数为p}) \\
E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_{t} \varepsilon_s\right)=0, s \neq t (\{\varepsilon\}\text{为零均值白噪声序列})\\
E x_s \varepsilon_t=0, \forall s<t\text{（当前随机干扰与过去序列值无关）}
\end{array}\right.
⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ x t = ϕ 0 + ϕ 1 x t − 1 + ϕ 2 x t − 2 + ⋯ + ϕ p x t − p + ε t ϕ p = 0 ( 限定最高阶数为 p ) E ( ε t ) = 0 , V a r ( ε t ) = σ ε 2 , E ( ε t ε s ) = 0 , s = t ( { ε } 为零均值白噪声序列 ) E x s ε t = 0 , ∀ s < t （当前随机干扰与过去序列值无关）
一般会默认省去式中的限制条件，将模型简单记作:
x t = ϕ 0 + ϕ 1 x t − 1 + ϕ 2 x t − 2 + ⋯ + ϕ p x t − p + ε t x_t=\phi_0+\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t
x t = ϕ 0 + ϕ 1 x t − 1 + ϕ 2 x t − 2 + ⋯ + ϕ p x t − p + ε t
另外也可以对{ x t } \{x_t\} { x t } ϕ 0 = 0 \phi_0=0 ϕ 0 = 0
\begin{equation}
\begin{aligned}
& x_{t-1} =B x_t \\
&x_{t-2} =B^2 x_t \\
& \dots \\
&x_{t-p} =B^p x_t\\
&x_t=\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t\\
&=\phi_1 B x_t+\phi_2 B^2 x_t+\cdots+\phi_p B^p x_t+\varepsilon_t
\end{aligned}
\end{equation}
接着对上式进行一步简化:
\begin{equation}
\begin{aligned}
&x_t-\phi_1 B x_t-\phi_2 B^2 x_t-\cdots+\phi_p B^p x_t=\varepsilon_t\\
&(1-\phi_1 B-\phi_2 B^2-\cdots+\phi_p B^p )x_t=\varepsilon_t\\
&\varPhi(B)x_t=\varepsilon_t
\end{aligned}
\end{equation}
其中Φ ( B ) \varPhi(B) Φ ( B ) p 阶自回归系数多项式 ,注意与线性差分方程的特征方程区分开（后来有证明二者的根互为倒数）:
λ p − ϕ 1 λ p − 1 − ϕ 2 λ p − 2 − ⋯ − ϕ p = 0 \lambda^p-\phi_1 \lambda^{p-1}-\phi_2 \lambda^{p-2}-\cdots-\phi_p=0
λ p − ϕ 1 λ p − 1 − ϕ 2 λ p − 2 − ⋯ − ϕ p = 0
后来在寻找 A R ( p ) AR(p) A R ( p ) A R ( p ) AR(p) A R ( p ) Φ ( B ) = 0 \varPhi(B)=0 Φ ( B ) = 0
这块老师 ppt 上以一阶和二阶自回归模型的平稳性条件做了进一步说明，简单来说就是要求根都在圆外，我就不重复了，主要讨论一下二者的 ACF 和 PACF 情况
PACF
对于自相关系数来说，虽然分析的是两个变量之间的相关性，但是因为X t X_t X t X t − 1 , X t − 2 … X_{t-1},X_{t-2}\dots X t − 1 , X t − 2 … x t − k x_{t-k} x t − k x t x_t x t
ρ x t , x t − k ∣ x t − 1 , ⋯ , x t − k + 1 = E [ ( x t − E ~ x t ) ( x t − k − E ^ x t − k ) ] E [ ( x t − k − E ^ x t − k ) 2 ] \rho_{x_t, x_{t-k} \mid x_{t-1}, \cdots, x_{t-k+1}}=\frac{E\left[\left(x_t-\tilde{E} x_t\right)\left(x_{t-k}-\hat{E} x_{t-k}\right)\right]}{E\left[\left(x_{t-k}-\hat{E} x_{t-k}\right)^2\right]}
ρ x t , x t − k ∣ x t − 1 , ⋯ , x t − k + 1 = E [ ( x t − k − E ^ x t − k ) 2 ] E [ ( x t − E ~ x t ) ( x t − k − E ^ x t − k ) ]
式中, E ^ x t = E [ x t ∣ x t − 1 , ⋯ , x t − k + 1 ] , E ^ x t − k = E [ x t − k ∣ x t − 1 , ⋯ , x t − k + 1 ] \hat{E} x_t=E\left[x_t \mid x_{t-1}, \cdots, x_{t-k+1}\right], \hat{E} x_{t-k}=E\left[x_{t-k} \mid x_{t-1}, \cdots, x_{t-k+1}\right] E ^ x t = E [ x t ∣ x t − 1 , ⋯ , x t − k + 1 ] , E ^ x t − k = E [ x t − k ∣ x t − 1 , ⋯ , x t − k + 1 ] k k k
\begin{equation}
\begin{aligned}
x_t=\phi_{k1} x_{t-1}+\phi_{k2} x_{t-2}+\cdots+\phi_{kk} x_{t-k}+\varepsilon_t \\
\frac{E\left[\left(x_t-\tilde{E} x_t\right)\left(x_{t-k}-\hat{E} x_{t-k}\right)\right]}{E\left[\left(x_{t-k}-\hat{E} x_{t-k}\right)^2\right]}=\phi_{kk}
\end{aligned}
\end{equation}
换言之也就是说 k 阶偏自相关系数实际上就等于 k 阶自回归模型第 k 个回归参数ϕ k k \phi_{kk} ϕ k k
\begin{equation}
x_t=\phi_{21} x_{t-1}+\phi_{22} x_{t-2}+\varepsilon_t
\end{equation}
对上式分别乘x t − 1 x_{t-1} x t − 1 x t − 2 x_{t-2} x t − 2
γ 2 = ϕ 21 γ 1 + ϕ 22 γ 0 ( 同乘 x t − 2 ) γ 1 = ϕ 21 γ 0 + ϕ 22 γ 1 ( 同乘 x t − 1 ) \begin{aligned}
& \gamma_2=\phi_{21} \gamma_1+\phi_{22} \gamma_0\left(\text{同乘} x_{t-2}\right) \\
& \gamma_1=\phi_{21} \gamma_0+\phi_{22} \gamma_1\left(\text{同乘}x_{t-1}\right)
\end{aligned}
γ 2 = ϕ 2 1 γ 1 + ϕ 2 2 γ 0 ( 同乘 x t − 2 ) γ 1 = ϕ 2 1 γ 0 + ϕ 2 2 γ 1 ( 同乘 x t − 1 )
然后约去γ 0 \gamma_0 γ 0
ρ 1 ϕ 21 + ϕ 22 = ρ 2 ϕ 21 + ρ 1 ϕ 22 = ρ 1 \begin{aligned}
\rho_1 &\phi_{21}+&\phi_{22} &=\rho_2 \\
&\phi_{21}+\rho_1 &\phi_{22} &=\rho_1
\end{aligned}
ρ 1 ϕ 2 1 + ϕ 2 1 + ρ 1 ϕ 2 2 ϕ 2 2 = ρ 2 = ρ 1
由 Crammer 法则可得:
D = ∣ ρ 1 1 1 ρ 1 ∣ D 2 = ∣ ρ 1 ρ 2 1 ρ 1 ∣ \begin{aligned}
&D=\left|\begin{array}{ll}
\rho_1 & 1 \\
1 & \rho_1
\end{array}\right| \quad D_2=\left|\begin{array}{ll}
\rho_1 & \rho_2 \\
1 & \rho_1
\end{array}\right| \\
\end{aligned}
D = ∣ ∣ ∣ ∣ ∣ ρ 1 1 1 ρ 1 ∣ ∣ ∣ ∣ ∣ D 2 = ∣ ∣ ∣ ∣ ∣ ρ 1 1 ρ 2 ρ 1 ∣ ∣ ∣ ∣ ∣
故ϕ 2 = D 2 D = ρ 2 − ρ 1 2 1 − ρ 1 2 \displaystyle\phi_2=\frac{D_2}{D}=\frac{\rho_2-\rho_1^2}{1-\rho_1^2} ϕ 2 = D D 2 = 1 − ρ 1 2 ρ 2 − ρ 1 2 A R ( p ) AR(p) A R ( p ) ϕ k k = 0 \phi_{kk}=0 ϕ k k = 0 这也是 A R ( p ) AR(p) A R ( p ) ，即滞后 p 阶以后的偏自相关系数都为 0，因此可以通过观察 PACF 图来判断模型的阶数。
AR(1)
对于A R ( 1 ) A R(1) A R ( 1 )
x t = ϕ 1 x t − 1 + ε t x_t=\phi_1 x_{t-1}+\varepsilon_t
x t = ϕ 1 x t − 1 + ε t
对应的A C F A C F A C F
γ k = E ( x t − u t ) ( x t − k − u t − k ) = E ( x t x t − k ) = E ( ϕ 1 x t − k x t − 1 + ε t x t − k ) = ϕ 1 E ( x t − k x t − 1 ) = ⋯ = ϕ 1 k E ( x t − k 2 ) = ϕ 1 k γ 0 \begin{aligned}
\gamma_k=& E\left(x_t-u_t\right)\left(x_{t-k}-u_{t-k}\right) \\
=& E\left(x_t x_{t-k}\right) \\
=& E\left(\phi_1 x_{t-k} x_{t-1}+\varepsilon_t x_{t-k}\right) \\
=& \phi_1 E\left(x_{t-k} x_{t-1}\right) \\
=& \cdots \\
=& \phi_1^k E\left(x_{t-k}^2\right) \\
=&\phi_1^k \gamma_0
\end{aligned}
γ k = = = = = = = E ( x t − u t ) ( x t − k − u t − k ) E ( x t x t − k ) E ( ϕ 1 x t − k x t − 1 + ε t x t − k ) ϕ 1 E ( x t − k x t − 1 ) ⋯ ϕ 1 k E ( x t − k 2 ) ϕ 1 k γ 0
于是:
ρ k = r k r 0 = ϕ 1 k \rho_k=\frac{r_k}{r_0}=\phi_1^k
ρ k = r 0 r k = ϕ 1 k
又因为对于一阶回归系数对应的零点为B = 1 ϕ 1 > 1 B=\frac{1}{\phi_1}>1 B = ϕ 1 1 > 1 ϕ 1 < 1 \phi_1<1 ϕ 1 < 1 ρ k \rho_k ρ k k k k
AR(2)
AR(2)模型的求解相对来说会复杂一点，但是整体思路是比较一致的，这里写下 AR(2)模型的 ACF 和 PACF 的求解过程：ACF :
x t = ϕ 1 x t − 1 + ϕ 2 x t − 2 + ε t x_t=\phi_1 x_{t-1}+\phi_2 x_{t-2}+\varepsilon_t
x t = ϕ 1 x t − 1 + ϕ 2 x t − 2 + ε t
对上式同乘 x t − k x_{t-k} x t − k
E ( x t x t − k ) = E ( ϕ 1 x t − 1 x t − k ) + E ( ϕ 2 x t − 2 x t − k ) E ( ε t x t − k ) = 0 于是有: r k = ϕ 1 r k − 1 + ϕ 2 r k − 2 \begin{aligned}
E\left(x_t x_{t-k}\right) &=E\left(\phi_1 x_{t-1} x_{t-k}\right)+E\left(\phi_2 x_{t-2} x_{t-k}\right) \\
E\left(\varepsilon_t x_{t-k}\right) &=0\\
\text{于是有:}r_k&=\phi_1 r_{k-1}+\phi_2 r_{k-2}
\end{aligned}
E ( x t x t − k ) E ( ε t x t − k ) 于是有 : r k = E ( ϕ 1 x t − 1 x t − k ) + E ( ϕ 2 x t − 2 x t − k ) = 0 = ϕ 1 r k − 1 + ϕ 2 r k − 2
解上式对应的差分方程得：
γ k = C 1 ( λ 1 ) k + C 2 ( λ 2 ) k λ 1 = ϕ 1 + ϕ 1 2 + 4 ϕ 2 2 = 1 B 1 < 1 λ 2 = ϕ 1 − ϕ 1 2 + 4 ϕ 2 2 = 1 B 2 < 1 \begin{aligned}
&\gamma_k=C_1\left(\lambda_1\right)^k+C_2\left(\lambda_2\right)^k \\
&\lambda_1=\frac{\phi_1+\sqrt{\phi_1^2+4\phi_2}}{2}=\frac{1}{B_1}<1 \\
&\lambda_2=\frac{\phi_1-\sqrt{\phi_1^2+4 \phi_2}}{2}=\frac{1}{B_2}<1
\end{aligned}
γ k = C 1 ( λ 1 ) k + C 2 ( λ 2 ) k λ 1 = 2 ϕ 1 + ϕ 1 2 + 4 ϕ 2 = B 1 1 < 1 λ 2 = 2 ϕ 1 − ϕ 1 2 + 4 ϕ 2 = B 2 1 < 1
即随着 k 的增大，γ k \gamma_k γ k
若为实根， 呈指数衰减；
若为复根， 星阻尼正玄波衰减
PACF :
ϕ 11 = γ 1 = ϕ 1 1 − ϕ 2 ϕ 22 = γ 2 − γ 1 ϕ 11 1 − γ 1 ϕ 11 = γ 2 − γ 1 2 1 − γ 1 2 = ϕ 2 ϕ 21 = ϕ 11 − ϕ 22 ϕ 11 = γ 1 − ϕ 2 γ 1 = ϕ 1 1 − ϕ 2 − ϕ 1 ϕ 2 1 − ϕ 2 = ϕ 1 ϕ 33 = γ 3 − γ 2 ϕ 21 − γ 1 ϕ 22 1 − γ 1 ϕ 21 − γ 2 ϕ 22 = ϕ 1 γ 2 + ϕ 2 γ 1 − γ 2 ϕ 1 − γ 1 ϕ 2 1 − γ 1 ϕ 1 − γ 2 ϕ 2 = 0 \begin{aligned}
\phi_{11}&=\gamma_1=\frac{\phi_1}{1-\phi_2} \\
\phi_{22}&=\frac{\gamma_2-\gamma_1 \phi_{11}}{1-\gamma_1 \phi_{11}} \\
&=\frac{\gamma_2-\gamma_{1 }^2}{1-\gamma_1^2}=\phi_2\\
\phi_{21}&=\phi_{11}-\phi_{22} \phi_{11} \\
&=\gamma_1-\phi_2 \gamma_1=\frac{\phi_1}{1-\phi_2}-\frac{\phi_1 \phi_2}{1-\phi_2}=\phi_1 \\
\phi_{33}&=\frac{\gamma_3-\gamma_2 \phi_{21}-\gamma_1 \phi_{22}}{1-\gamma_1 \phi_{21}-\gamma_2 \phi_{22}} \\
&=\frac{\phi_1 \gamma_2+\phi_2 \gamma_1-\gamma_2 \phi_1-\gamma_1 \phi_2}{1-\gamma_1 \phi_1-\gamma_2 \phi_2}=0
\end{aligned}
ϕ 1 1 ϕ 2 2 ϕ 2 1 ϕ 3 3 = γ 1 = 1 − ϕ 2 ϕ 1 = 1 − γ 1 ϕ 1 1 γ 2 − γ 1 ϕ 1 1 = 1 − γ 1 2 γ 2 − γ 1 2 = ϕ 2 = ϕ 1 1 − ϕ 2 2 ϕ 1 1 = γ 1 − ϕ 2 γ 1 = 1 − ϕ 2 ϕ 1 − 1 − ϕ 2 ϕ 1 ϕ 2 = ϕ 1 = 1 − γ 1 ϕ 2 1 − γ 2 ϕ 2 2 γ 3 − γ 2 ϕ 2 1 − γ 1 ϕ 2 2 = 1 − γ 1 ϕ 1 − γ 2 ϕ 2 ϕ 1 γ 2 + ϕ 2 γ 1 − γ 2 ϕ 1 − γ 1 ϕ 2 = 0
当 k ≥ 3 k \geq 3 k ≥ 3
p 步尾截和前边的自相关系数拖尾性是 A R ( p ) AR(p) A R ( p ) A R ( p ) AR(p) A R ( p ) A R ( p ) AR(p) A R ( p ) A R ( p ) AR(p) A R ( p ) A R ( p ) AR(p) A R ( p ) A R ( p ) AR(p) A R ( p ) A R ( p ) AR(p) A R ( p ) A R ( p ) AR(p) A R ( p )
MA
q 阶移动平均模型M A ( q ) MA(q) M A ( q )
{ x t = μ + ε t − θ 1 ε t − 1 − θ 2 ε t − 2 − ⋯ − θ i ε t − q θ q ≠ 0 限制最高阶数 E ( ε t ) = 0 , Var ( ε t ) = σ ε 2 , E ( ε t ε s ) = 0 , s ≠ t 零均值白噪声序列 \left\{\begin{array}{l}
x_t=\mu+\varepsilon_t-\theta_1 \varepsilon_{t-1}-\theta_2 \varepsilon_{t-2}-\cdots-\theta_i \varepsilon_{t-q} \\
\theta_q \neq 0 \text{限制最高阶数}\\
E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_t \varepsilon_s\right)=0, s \neq t\text{零均值白噪声序列}
\end{array}\right.
⎩ ⎪ ⎨ ⎪ ⎧ x t = μ + ε t − θ 1 ε t − 1 − θ 2 ε t − 2 − ⋯ − θ i ε t − q θ q = 0 限制最高阶数 E ( ε t ) = 0 , V a r ( ε t ) = σ ε 2 , E ( ε t ε s ) = 0 , s = t 零均值白噪声序列
引入延迟算子，模型可以简记为:
x t = Θ ( B ) ε t x_t=\Theta(B) \varepsilon_t
x t = Θ ( B ) ε t
式中, Θ ( B ) = 1 − θ 1 B − θ 2 B 2 − ⋯ − θ 4 B q \Theta(B)=1-\theta_1 B-\theta_2 B^2-\cdots-\theta_4 B^q Θ ( B ) = 1 − θ 1 B − θ 2 B 2 − ⋯ − θ 4 B q q q q 该模型的几条性质 ：
ACF
ACF 和 PACF 的计算老师都是以 MA(1)模型为例，这里和教材上思路一样试着推导一下 q 阶 MA 模型的 ACF 和 PACF，主要还是对假设条件的运用。
自协方差函数:
x t = μ + ε t − ∑ i = 1 q θ t ε t − i γ k = E ( x t − u ) ( x t − k − u ) = E ( ε t − ∑ i = 1 q θ t ε t − i ) ( ε t − k − ∑ i = 1 q ε t − k − i ) \begin{aligned}
x_t&=\mu+\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i}\\
\gamma_k&=E\left(x_t-u\right)\left(x_{t-k}-u\right)\\
&=E\left(\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i}\right)\left(\varepsilon_{t-k}-\sum_{i=1}^q \varepsilon_{t-k-i}\right)\\
\end{aligned}
x t γ k = μ + ε t − i = 1 ∑ q θ t ε t − i = E ( x t − u ) ( x t − k − u ) = E ( ε t − i = 1 ∑ q θ t ε t − i ) ( ε t − k − i = 1 ∑ q ε t − k − i )
故E ( γ k ) = 0 E(\gamma_k)=0 E ( γ k ) = 0
q < k q<k q < k ε t − ∑ i = 1 q θ t ε t − i \displaystyle\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i} ε t − i = 1 ∑ q θ t ε t − i ε t − k − ∑ i = 1 q ε t − k − i \displaystyle \varepsilon_{t-k}-\sum_{i=1}^q \varepsilon_{t-k-i} ε t − k − i = 1 ∑ q ε t − k − i γ k = 0 \gamma_k=0
γ k = 0
q ⩾ k ⩾ 1 q \geqslant k \geqslant 1 q ⩾ k ⩾ 1 γ k = E ( − ∑ t = k a θ i ε t − i ) ( ε t − k − ∑ i = 1 q − k θ i ε t − k − i ) = E ( − θ k ε t − k 2 ) + E ( ∑ i = 1 1 − k θ i θ k + i ε t − k − i 2 ) = ( − θ k + ∑ i = 1 q − k θ i θ k + i ) σ ε 2 \begin{aligned}
\gamma_k&=E\left(-\sum_{t=k}^a \theta_i \varepsilon_{t-i}\right)\left( \varepsilon_{t-k}-\sum_{i=1}^{q-k}\theta_i \varepsilon_{t-k-i}\right)\\
&=E\left(-\theta_k \varepsilon_{t-k}^2\right)+E\left(\sum_{i=1}^{1-k} \theta_i \theta_{k+i} \varepsilon_{t-k-i}^2\right)\\
&=\left(-\theta_k+\sum_{i=1}^{q-k} \theta_i \theta_{k+i}\right) \sigma_{\varepsilon}^2\\
\end{aligned}
γ k = E ( − t = k ∑ a θ i ε t − i ) ( ε t − k − i = 1 ∑ q − k θ i ε t − k − i ) = E ( − θ k ε t − k 2 ) + E ( i = 1 ∑ 1 − k θ i θ k + i ε t − k − i 2 ) = ( − θ k + i = 1 ∑ q − k θ i θ k + i ) σ ε 2
k = 0 k=0 k = 0 γ 0 = E ( ε t − ∑ i = 1 q θ i ε t − i ) 2 = ( 1 + ∑ i = 1 a θ i 2 ) σ ε 2 \begin{aligned}
\gamma_0&=E\left(\varepsilon_t-\sum_{i=1}^q \theta_i \varepsilon_{t-i}\right)^2\\
&=\left(1+\sum_{i=1}^a \theta_i^2\right) \sigma_{\varepsilon}^2
\end{aligned}
γ 0 = E ( ε t − i = 1 ∑ q θ i ε t − i ) 2 = ( 1 + i = 1 ∑ a θ i 2 ) σ ε 2
综上可得M A ( q ) MA(q) M A ( q )
\begin{equation}
\begin{aligned}
\gamma_k&=E\left(x_t-u\right)\left(x_{t-k}-u\right)\\
&= \begin{cases}\displaystyle\left(1+\theta_1^2+\cdots+\theta_q^2\right) \sigma_{\varepsilon}^2, & k=0 \\ \left(-\theta_k+\sum\limits_{i=1}^{q-k} \theta_i \theta_{k+i}\right) \sigma_{\varepsilon}^2,& 1 \leqslant k \leqslant q \\ 0, & k>q\end{cases}
\end{aligned}
\end{equation}
MA(q)模型的自相关系数ρ k \rho_k ρ k
\begin{equation}
\rho_k=\frac{\gamma_k}{\gamma_0}= \begin{cases}\displaystyle1, & k=0 \\ \displaystyle\frac{-\theta_k+\sum\limits_{i=1}^{q-k} \theta_i \theta_{k+i}}{1+\theta_1^2+\cdots+\theta_q^2}, & 1 \leqslant k \leqslant q \\ 0, & k>q\end{cases}
\end{equation}
自相关系数 q 阶截尾。
可逆性
前边在介绍自相关系数的时候有提到过自相关系数的非唯一性:一个自相关系数未必唯一对应一个平稳时间序列模型。
可逆性条件老师的 ppt 有提到，但是我不知道是否有展开说明，可逆性在老师 ppt 上唯一的体现是老师说了 MA 模型是可逆的。
可逆性判断条件:若一个 MA 模型能够表示成收敛的 AR 模型形式，那么该 MA 模型是可逆的，一个自相关系数唯一对应一个可逆的 MA 模型:ε t \varepsilon_t ε t x t x_t x t
PACF
如果 MA 模型可逆的话，就可以将 MA 模型转化为 AR 模型，这样 MA 模型的 PACF 也可求了。
\begin{equation}
\begin{aligned}
\phi_{11}&=\rho_1 \\
&=\frac{-\theta_1}{\left(1+\theta_1^2\right)}=\frac{-\theta_1\left(1-\theta_1^2\right)}{1-\theta_1^4} \\
\phi_{22}&=\frac{\rho_2-\rho_1 \phi_{11}}{\rho_1 \phi_{11}} \\
&=\frac{-\rho_1^2}{1-\rho_1^2}=\frac{-\theta_1^2\left(1-\theta_1^2\right)}{1-\theta_1^6}\\
\phi_{33}&=\frac{\rho_3-\rho_2 \phi_{21}-\rho_1 \phi_{22}}{1-\rho_1 \phi_{21}-\rho_2 \phi_{22}} \\
&=\frac{\rho_1^3}{1-2 \rho_1^2}=\frac{-\theta_1^3\left(1-\theta_1^2\right)}{1-\theta_1^8}
\end{aligned}
\end{equation}
MA（q）模型的 PACF 是不断减小的，为拖尾。
ARMA
ARMA 模型的全称是自回归移动平均（autoregressionmovingaverage）模型，它是目前最常用的拟合平稳序列的模型。ARMA(p,q)相当于是把 A R ( p ) AR(p) A R ( p )
{ x t = ϕ 0 + ϕ 1 x t − 1 + ⋯ + ϕ p x t − p + ε t − θ 1 ε t − 1 − ⋯ − θ q ε t − q ϕ p ≠ 0 , θ q ≠ 0 E ( ε t ) = 0 , Var ( ε t ) = σ ε 2 , E ( ε t ε s ) = 0 , s ≠ t E ( x s ε t ) = 0 , ∀ s < t \left\{\begin{array}{l}
x_t=\phi_0+\phi_1 x_{t-1}+\cdots+\phi_p x_{t-p}+\varepsilon_t-\theta_1 \varepsilon_{t-1}-\cdots-\theta_{q} \varepsilon_{t-q} \\
\phi_p \neq 0, \theta_q \neq 0 \\
E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_t \varepsilon_s\right)=0, s \neq t \\
E\left(x_{s} \varepsilon_t\right)=0, \forall s<t
\end{array}\right.
⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ x t = ϕ 0 + ϕ 1 x t − 1 + ⋯ + ϕ p x t − p + ε t − θ 1 ε t − 1 − ⋯ − θ q ε t − q ϕ p = 0 , θ q = 0 E ( ε t ) = 0 , V a r ( ε t ) = σ ε 2 , E ( ε t ε s ) = 0 , s = t E ( x s ε t ) = 0 , ∀ s < t
对于中心化 ARMA 模型，可以省略ϕ 0 \phi_0 ϕ 0
Φ ( B ) x t = Θ ( B ) ε t \Phi(B) x_t=\Theta(B) \varepsilon_t
Φ ( B ) x t = Θ ( B ) ε t
式中,Φ ( B ) = 1 − ϕ 1 B − ⋯ − ϕ p B p \Phi(B)=1-\phi_1 B-\cdots-\phi_p B^p Φ ( B ) = 1 − ϕ 1 B − ⋯ − ϕ p B p p p p Θ ( B ) = 1 − θ 1 B − ⋯ − θ q B q \Theta(B)=1-\theta_1 B-\cdots-\theta_q B^q Θ ( B ) = 1 − θ 1 B − ⋯ − θ q B q q q q q = 0 q=0 q = 0 A R M A ( p , q ) \mathrm{ARMA}(p, q) A R M A ( p , q ) A R ( p ) \mathrm{AR}(p) A R ( p ) p = 0 p=0 p = 0 A R M A ( p , q ) \mathrm{ARMA}(p, q) A R M A ( p , q ) M A ( q ) \mathrm{MA}(q) M A ( q ) A R ( p ) \mathrm{AR}(p) A R ( p ) M A ( q ) \mathrm{MA}(q) M A ( q ) A R M A ( p , q ) \mathrm{ARMA}(p, q) A R M A ( p , q ) A R M A \mathrm{ARMA} A R M A A R M A ( p , q ) \mathrm{ARMA}(p, q) A R M A ( p , q ) A R ( p ) \mathrm{AR}(p) A R ( p ) M A ( q ) \mathrm{MA}(q) M A ( q )
平稳条件和可逆条件 z t z_t z t
ACF
k=0γ 0 = E ( x t x t ) = E ( ϕ 1 x t x t − 1 ) + E ( x t ε t ) − θ 1 E ( x t ε t − 1 ) E ( x t ε t ) = E ( ϕ t x t − 1 ε t ) + E ( ε t 2 ) − θ 1 E ( ε t ε t − 1 ) = σ ε 2 E ( x t ε t − 1 ) = ϕ 1 E ( x t − 1 ε t − 1 ) + E ( ε t ε t − 1 ) − θ 1 ( ε t − 1 ε t − 1 ) = ϕ 1 σ ε 2 − θ 1 σ ε 2 故 γ 0 = ϕ 1 γ 1 + σ ε 2 − θ 1 ( ϕ 1 − θ 1 ) σ ε 2 \begin{aligned}
\gamma_0 &=E\left(x_t x_t\right) \\
&=E\left(\phi_1 x_t x_{t-1}\right)+E\left(x_t \varepsilon_t\right)-\theta_1 E\left(x_t \varepsilon_{t-1}\right) \\
E\left(x_t \varepsilon_t\right)&=E\left(\phi_t x_{t-1} \varepsilon_t\right)+E\left(\varepsilon_t^2\right)-\theta_1E\left(\varepsilon_t \varepsilon_{t-1}\right)\\
&=\sigma_{\varepsilon}^2\\
E\left(x_t \varepsilon_{t-1}\right) &=\phi_1 E\left(x_{t-1} \varepsilon_{t-1}\right)+E\left(\varepsilon_t \varepsilon_{t-1}\right)-\theta_1\left(\varepsilon_{t-1} \varepsilon_{t-1}\right) \\
&=\phi_1 \sigma_{\varepsilon}^2-\theta_1 \sigma_{\varepsilon}^2\\
\text{故}\gamma_0 &=\phi_1 \gamma_1+\sigma_{\varepsilon}^2-\theta_1\left(\phi_1 -\theta_1 \right)\sigma_{\varepsilon}^2
\end{aligned}
γ 0 E ( x t ε t ) E ( x t ε t − 1 ) 故 γ 0 = E ( x t x t ) = E ( ϕ 1 x t x t − 1 ) + E ( x t ε t ) − θ 1 E ( x t ε t − 1 ) = E ( ϕ t x t − 1 ε t ) + E ( ε t 2 ) − θ 1 E ( ε t ε t − 1 ) = σ ε 2 = ϕ 1 E ( x t − 1 ε t − 1 ) + E ( ε t ε t − 1 ) − θ 1 ( ε t − 1 ε t − 1 ) = ϕ 1 σ ε 2 − θ 1 σ ε 2 = ϕ 1 γ 1 + σ ε 2 − θ 1 ( ϕ 1 − θ 1 ) σ ε 2
k>0,方程两边同乘 x t − k x_{t-k} x t − k \begin{equation}
\begin{aligned}
E\left(x_{t-k} x_t\right)&=\phi_1 E\left(x_{t-k} x_{t-1}\right)+E\left(x_{t-k} \varepsilon_t\right)-\theta_1 E\left(x_{t-k} \varepsilon_{t-1}\right) \\
\gamma_k&=\phi_1 \gamma_{k-1}+E\left(x_{t-k} \varepsilon_t\right)-\theta_1 E\left(x_{t-k} \varepsilon_{t-1}\right) \\
\end{aligned}
\end{equation}
最后可以得到：ρ k = { ( ϕ 1 − θ 1 ) ( 1 − ϕ 1 θ 1 ) 1 + θ 1 2 − 2 ϕ 1 θ 1 ( k = 1 ) ϕ 1 ρ k − 1 ( k ≥ 2 ) \rho_k=\left\{\begin{array}{l}
\frac{\left(\phi_1-\theta_1\right)\left(1-\phi_1 \theta_1\right)}{1+\theta_1^2-2 \phi_1 \theta_1}(k=1) \\
\phi_1 \rho_{k-1}(k \geq 2)
\end{array}\right.
ρ k = { 1 + θ 1 2 − 2 ϕ 1 θ 1 ( ϕ 1 − θ 1 ) ( 1 − ϕ 1 θ 1 ) ( k = 1 ) ϕ 1 ρ k − 1 ( k ≥ 2 )
因为 ∣ ρ 1 ∣ < 1 \left|\rho_1\right|<1 ∣ ρ 1 ∣ < 1 ∣ ϕ 1 ∣ < 1 , ∣ θ 1 ∣ < 1 , ρ 2 = ϕ 1 ρ 1 , ρ 3 = ϕ 1 ρ 2 = ϕ 1 2 ρ 1 … , \begin{aligned}
& \left|\phi_1\right|<1,\left|\theta_1\right|<1, \rho_2=\phi_1 \rho_1, \\
& \rho_3=\phi_1 \rho_2=\phi_1^2 \rho_1 \ldots,
\end{aligned}
∣ ϕ 1 ∣ < 1 , ∣ θ 1 ∣ < 1 , ρ 2 = ϕ 1 ρ 1 , ρ 3 = ϕ 1 ρ 2 = ϕ 1 2 ρ 1 … ,
可见 ρ k \rho_k ρ k 拖尾现象
PACF
PACF 也是拖尾的，因为计算形式复杂这里就不再展开
总结
A R ( p ) M A ( q ) A R M A ( p , q ) 模型方程 Φ ( B ) x t = ε t x t = Θ ( B ) ε t Φ ( B ) x t = Θ ( B ) ε t 平稳性条件 Φ ( B ) x t = 0 的根在单位圆外 无 Φ ( B ) x t = 0 的根在单位圆外 可逆性条件 无 Θ ( B ) ε t = 0 的根在单位圆外 Θ ( B ) ε t = 0 的根在单位圆外 自相关函数 拖尾 q步截尾 拖尾 偏自相关函数 p 步截尾 拖尾 拖尾 \begin{array}{|c|c|c|c|}
\hline & \mathrm{AR}(\mathrm{p}) & \mathrm{MA}(\mathrm{q}) & \mathrm{ARMA}(\mathrm{p}, \mathrm{q}) \\
\hline \text { 模型方程 } & \Phi(\mathrm{B})x_t=\mathrm{\varepsilon}_{\mathrm{t}} & \mathrm{x}_{\mathrm{t}}=\Theta(\mathrm{B}) \mathrm{\varepsilon}_{\mathrm{t}} & \Phi(\mathrm{B}) \mathrm{x}_{\mathrm{t}}=\Theta(\mathrm{B}) \mathrm{\varepsilon}_{\mathrm{t}} \\
\hline \text { 平稳性条件 } & \begin{array}{l}
\Phi(\mathrm{B})x_t=0 \text { 的根在单位圆外 }
\end{array} & \text { 无 } & \begin{array}{l}
\Phi(\mathrm{B})x_t=0 \text { 的根在单位圆外}
\end{array} \\
\hline \text { 可逆性条件 } & \text { 无 } & \begin{array}{l}
\Theta(\mathrm{B})\varepsilon_t=0 \text { 的根在单位圆外 }\end{array} & \begin{array}{l}
\Theta(\mathrm{B})\varepsilon_t=0 \text { 的根在单位圆外 }\end{array} \\
\hline \text { 自相关函数 } & \text { 拖尾 } & \text { q步截尾 } &\text{拖尾}\\
\hline \text { 偏自相关函数 } & \mathrm{p} \text { 步截尾 } & \text { 拖尾 } & \text { 拖尾} \\
\hline
\end{array}
模型方程 平稳性条件 可逆性条件 自相关函数 偏自相关函数 A R ( p ) Φ ( B ) x t = ε t Φ ( B ) x t = 0 的根在单位圆外 无 拖尾 p 步截尾 M A ( q ) x t = Θ ( B ) ε t 无 Θ ( B ) ε t = 0 的根在单位圆外 q 步截尾 拖尾 A R M A ( p , q ) Φ ( B ) x t = Θ ( B ) ε t Φ ( B ) x t = 0 的根在单位圆外 Θ ( B ) ε t = 0 的根在单位圆外 拖尾 拖尾
