模型识别

模型定阶

含义：对一个观察序列(Observed Series)，选择一个与其实际过程相吻合的模型结构

ACF 和 PACF 法

根据 ACF 和 PACF 的特征，先判断属于哪一类模型
确定模型后，AR 模型和 MA 模型在对应阶数以外的呈截尾分布的特征统计量服从正态分布，通过比较前 M 个统计量的取值（一般为 $\sqrt{N}$ $N$ ）中满足正态分布的取值所占的比例来确定最小的满足条件的阶数（满足正态分布指的是给定模型阶数的情况下，对应的特征统计量的观察值落在正态分布的 $n$ $n$ 个 $\sigma$ $σ$ 内,n 一般取 1）
1. 若为 AR 模型，则通过 PACF 确定阶数( $k>p$ 时， $\phi_{kk} \sim N(0,\frac{1}{N})$ )
  从 p=1 开始，若有一个统计量满足: $\begin{equation} \frac{\sum\limits_{k=p+1}^{\sqrt{N}+p} \mathbb{I}·\left(\phi_{kk}<\sqrt{1/N}\right)}{\sqrt{N}}<0.683(\mathbb{I}\text{表示示性函数}) \end{equation}$ 则 p 为最小阶数
2. 若为 MA 模型，则通过 ACF 确定阶数( $k>q$ 时， $\rho_{k} \sim N(0,\frac{1}{N}\left(1+2\sum_{l=1}^q\rho_l^2\right))$ )

MA 模型的计算过程与上述类似，但是因为 MA(q)模型的的 ACF 特征服从的正态分布与假设的阶数 l 有关，因此计算起来相对会比较复杂一些。
摘自老师 ppt 的两道例题：

[{"url":"../img/平稳时间序列建模_20221003234906.png","alt":"平稳时间序列建模_20221003234906"},{"url":"../img/平稳时间序列建模_20221004000139.png","alt":"平稳时间序列建模_20221004000139"},{"url":"../img/平稳时间序列建模_20221004000205.png","alt":"平稳时间序列建模_20221004000205"},{"url":"../img/平稳时间序列建模_20221004000221.png","alt":"平稳时间序列建模_20221004000221"}]

在实践中，这种定阶方法可能会因为样本的随机性等问题使得本应截尾的样本系数出现小值振荡。

残差方差图

从多元线性回归中得到灵感，用残差的平方和来判断模型的阶数。

\begin{equation} \sigma_a=\frac{\text{模型的剩余平方和}}{\text{实际观察值个数−模型的参数个数}} \end{equation}

于是有

\begin{equation} \begin{aligned} &AR(p): \sigma_a^2=\frac{\sum\left(z_t-\hat{z_t}\right)^2}{(N-p)-p} \\ &M A(q): \sigma_a^2=\frac{\sum\left(z_t-\hat{z_t}\right)^2}{N-q} \\ &A R M A \quad(p, q): \sigma_a^2=\frac{\sum\left(z_t-\hat{z_t}\right)^2}{(N-p)-(p+q)} \end{aligned} \end{equation}

AR 模型的观察值个数并不等于实际观察值个数，对于 AR§模型而言，前 p 个观察值是没有残差的，因此实际观察值个数为 n-p。

F 检验方法

F 检验方法指的是检验不同阶的回归模型的剩余平方和是否存在显著差异的方法，相当于一种比较通用的方法，可以用于利用剩余平方和来判断模型的最优阶数之中。

一个为 $y_t=a_1 x_1+a_2 x_2+\ldots+a_r x_r+\varepsilon$ ,对应的残差平方和可以表示为:

Q_0=\sum_{t=1}^N\left(y_t-a_1 x_1-a_2 x_2-\ldots-a_r x_r\right)^2

易知 $Q_0$ 满足:

\begin{equation} \frac{Q_0}{\sigma_{\varepsilon}^2}=\frac{\sum\left(y_i-\hat{y_i}\right)^2}{\sigma_{\varepsilon}^2}\sim \chi^2\left({N-r}\right) \end{equation}

现舍弃后面 $S$ 个变量, 得到新的回归模型: $y_t=a_1^{\prime} x_1+a_2^{\prime} x_2+\ldots+a_{r-s}^{\prime} x_{r-s}+\varepsilon^{\prime}$
对应的残差平方和:

Q_1=\sum_{t=1}^N\left(y_t-a_1^{\prime} x_1-a_2^{\prime} x_2-\ldots-a_{r-s}^{\prime} x_{r-s}\right)^2

同理得:

\begin{equation} Q_1\sim\sigma_{\varepsilon}^2 \chi^2\left({N-(r-s)}\right) \end{equation}

若 $H_0$ 成立, $Q_1-Q_0 \sim \sigma_a^2 \chi^2(s)$ ,且 $Q_0$ 与 $\left(Q_1-Q_0\right)$ 独立
则可构建统计量

F=\frac{\left(Q_1-Q_0\right) / s}{Q_0 / N-r} \sim F(s, N-r)

给定显著性水平 $\alpha$ ,

\begin{equation} \begin{aligned} \text{若}&H_0\text{成立}\\ &F=\frac{\left(Q_1-Q_0\right) / s}{Q_0 / N-r}<F_\alpha(s, N-r) \\ \text{若}& F=\frac{\left(Q_1-Q_0\right) / s}{Q_0 / N-r}>F_\alpha(s, N-r)\\ \text{则}&H_1\text{成立} \end{aligned} \end{equation}

这里老师的 ppt174-177 页给了到例题，如果对上述过程不太清楚可以看一下

ARMA 模型定阶

拟合 ARMA 模型的时候，因为该模型有两个阶数因此在确定模型的阶数时会有一点点麻烦，这里想要给出的是一种相对比较简单的方法来给 ARMA 模型进行定阶。
Pandit-Wu 于 1977 年提出了不同于 Box-Jenkins 的系统建模方法。该方法认为，
任一平稳序列总可以用一个 ARMA(n,n-1)表示，AR(n)、 MA(m)、 ARMA(n,m)都是 ARMA(n,n-1)的特例
定阶的主要思路:
从 ARMA(2,1)开始，每次增加两个阶数，然后在两个模型中进行选择，若选择了阶数较小的模型，则说明增加阶数不能减小误差平方和，即最优阶数为当前较小的阶数。（与前边模型的定阶类似，只是这里是将 ARMA(2n-2,2n-3)和 ARMA(2n,2n-1)进行比较选择一个合适的阶数）
这里给出关于 ARMA(2n-2,2n-3)和 ARMA(2n,2n-1)的模型取舍方法,建立假设:

\begin{align} &H_0:\phi_{2n-1}=\phi_{2n}=0;\\ &\theta_{2n-1}=\theta_{2n-2}=0\left(ARMA(2n-2,2n-1)\text{为最优模型}\right) \\ &H_1: \phi_{2n-1},\phi_{2n},\theta_{2n-1},\theta_{2n-2}\text{不全为0} \end{align}

借助残差平方和构造统计量进行检验，记 ARMA(2n-2,2n-3)和 ARMA(2n,2n-1)分别为 $Q_1$ 和 $Q_0$ ，构造检验统计量为:

\begin{equation} F=\frac{\left(Q_1-Q_0\right) / 6}{Q_0 / N-(6 n-1)} \sim F(6, N-(6 n-1)) \end{equation}

若 $F>F_{\alpha}\left(6, N-(6 n-1)\right)$ ，则拒绝 $H_0$ ，即选择 ARMA(2n,2n-1)为，否则 ARMA(2n-2,2n-3)为最优模型。

实际问题中可能不止是 ARMA 模型，可能需要将最优的 AR，MA，ARMA 模型的剩余平方和进行比较，然后选择最小的一个作为最优模型。

准则函数定阶

基本思想: 确定一个函数，该函数既要考虑用某一模型拟合原始数据的接近程度，同时又考虑模型中所含参数(parameter)的个数。当该函数取最小值时，就是最合适的阶数。
FPE
用于 AR 模型定阶，预测误差来作为目标函数：

\begin{equation} \begin{aligned} &x_t=\varphi_1 x_{t-1}+\varphi_2 x_{t-2}+\ldots+\varphi_n x_{t-n}+a_t\\ &E\left[x_t-\hat{x}_{t-1}(1)\right]^2 \approx\left(1+\frac{p}{N}\right) \sigma_a^2\\ &\sigma_a^2:\text{真实模型残差的方差}\\ &p:\text{模型阶数}\\ &\hat{x}_{t-1}(1):\text{AR模型对$x_t$的一步预测值}\\ \end{aligned} \end{equation}

考虑到 $\sigma_a^2$ 不可得，用拟合方差代替:

\begin{equation} \begin{aligned} &\sigma_a^2=\frac{\hat{\sigma}_a^2}{1-\frac{p}{N}} \\ &E\left[x_t-\hat{x}_{t-1}(1)\right]^2 \\ &\approx\left(1+\frac{p}{N}\right) \sigma_a^2=\left(1+\frac{p}{N}\right) \frac{\hat{\sigma}_a^2}{1-\frac{p}{N}}=\frac{N+p}{N-p} \hat{\sigma}_a^2 \end{aligned} \end{equation}

AIC
适用于 AR 和 ARMA 模型，定义 AIC 函数:

AIC(p)= \ln \hat{\sigma _{a}}^{2}(p)+2 \frac{p}{N}

对于 $ARMA(p,q)$ 模型，AIC 函数为:

AIC(p)= \ln \hat{\sigma}_{a}^{2}(p)+2 \frac{p+q}{N}

参数估计

粗估计（误差相对大）：矩估计

矩估计

时间序列模型参数矩估计就是利用样本自协方差函数和自相关函数，对时间序列模型参数进行估计。以 AR(2)模型为例:

OLS

与计量 OLS 估计的假设相似，不过注意使用的只是经典假设，不对模型的残差作正态性假设。

模型检验

模型的检验主要是对模型的显著性进行检验，显著性其实可以理解成模型提取信息的充分程度，因此一个很重要的判别标准就是模型的残差。从从残差是否为白噪声序列出发，检验这个假设是否成立。计算不同期残差的自相关系数，若 ACF 较大则说明残差不是独立的。
$\chi$ 检验
假设得到的残差序列为 $\{\varepsilon_t\}$ ,间隔为 $k$ 的自相关系数为 $\rho_k$ ，则 $\chi^2$ 统计量为:

Q=\sum_{k=1}^L\left(\sqrt{N} \rho_k\right)^2 \sim \chi^2(L-m)

其中 $m$ 为模型参数的个数，N 为样本容量, $L=\sqrt{N}$ ,m 为模型参数的阶数。
除了构造上述的统计量外，还可以构造 LB 检验统计量,对残差列进行检验:
$H_0$ : 序列不存在 $p$ 阶自相关
$H_1$ : 序列存在 $p$ 阶自相关

Q_{L B}=T(T+2) \sum_{j=1}^p \frac{r_j^2}{T-j} \sim \chi^2(p)

ARCH 模型

主要用来检验随机扰动项是否具有异方差性，即方差是否随时间变化。
假设随机扰动项满足:

\begin{equation} \hat{u}_t^2=\gamma_0+\gamma_1 \hat{u}_{t-1}^2+\gamma_2 \hat{u}_{t-2}^2+\cdots+\gamma_q \hat{u}_{t-q}^2+v_t \end{equation}

因为 $\mu_i$ 的期望为零，因此 $\mu^2$ 可以看做方差，这也就意味着 ARCH 模型实际上是对随机扰动项的方差变化情况进行建模，下边的检验过程基本也就是回归检验的那一套。
假设检验:

\begin{equation} \begin{aligned} &\mathrm{H}_0: \gamma_1=0 , \gamma_2=0 , \gamma_3=0 , \gamma_q=0\\ &\mathrm{H}_1: \gamma_1 \neq 0 \quad or \quad \gamma_2 \neq 0 \quad or \quad \gamma_3 \neq 0 \quad \ldots or \quad \gamma_q \neq 0 \end{aligned} \end{equation}

对假设进行 $TR^2$ 检验和 F 检验，F 检验主要对回归的显著性进行检验

单位根检验

单位根检验是检验序列平稳性的一种方法，前边在 AR 模型中曾经提到，如果 AR 模型的 $\varPhi(B)=0$ 的根在单位圆外，那么序列就是平稳的。
单位根检验的方法是随着非平稳序列的发现（伪回归现象）提出的，格兰杰提出了通过检验序列的差分列是否平稳来推断原序列是否平稳的方法。
单位根过程：
对于随机过程 $\left\{\mathrm{y}_{\mathrm{t}}, \mathrm{t}=1,2, \ldots\right\}$ ,
若 $y_t=\rho y_{t-1}+u_t$ ,
其中 $\rho=1$ , $\left\{u_t\right\}$ 为平稳过程, $E\left(u_t\right)=0$ , $\operatorname{Cov}\left(u_t{ }^{\prime} u_{t-s}\right)=u_s<\infty, s=0,1,2, \ldots$
则称 $\left\{\mathrm{y}_{\mathrm{t}}\right\}$ 为单位根过程。

单位根过程的概念是在讨论 $\left\{\mathrm{y}_{\mathrm{t}}, \mathrm{t}=1,2, \ldots\right\}$ 的平稳性和特征方程对应的根的联系是引入的，因为模型平稳要求特征方程的根在单位圆内，因此将上述过程叫做单位根过程。

接近单位根过程的几种模型

引入常数趋势项

y_t=\alpha+\rho y_{t-1}+\varepsilon_t

$\alpha \neq 0, \rho=1,\left\{\varepsilon_t\right\}$ 是独立同分布序列
引入时间趋势项
$y_t=\mu+\alpha t+\rho y_{t-1}+\varepsilon_t$
$\left\{\varepsilon_t\right\}$ 是独立同分布序列 $\rho=1$

检验过程

DF 检验法是由 Dickey、 Fuller 在 20 世纪 70、 80 年代的一系列文章中建立起来的。以 AR(1)模型为例：

y_t=\rho y_{t-1}+\varepsilon_t

单位根检验是要检验根是否在单位圆内，或者说检验 $\rho\ge 1$ ,建立假设:

\begin{gathered} H_0: |\rho|\ge 1 ; H_1: |\rho|<1 \\ \text{构造t统计量}t_T=\frac{\hat{\rho}_T-\rho}{\hat{\eta}_T} \sim t(T-1) \end{gathered}

当 $|\rho|\ge 1$ 时， $t_T$ 的分布开始出现一些变化，其渐进分布已经不是传统的标准分布，DIckey 和 Fuller 为了将这个统计量与传统的 t 统计量进行区分，将其记为 $\tau$ 统计量，它的极限分布（样本容量足够大）为:

\frac{\int_0^1 W(r) \mathrm{d} W(r)}{\sqrt{\int_0^1[W(r)]^2 \mathrm{~d} r}}

式中, $W(r)$ 为自由度为 $r$ 的维纳过程 (Weiner process)。因为实际中很难计算这个分布，这里就不再多说。
$\mathrm{DF}$ 检验为单边检验, 当显著性水平取为 $\alpha$ 时, 记 $\tau_a$ 为 DF 检验的 $\alpha$ 分位点, 则当 $\tau \leqslant \tau_a$ 时, 拒绝原假设, 认为序列 $x_t$ 显著平稳;
当 $\tau>\tau_a$ 时, 接受原假设, 认为序列 $x_t$ 非平稳。
1979 年, Dickey 和 Fuller 使用蒙特卡洛模拟方法算出了 DF 统计量的百分位表, 为 DF 检验扫清了最后的技术难题, 使 DF 检验成为最常用的单位根检验。
除了上述提到的 $\tau$ 统计量以外，另外一种统计量 $T(\hat{\rho}-1)$ 也存在与 $\tau$ 一样的极限分布，也可以用它来作为单位根检验的一种方法:

T(\hat{\rho}-1)=\frac{T^{-1} \sum_{t=1}^T \varepsilon_t y_{t-1}}{T^{-2} \sum_{t=1}^T y_{t-1}^2} \Rightarrow \frac{\frac{1}{2}\left[w(1)^2-1\right]}{\int_0^1 w(i)^2 d i}

老师 ppt 的 259 页给了一个例子可以看一下