原作者: cc98 @camrxc

Chapter 7 参数估计

点估计

矩估计法

统计思想：以样本矩估计总体矩，以样本矩的函数估计总体矩的函数，矩包括$k$阶原点矩和$k$阶中心矩

根据大数定理，当样本容量$n\rightarrow+\infty$时，样本矩依概率收敛于相应的总体矩，即 $$ A_k\stackrel P\longrightarrow \mu_k, B_k\stackrel{P}\longrightarrow \nu_k $$ 我们将待估参数$\theta_m$写成这些总体矩的函数

有几个待估参数总体矩数量$k$就用多少 $$ \theta_m=h_m(\mu_1,\mu_2,\ldots,\mu_k) $$

根据矩法思想，用样本矩代替总体矩 $$ \hat \theta_m=h_m(A_1,A_2,\ldots,A_k) $$ 将$\hat \theta_m$称为参数$\theta_m$的矩估计量

特别地，矩估计中用样本二阶中心矩来估计总体方差

极大似然法

若事件A发生的概率依赖于待估参数$\theta$，且观察到A事件已经发生，则用使事件A发生的概率达到最大的$\theta$值作为$\theta$的估计。

对于离散总体，设其概率分布为$P\{X=x\}=p(x;\theta)$, $\theta \in \Theta$, $\Theta$是参数空间,则样本$X_1,X_2,\ldots ,X_n$取到$x_1,x_2,\ldots ,x_n$的概率为$\prod\limits_{i=1}^nP\{X_i=x_i\}=\prod\limits_{i=1}^np(x_i;\theta)$

记$L(\theta)=\prod\limits_{i=1}^nP\{X_i=x_i\}=\prod\limits_{i=1}^np(x_i;\theta)$

对于连续型随机变量，$L(\theta)=\prod\limits_{i=1}^nf(x_i;\theta)$，其中$f(x)$为连续型随机变量的密度函数

我们称$L(\theta)$为似然函数，若 $$ L(\hat \theta)=L(\hat \theta;x_1,x_2,...,x_n)=\underset{\theta \in \Theta}{\text{max}}L(\theta;x_1,x_2,...,x_n) $$ 由此获得的$\hat \theta=\theta(x_1,x_2,...,x_n)$称为参数$\theta$的极大似然估计值，相应的统计量$\hat \theta=\theta(X_1,X_2,...,X_n)$称为$\theta$的极大似然估计量（MLE）。

常用微分法 $$ l(\theta)=lnL(\theta)=\sum\limits_{i=1}^{n}lnp(x_i;\theta) $$ 有 $$ \frac{dl(\theta)}{d\theta}\bigg|_{\theta=\hat \theta}=0 $$

第四条称为极大似然估计的不变性

常见分布的参数的最大似然估计值（内容来自知乎）

均匀分布

指数分布

二项分布

泊松分布

区间估计

定义

设总体为$X$,$\theta \in \Theta$是待估参数，$X_1,X_2,\ldots ,X_n$是来自总体X的样本，统计量$\hat \theta_L(X_1,X_2,\ldots ,X_n), \hat \theta_U(X_1,X_2,\ldots ,X_n)$满足$\hat \theta_L < \hat \theta_U$, 且对于给定的$\alpha$，对于任意的$\theta \in \Theta$, 有$P\{\hat \theta_L < \theta < \hat\theta_U\}\ge 1-\alpha$

则称区间$(\hat \theta_L , \hat \theta_U)$是参数$\theta$的置信水平为$1-\alpha$的双侧置信区间，$\hat \theta_L$和 $\hat \theta_U$分别为双侧置信下限和双侧置信上限

单侧置信上限和单侧置信下限只考虑一侧，$\hat \theta_L$是$\theta$的置信度为$1-\frac{\alpha}{2}$的单侧置信下限，$\hat \theta_U$是$\theta$的置信度为$1-\frac{\alpha}{2}$的单侧置信上限

$E(\hat \theta_U-\hat \theta_L)$为区间的精确度，精确度的一半为误差限

枢轴量

总体$X$的密度函数为$f(x;\theta)$，其中$\theta$是待估参数，如果样本和参数的函数$G(X_1,X_2,\ldots ,X_n,\theta)$的分布完全已知，且不依赖与其他参数，则称$G(X_1,X_2,\ldots ,X_n,\theta)$为枢轴量

寻求区间估计的步骤

构造一个枢轴量$G(X_1,X_2,\ldots ,X_n,\theta)$
对给定的置信水平$1-\alpha$，根据枢轴量$G(X_1,X_2,\ldots ,X_n,\theta)$的分布，选择两常数$a$和$b$,使$P_\theta\{a<G(X_1,X_2,\ldots ,X_n,\theta)<b\}=1-\alpha$。若对离散随机变量，可能没有办法使概率正好等于$1-\alpha$,因此，$a$和$b$应使$P_\theta\{a<G(X_1,X_2,\ldots ,X_n,\theta)<b\}\ge1-\alpha$且尽可能接近$1-\alpha$
根据分布，取出尽可能小的区间$(a,b)$，并据此解出$\hat \theta_L, \hat \theta_U$

习惯上，取$a$和$b$满足$P_\theta\{G(X_1,X_2,\ldots ,X_n,\theta)\le a\}=P_\theta\{G(X_1,X_2,\ldots ,X_n,\theta)\ge b\}=\frac{\alpha}{2}$

若求单侧上限或单侧下限，把$1-\alpha$换成$\alpha$即可

枢轴量的选择原则

包含未知参数、未知参数的样本估计、和一个已知参数（有总体参数用总体参数，没有的话用样本量）
分布函数要已知
例子：

一、单正态总体 $N\left(\mu, \sigma^2\right)$ 常用枢轴量

(1) $\sigma^2$ 已知, 求 $\mu$ 的区间估计: $G=\frac{\bar{X}-\mu}{\sigma / \sqrt{n}} \sim N(0,1)$

区间为 $$ (\overline{X}-\frac{\sigma}{\sqrt{n}}z_{\alpha /2}，\overline{X}+\frac{\sigma}{\sqrt{n}}z_{\alpha /2}) $$

(2) $\sigma^2$ 未知, 求 $\mu$ 的区间估计: $\frac{\bar{X}-\mu}{S / \sqrt{n}} \sim t(n-1)$

区间为 $$ (\overline{X}-\frac{S}{\sqrt{n}}t_{\alpha /2}(n-1)，\overline{X}+\frac{S}{\sqrt{n}}t_{\alpha /2}(n-1)) $$

(3) $\mu$ 未知, 求 $\sigma^2$ 的区间估计: $\frac{(n-1) S^2}{\sigma^2}=\sum_{i=1}^n\left(\frac{X_i-\bar{X}}{\sigma}\right)^2 \sim \chi^2(n-1)$

区间为 $$ (\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}，\frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}) $$

*(4) $\mu$ 已知, 求 $\sigma^2$ 的区间估计: $\sum_{i=1}^n\left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2(n)$

二、双正态总体的常用枢轴量

(1) $\sigma_1^2, \sigma_2^2$ 己知, 求 $\mu_1-\mu_2$ 的区间估计: $\frac{(\bar{X}-\bar{Y})-\left(\mu_1-\mu_2\right)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}} \sim N(0,1)$

区间为 $$ (\overline{X}-\overline{Y}\pm z_{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}) $$

(2) $\sigma_1^2=\sigma_2^2$ 未知, 求 $\mu_1-\mu_2$的区间估计:

\[ \frac{(\bar{X}-\bar{Y})-\left(\mu_1-\mu_2\right)}{S_{w}\sqrt{{\frac{1}{n_1}+\frac{1}{n_2}}}} \sim t\left(n_1+n_2-2\right) \]

\[ S^2_w=\frac{(n_1-1)S^2_1+(n_2-1)S_2^2}{n_1+n_2-2},S_w=\sqrt{S^2_w} \]

区间为 $$ (\overline{X}-\overline{Y}\pm t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}) $$

(3) $\mu_1, \mu_2$ 未知, 求 $\frac{\sigma_1^2}{\sigma_2^2}$ 的区间估计: $\frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2} \sim F\left(n_1-1, n_2-1\right)$

区间为 $$ (\frac{S_1^2/S_2^2}{F_{\alpha/2}(n_1-1,n_2-1)},\frac{S_1^2/S_2^2}{F_{1-\alpha/2}(n_1-1,n_2-1)}) $$

*(4) $\mu_1, \mu_2$ 已知, 求 $\frac{\sigma_1^2}{\sigma_2^2}$ 的区间估计: $\frac{\sum_{m=1}^n\left(X_1-\mu_1\right)^2 / n_1}{\sum_{i=1}^2\left(Y_1-\mu_2\right)^2 / n_2} / \frac{\sigma_1^2}{\sigma_2^2} \sim F\left(n_1, n_2\right)$

估计量的评价准则

无偏性准则

无偏估计 $$ E(\hat \theta)=\theta $$

偏差 $$ E(\hat \theta)-\theta $$

渐近无偏估计 $$ \underset{n \rightarrow +\infty}{\text{lim}}E(\hat \theta)=\theta $$

有效性准则

若$\hat\theta_1, \hat \theta_2$都是无偏估计，且$\forall \theta \in \Theta, Var_\theta(\hat \theta_1)\le Var_\theta(\hat \theta_2)$，要求至少有一个$\theta$使不等号成立，则称$\hat \theta_1$比$\hat \theta_2$更有效。

简单理解：方差越小越有效

均方误差准则

称$\text{Mse}(\hat \theta)$为估计量$\hat \theta$的均方误差，要使$\text{Mse}(\hat \theta)=E[(\hat \theta -\theta)^2]$尽量小

$\text{Mse}(\hat \theta)=E[(\hat \theta -\theta)^2]=Var(\hat \theta-\theta)+(E(\hat \theta)-\theta)^2=Var(\hat \theta)+(E(\hat \theta)-\theta)^2$

无偏时，$\text{Mse}(\hat \theta)=Var(\hat \theta)$

相合性准则

满足 $$ \hat \theta\stackrel{P}\longrightarrow\theta $$

则称$\hat \theta$为$\theta$的相合估计量或一致估计量