原作者: cc98 @camrxc

cc98链接

Chapter 7 参数估计

点估计

矩估计法

​ 统计思想：以样本矩估计总体矩，以样本矩的函数估计总体矩的函数，矩包括$k$阶原点矩和$k$阶中心矩

​ 根据大数定理，当样本容量$n\to +\mathrm{\infty }$时，样本矩依概率收敛于相应的总体矩，即 $$A_k\stackrel{P}{⟶}{\mu }_k,B_k\stackrel{P}{⟶}{\nu }_k$$ ​ 我们将待估参数${\theta }_m$​写成这些总体矩的函数

​ 有几个待估参数总体矩数量$k$就用多少 $${\theta }_m=h_m({\mu }_1,{\mu }_2,\dots ,{\mu }_k)$$

​ 根据矩法思想，用样本矩代替总体矩 $${\hat{\theta }}_m=h_m(A_1,A_2,\dots ,A_k)$$ ​ 将${\hat{\theta }}_m$称为参数${\theta }_m$​的矩估计量

特别地，矩估计中用样本二阶中心矩来估计总体方差

极大似然法

​ 若事件A发生的概率依赖于待估参数$\theta$，且观察到A事件已经发生，则用使事件A发生的概率达到最大的$\theta$值作为$\theta$的估计。

​ 对于离散总体，设其概率分布为$P\{X=x\}=p(x;\theta )$, $\theta \in \mathrm{\Theta }$, $\mathrm{\Theta }$是参数空间,则样本$X_1,X_2,\dots ,X_n$取到$x_1,x_2,\dots ,x_n$的概率为$\prod _{i=1}^{n}P\{X_i=x_i\}=\prod _{i=1}^{n}p(x_i;\theta )$

记$L(\theta )=\prod _{i=1}^{n}P\{X_i=x_i\}=\prod _{i=1}^{n}p(x_i;\theta )$

​ 对于连续型随机变量，$L(\theta )=\prod _{i=1}^{n}f(x_i;\theta )$，其中$f(x)$为连续型随机变量的密度函数

​ 我们称$L(\theta )$为似然函数，若 $$L(\hat{\theta })=L(\hat{\theta };x_1,x_2,...,x_n)=\underset{\theta \in \mathrm{\Theta }}{\text{max}}L(\theta ;x_1,x_2,...,x_n)$$ 由此获得的$\hat{\theta }=\theta (x_1,x_2,...,x_n)$称为参数$\theta$的极大似然估计值，相应的统计量$\hat{\theta }=\theta (X_1,X_2,...,X_n)$称为$\theta$的极大似然估计量（MLE）。

常用微分法 $$l(\theta )=lnL(\theta )=\sum _{i=1}^{n}lnp(x_i;\theta )$$ 有 $$\frac{dl(\theta )}{d\theta }{|}_{\theta =\hat{\theta }}=0$$

第四条称为极大似然估计的不变性

常见分布的参数的最大似然估计值（内容来自知乎）

均匀分布

指数分布

二项分布

泊松分布

区间估计

定义

​ 设总体为$X$,$\theta \in \mathrm{\Theta }$是待估参数，$X_1,X_2,\dots ,X_n$是来自总体X的样本，统计量${\hat{\theta }}_L(X_1,X_2,\dots ,X_n),{\hat{\theta }}_U(X_1,X_2,\dots ,X_n)$满足${\hat{\theta }}_L<{\hat{\theta }}_U$, 且对于给定的$\alpha$，对于任意的$\theta \in \mathrm{\Theta }$, 有$P\{{\hat{\theta }}_L<\theta <{\hat{\theta }}_U\}\ge 1-\alpha$

则称区间$({\hat{\theta }}_L,{\hat{\theta }}_U)$是参数$\theta$的置信水平为$1-\alpha$的双侧置信区间，${\hat{\theta }}_L$和 ${\hat{\theta }}_U$​分别为双侧置信下限和双侧置信上限

单侧置信上限和单侧置信下限只考虑一侧，${\hat{\theta }}_L$是$\theta$的置信度为$1-\frac{\alpha }{2}$的单侧置信下限，${\hat{\theta }}_U$是$\theta$的置信度为$1-\frac{\alpha }{2}$的单侧置信上限

$E({\hat{\theta }}_U-{\hat{\theta }}_L)$为区间的精确度，精确度的一半为误差限

枢轴量

​ 总体$X$的密度函数为$f(x;\theta )$，其中$\theta$是待估参数，如果样本和参数的函数$G(X_1,X_2,\dots ,X_n,\theta )$的分布完全已知，且不依赖与其他参数，则称$G(X_1,X_2,\dots ,X_n,\theta )$为枢轴量

寻求区间估计的步骤

1. 构造一个枢轴量$G(X_1,X_2,\dots ,X_n,\theta )$​

2. 对给定的置信水平$1-\alpha$，根据枢轴量$G(X_1,X_2,\dots ,X_n,\theta )$的分布，选择两常数$a$和$b$,使$P_{\theta }\{a<G(X_1,X_2,\dots ,X_n,\theta )<b\}=1-\alpha$。若对离散随机变量，可能没有办法使概率正好等于$1-\alpha$,因此，$a$和$b$应使$P_{\theta }\{a<G(X_1,X_2,\dots ,X_n,\theta )<b\}\ge 1-\alpha$且尽可能接近$1-\alpha$

3. 根据分布，取出尽可能小的区间$(a,b)$，并据此解出${\hat{\theta }}_L,{\hat{\theta }}_U$

习惯上，取$a$和$b$满足$P_{\theta }\{G(X_1,X_2,\dots ,X_n,\theta )\le a\}=P_{\theta }\{G(X_1,X_2,\dots ,X_n,\theta )\ge b\}=\frac{\alpha }{2}$​

若求单侧上限或单侧下限，把$1-\alpha$换成$\alpha$即可

枢轴量的选择原则

1. 包含未知参数、未知参数的样本估计、和一个已知参数（有总体参数用总体参数，没有的话用样本量）

2. 分布函数要已知

3. 例子：

一、单正态总体 $N(\mu ,{\sigma }^2)$ 常用枢轴量

(1) ${\sigma }^2$ 已知, 求 $\mu$ 的区间估计: $G=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$​

区间为 $$(\bar{X}-\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}，\bar{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2})$$

(2) ${\sigma }^2$ 未知, 求 $\mu$ 的区间估计: $\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$​

区间为 $$(\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)，\bar{X}+\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1))$$

(3) $\mu$ 未知, 求 ${\sigma }^2$ 的区间估计: $\frac{(n-1)S^2}{{\sigma }^2}=\sum _{i=1}^n{\left(\frac{X_i-\overline{X}}{\sigma }\right)}^2\sim {\chi }^2(n-1)$

区间为 $$(\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)}，\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)})$$

*(4) $\mu$ 已知, 求 ${\sigma }^2$ 的区间估计: $\sum _{i=1}^n{\left(\frac{X_i-\mu }{\sigma }\right)}^2\sim {\chi }^2(n)$​​​​​

二、双正态总体的常用枢轴量

(1) ${\sigma }_1^2,{\sigma }_2^2$ 己知, 求 ${\mu }_1-{\mu }_2$ 的区间估计: $\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\sim N(0,1)$​

区间为 $$(\bar{X}-\bar{Y}\pm z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}})$$

(2) ${\sigma }_1^2={\sigma }_2^2$ 未知, 求 ${\mu }_1-{\mu }_2$​​的区间估计:

$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$

$$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},S_w=\sqrt{S_w^2}$$

​ 区间为 $$(\bar{X}-\bar{Y}\pm t_{\alpha /2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}})$$

​ (3) ${\mu }_1,{\mu }_2$ 未知, 求 $\frac{{\sigma }_1^2}{{\sigma }_2^2}$ 的区间估计: $\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$

​ 区间为 $$(\frac{S_1^2/S_2^2}{F_{\alpha /2}(n_1-1,n_2-1)},\frac{S_1^2/S_2^2}{F_{1-\alpha /2}(n_1-1,n_2-1)})$$

​ *(4) ${\mu }_1,{\mu }_2$ 已知, 求 $\frac{{\sigma }_1^2}{{\sigma }_2^2}$ 的区间估计: $\frac{\sum _{m=1}^n{(X_1-{\mu }_1)}^2/n_1}{\sum _{i=1}^2{(Y_1-{\mu }_2)}^2/n_2}/\frac{{\sigma }_1^2}{{\sigma }_2^2}\sim F(n_1,n_2)$​

估计量的评价准则

无偏性准则

无偏估计 $$E(\hat{\theta })=\theta$$

偏差 $$E(\hat{\theta })-\theta$$

渐近无偏估计 $$\underset{n\to +\mathrm{\infty }}{\text{lim}}E(\hat{\theta })=\theta$$

有效性准则

​ 若${\hat{\theta }}_1,{\hat{\theta }}_2$都是无偏估计，且$\mathrm{\forall }\theta \in \mathrm{\Theta },Va{r}_{\theta }({\hat{\theta }}_1)\le Va{r}_{\theta }({\hat{\theta }}_2)$，要求至少有一个$\theta$使不等号成立，则称${\hat{\theta }}_1$比${\hat{\theta }}_2$更有效。

简单理解：方差越小越有效

均方误差准则

称$\text{Mse}(\hat{\theta })$为估计量$\hat{\theta }$的均方误差，要使$\text{Mse}(\hat{\theta })=E[(\hat{\theta }-\theta {)}^2]$​尽量小

$\text{Mse}(\hat{\theta })=E[(\hat{\theta }-\theta {)}^2]=Var(\hat{\theta }-\theta )+(E(\hat{\theta })-\theta {)}^2=Var(\hat{\theta })+(E(\hat{\theta })-\theta {)}^2$​

无偏时，$\text{Mse}(\hat{\theta })=Var(\hat{\theta })$

相合性准则

满足 $$\hat{\theta }\stackrel{P}{⟶}\theta$$

则称$\hat{\theta }$为$\theta$的相合估计量或一致估计量