概率论-第七章-参数估计

1.  点估计

1. 点估计
设 $\theta$ 是总体 $X$ 的未知参数,用统计量 $\hat{\theta }=\hat{\theta }\left(X_1,X_2,\cdots ,X_n\right)$ 来估计 $\theta$ ,称 $\hat{\theta }$ 为 $\theta$ 的估计量. 对于样本的一组观察值 $x_1,x_2,\cdots ,x_n$ ,代入 $\hat{\theta }$ 的表达式中所得的具体数值称为 $\theta$ 的估计值. 这样的方法称为参数的点估计
2. 矩估计
用样本矩去估计相应总体矩, 或者用样本矩的函数去估计总体矩的同一函数的估计方法就是矩估计
设总体 $X$ 的概率分布含有 $m$ 个未知参数 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_m$ ,假定总体的 $k$ 阶原点矩存在,记 ${\displaystyle {\mu }_k=}$  $E\left(X^k\right)\left(k=1,2,\cdots ,m\right),A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k$ 为样本 $k$ 阶矩,令$${\mu }_k\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)=A_k\left(k=1,2,\cdots ,m\right)$$则此方程组的解 $\left({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_m\right)$ 称为参数 $\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)$ 的矩估计量. 矩估计量的观察值称为矩估计值
3. 最大似然估计 (极大似然估计)
(1)设总体 $X$ 的概率分布为 $p\left(x;\theta \right)$ (当 $X$ 为连续型时,其为概率密度函数,当 $X$ 为离散型时,其为分布律), $\theta =\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)$ 为未知参数, $x_1,\cdots ,x_n$ 为样本观察值$$L\left(x_1,\cdots ,x_n,\theta \right)=\prod _{i=1}^{n}p\left(x_i;\theta \right)=L\left(\theta \right)$$称为 $\theta$ 的似然函数
(2)对给定的 $x_1,\cdots ,x_n$ ,使似然函数达到最大值的 $\hat{\theta }\left(x_1,\cdots ,x_n\right)$ 称为 $\theta$ 的最大似然估计值, 相应地 $\hat{\theta }\left(X_1,\cdots ,X_n\right)$ 称为 $\theta$ 的最大似然估计量
(3)最大似然估计的常用求解方法. 由于 $\ln L\left(\theta \right)$ 与 $L\left(\theta \right)$ 有相同的最大值点,若 $L\left(\theta \right)$ 可导,则可由方程组$$\frac{\partial \ln L\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)}{\partial {\theta }_i}=0\left(i=1,2,\cdots ,m\right)$$求出 ${\theta }_i$ 的最大似然估计量,需注意的是这一方法并不都是有效的,对于有些似然函数,其驻点或导数不存在, 这时应考虑其他方法求似然函数的最大值点

2. 估计量的评选标准

1. 无偏性
设 $X_1,X_2,\cdots ,X_n$ 为来自总体 $X$ 的样本, $\hat{\theta }$ 为 $\theta$ 的一个估计量,如果 $E\left(\hat{\theta }\right)=\theta$ 成立,则称估计量 $\hat{\theta }$ 为参数 $\theta$ 的无偏估计
2. 有效性
设 ${\hat{\theta }}_1\text{ 、 }{\hat{\theta }}_2$ 都为参数 $\theta$ 的无偏估计量,若 $D\left({\hat{\theta }}_1\right)\le D\left({\hat{\theta }}_2\right)$ ,则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效
特别地,若对于 $\theta$ 的任一无偏估计 $\hat{\theta }$ ,有$$D\left({\hat{\theta }}_1\right)\le D\left(\hat{\theta }\right)$$则称 ${\hat{\theta }}_1$ 是 $\theta$ 的最小方差无偏估计 (最佳无偏估计)
3. 一致性
设 $\hat{\theta }$ 为未知参数 $\theta$ 的估计量,若对任意给定的 $\epsilon >0$ ,都有$$\underset{n\to \mathrm{\infty }}{lim}P\{\left|\hat{\theta }-\theta \right|<\epsilon \}=1$$即 $\hat{\theta }$ 依概率收敛于参数 $\theta$ ,则 $\hat{\theta }$ 称为 $\theta$ 的一致估计或相合估计.

3 . 区间估计

1. 区间估计
设 $\theta$ 为总体的未知参数, ${\hat{\theta }}_1$ 和 ${\hat{\theta }}_2$ 均为估计量,若对于给定的 $\alpha \left(0<\alpha <1\right)$ ,满足 $P\{{\hat{\theta }}_1\le \theta \le$  ${\hat{\theta }}_2\}=1-\alpha$ ,则称 $\left[{\hat{\theta }}_1,{\hat{\theta }}_2\right]$ 为 $\theta$ 的置信度为 $1-\alpha$ 的置信区间. 通过构造一个置信区间对未知参数进行估计的方法称为区间估计
2. 单个正态总体的区间估计
设 $X_1,X_2,\cdots ,X_n$ 为来自 $N\left(\mu ,{\sigma }^2\right)$ 的样本,则
(1)当 ${\sigma }^2$ 已知时, $\mu$ 的置信度为 $1-\alpha$ 的置信区间为$$\left[\overline{X}-\frac{\sigma }{\sqrt{n}}{u}_{\frac{\alpha }{2}},\overline{X}+\frac{\sigma }{\sqrt{n}}{u}_{\frac{\alpha }{2}}\right]$$(2)当 ${\sigma }^2$ 未知时, $\mu$ 的置信度为 $1-\alpha$ 的置信区间为$$\left[\overline{X}-\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}\left(n-1\right),\overline{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}\left(n-1\right)\right]$$(3)当 $\mu$ 已知时, ${\sigma }^2$ 的置信度为 $1-\alpha$ 的置信区间为$$\left[\frac{\sum _{i=1}^n{(X_i-\mu )}^2}{{\chi }_{\frac{\alpha }{2}}^2\left(n\right)},\frac{\sum _{i=1}^n{(X_i-\mu )}^2}{{\chi }_{1-\frac{\alpha }{2}}^2\left(n\right)}\right]$$(4)当 $\mu$ 未知时, ${\sigma }^2$ 的置信度为 $1-\alpha$ 的置信区间为$$\left[\frac{\left(n-1\right)S^2}{{\chi }_{\frac{\alpha }{2}}^2\left(n-1\right)},\frac{\left(n-1\right)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2\left(n-1\right)}\right]$$3. 双正态总体的区间估计
设 $X\sim N\left({\mu }_1,{\sigma }_1^2\right),X_1,X_2,\cdots ,X_{n_1}$ 为其样本, $Y\sim N\left({\mu }_2,{\sigma }_2^2\right),Y_1,Y_2,\cdots ,Y_{n_2}$ 为其样本,且 $X$ 与 $Y$ 独立
(1)${\sigma }_1^2,{\sigma }_2^2$ 都为已知: ${\mu }_1-{\mu }_2$ 的 $1-\alpha$ 置信区间为$$\left[\overline{X}-\overline{Y}-u_{\frac{\alpha }{2}}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}},\overline{X}-\overline{Y}+u_{\frac{\alpha }{2}}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}\right]$$(2)${\sigma }_1^2,{\sigma }_2^2$ 都未知: ${\mu }_1-{\mu }_2$ 的1- $\alpha$ 置信区间为$$\left[\overline{X}-\overline{Y}-t_{\frac{\alpha }{2}}\left(\gamma \right)\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}},\overline{X}-\overline{Y}+t_{\frac{\alpha }{2}}\left(\gamma \right)\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}\right]$$其中 ${\displaystyle \gamma =\left[\frac{{(\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2})}^2}{\frac{{\left(\frac{S_1^2}{n_1}\right)}^2}{n_1-1}+\frac{{\left(\frac{S_2^2}{n_2}\right)}^2}{n_2-1}}\right]}$ (取整)
特殊情形:
①${\sigma }_1^2,{\sigma }_2^2$ 未知,但 $n_1,n_2$ 较大时: ${\mu }_1-{\mu }_2$ 的 $1-\alpha$ 置信区间为$$\left[\overline{X}-\overline{Y}-u_{\frac{a}{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}},\overline{X}-\overline{Y}+u_{\frac{a}{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}\right]$$②${\sigma }_1^2={\sigma }_2^2={\sigma }^2$ 未知: ${\mu }_1-{\mu }_2$ 的 $1-\alpha$ 置信区间为$$\left[\overline{X}-\overline{Y}-t_{\frac{\alpha }{2}}{S}_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}},\overline{X}-\overline{Y}+t_{\frac{\alpha }{2}}{S}_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}\right]$$其中 ${\displaystyle S_w^2=\frac{\left(n_1-1\right)S_1^2+\left(n_2-1\right)S_2^2}{n_1+n_2-2},t}$ 分布为 $t\left(n_1+n_2-2\right)$ (3) ${\mu }_1,{\mu }_2$ 已知: ${\displaystyle \frac{{\sigma }_1^2}{{\sigma }_2^2}}$ 的 $1-\alpha$ 置信区间为$$\left[\frac{\frac{1}{n_1}\sum _{i=1}^{n_1}{(X_i-{\mu }_1)}^2}{\frac{1}{n_2}\sum _{j=1}^{n_2}{(Y_j-{\mu }_2)}^2}{F}_{1-\frac{\alpha }{2}}\left(n_2,n_1\right),\frac{\frac{1}{n_1}\sum _{i=1}^{n_1}{(X_i-{\mu }_1)}^2}{\frac{1}{n_2}\sum _{j=1}^{n_2}{(Y_j-{\mu }_2)}^2}{F}_{\frac{\alpha }{2}}\left(n_2,n_1\right)\right]$$(4)${\displaystyle {\mu }_1,{\mu }_2}$ 未知: ${\displaystyle \frac{{\sigma }_1^2}{{\sigma }_2^2}}$ 的 $1-\alpha$ 置信区间为$$\left[\frac{S_1^2}{S_2^2}{F}_{1-\frac{\alpha }{2}}\left(n_2-1,n_1-1\right),\frac{S_1^2}{S_2^2}{F}_{\frac{\alpha }{2}}\left(n_2-1,n_1-1\right)\right]$$4. (0 - 1)分布参数的区间估计
设总体 $X\sim \left(0-1\right)$ 分布, $P\{X=1\}=p,P\{X=0\}=1-p,X_1,X_2,\cdots ,X_n\left(n\ge 50\right)$ 为其样本, 则 $p$ 的 $1-\alpha$ 置信区间为$$\left[\overline{X}-u_{\frac{\alpha }{2}}\sqrt{\frac{\overline{X}\left(1-\overline{X}\right)}{n}},\overline{X}+u_{\frac{\alpha }{2}}\sqrt{\frac{\overline{X}\left(1-\overline{X}\right)}{n}}\right]$$5. 单侧置信区间
设 $\theta$ 为总体的未知参数,对于给定值 $\alpha \left(0<\alpha <1\right)$ ,若 $P\{\theta \ge \underset{―}{\theta }\}=1-\alpha$ ,则称 $[\underset{―}{\theta },+\mathrm{\infty })$ 为 $\theta$ 的满足置信度 $1-\alpha$ 的单侧置信区间, $\underset{―}{\theta }$ 称为单侧置信下限. 若 $P\{\theta \le \overline{\theta }\}=1-\alpha$ ,则称 $(-\mathrm{\infty },\overline{\theta }]$ 为 $\theta$ 的满足置信度 $1-\alpha$ 的单侧置信区间, $\overline{\theta }$ 称为单侧置信上限
例如,对于正态分布 $N\left(\mu ,{\sigma }^2\right),{\sigma }^2$ 未知,可得 $\mu$ 的置信水平为 $1-\alpha$ 的单侧置信区间为
①$\left(-\mathrm{\infty },\overline{X}+t_a\left(n-1\right)\frac{S}{\sqrt{n}}\right)$ ,单侧置信上限为 ${\displaystyle \overline{\mu }=\overline{X}+t_a\left(n-1\right)\frac{S}{\sqrt{n}}}$
②$\left(\overline{X}-t_{\alpha }\left(n-1\right)\frac{S}{\sqrt{n}},+\mathrm{\infty }\right)$ ,单侧置信下限为 ${\displaystyle \underset{―}{\mu }=\overline{X}-t_{\alpha }\left(n-1\right)\frac{S}{\sqrt{n}}}$
也即只需将双侧置信区间的上下限中的 “ $\frac{\alpha }{2}$ ” 改成 “ $\alpha$ ”,就得到相应的单侧置信上下限了