$$概率论从模型推出结果的分布；数理统计由观测反推模型中的未知部分.$$

概率与条件概率#

模型与概率#

样本空间 $\Omega$ 描述可能结果，事件是其中可测的集合，概率 $P$ 满足非负性、规范性与可列可加性.

古典概型要求基本结果有限且等可能，才有 $P(A)=|A|/|\Omega|$ . 几何概型还要求在给定区域内按相应长度、面积或体积均匀取点.

概率为 $0$ 不等于事件不可能；概率为 $1$ 称几乎必然，允许零概率的例外.

条件概率与乘法#

若 $P(B)>0$ ：

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}.$$

条件改变了考察范围与归一化尺度. 对各分母为正的情形：

$$P\left(\bigcap_{i=1}^n A_i\right) =P(A_1)\prod_{i=2}^nP\left(A_i\mid\bigcap_{j<i}A_j\right).$$

不要把有条件的概率直接替换为无条件概率.

全概率与贝叶斯公式#

设 $B_i$ 两两互斥、构成样本空间的划分，且 $P(B_i)>0$ ：

$$P(A)=\sum_iP(B_i)P(A\mid B_i).$$

若再有 $P(A)>0$ ：

$$P(B_j\mid A)=\frac{P(B_j)P(A\mid B_j)}{\sum_iP(B_i)P(A\mid B_i)}.$$

全概率按原因分类累加；贝叶斯由结果更新原因的权重. 后验同时依赖先验与似然，不能只比较 $P(A\mid B_j)$ .

独立性#

$A,B$ 独立定义为 $P(A\cap B)=P(A)P(B)$ . 多事件相互独立要求任意有限子组的交事件概率都等于各自概率的乘积.

两两独立不等于相互独立. 互斥且概率均为正的事件不独立；互斥描述不能同时发生，独立描述条件信息不改变概率.

随机变量与分布#

分布函数#

随机变量把试验结果映射为实数. 分布函数：

$$F_X(x)=P(X\le x).$$

它单调不减、右连续，并满足 $F_X(-\infty)=0,F_X(+\infty)=1$ .

$$P(a<X\le b)=F_X(b)-F_X(a),\qquad P(X=x)=F_X(x)-F_X(x^-).$$

端点是否包含，在离散或混合分布中会影响结果.

离散型用概率质量 $p_k=P(X=x_k)$ 描述. 若存在密度 $f_X$ ，则：

$$F_X(x)=\int_{-\infty}^x f_X(t)\,dt.$$

密度值不是点概率，可以大于 $1$ ；单点概率为 $0$ . 以下称连续型时均指具有密度的情形.

常用离散分布#

记 $q=1-p$ ，下列参数取值保证分布有意义，几何分布取 $0<p\le1$ .

分布概率质量与取值期望方差
伯努利 $B(1,p)$$P(X=1)=p,P(X=0)=q$$p$$pq$
二项 $B(n,p)$$\binom nkp^kq^{n-k},\ k=0,\ldots,n$$np$$npq$
泊松 $P(\lambda)$$e^{-\lambda}\lambda^k/k!,\ k\ge0,\lambda>0$$\lambda$$\lambda$
几何$P(X=k)=q^{k-1}p,\ k\ge1$$1/p$$q/p^2$
超几何$\binom Mk\binom{N-M}{n-k}/\binom Nn$ ，取可行整数 $k$$nM/N$$n\frac MN(1-\frac MN)\frac{N-n}{N-1}$

超几何对应从 $N$ 个对象中不放回取 $n$ 个，其中 $M$ 个为目标对象，方差式取 $N>1$ . 二项要求各次独立且成功概率相同.

几何分布也有从 $0$ 开始计失败次数的约定，使用公式前先确认随机变量的含义.

常用连续分布#

均匀分布 $U(a,b)$ ，$a<b$ ：

$$f(x)=\frac1{b-a}\quad(a<x<b),\qquad E(X)=\frac{a+b}{2},\quad\operatorname{Var}(X)=\frac{(b-a)^2}{12}.$$

指数分布按速率 $\lambda>0$ 参数化：

$$f(x)=\lambda e^{-\lambda x}\quad(x\ge0),\qquad E(X)=\frac1\lambda,\quad\operatorname{Var}(X)=\frac1{\lambda^2}.$$

其无记忆性为：

$$P(X>s+t\mid X>s)=P(X>t),\qquad s,t\ge0.$$

几何分布在离散时间也有无记忆性. 上述密度在未列出的范围内均为 $0$ .

正态分布 $N(\mu,\sigma^2)$ ，$\sigma>0$ ：

$$f(x)=\frac1{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right].$$

标准化后：

$$Z=\frac{X-\mu}{\sigma}\sim N(0,1),\qquad P(a<X\le b)=\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{\sigma}\right).$$

$N(\mu,\sigma^2)$ 的第二参数是方差，不是标准差.

随机变量函数的分布#

对 $Y=g(X)$ ，先用分布函数法：

$$F_Y(y)=P(g(X)\le y).$$

若 $g$ 严格单调且可微，逆函数为 $h$ ，在适用的值域内部：

$$f_Y(y)=f_X(h(y))|h'(y)|.$$

一般分段单调时，对满足 $g(x_i)=y$ 的所有正常分支求和：

$$f_Y(y)=\sum_i\frac{f_X(x_i)}{|g'(x_i)|}.$$

先确定值域，再确定逆像；不能漏掉分支，离散点质量也不能用密度公式处理.

多维分布与数字特征#

联合、边缘与条件分布#

联合密度存在时：

$$f_X(x)=\int_{-\infty}^{\infty}f_{X,Y}(x,y)\,dy, \qquad f_{Y\mid X}(y\mid x)=\frac{f_{X,Y}(x,y)}{f_X(x)}\quad(f_X(x)>0).$$

边缘积分范围由联合分布的支撑集决定，可能依赖于未积分的变量. 离散情形将积分换成求和.

连续情形的 $P(X=x)=0$ ，条件密度不是把这个零概率事件直接代入事件条件概率公式，而是通过密度比构造.

$X,Y$ 独立当且仅当：

$$F_{X,Y}(x,y)=F_X(x)F_Y(y)\quad\text{对所有 }x,y.$$

有联合密度时等价于 $f_{X,Y}=f_Xf_Y$ 几乎处处成立. 只看密度表达式可分离还不够，支撑范围也须与乘积分布相容.

和、最大值与最小值#

独立且具有密度时，和的密度由卷积给出：

$$f_{X+Y}(z)=\int_{-\infty}^{\infty}f_X(x)f_Y(z-x)\,dx.$$

若 $X_1,\ldots,X_n$ 独立同分布，分布函数为 $F$ ：

$$F_{\max X_i}(x)=F(x)^n,\qquad F_{\min X_i}(x)=1-[1-F(x)]^n.$$

因为“最大值不超过 $x$ ”要求每个变量都不超过 $x$ ；最小值则先计算“所有变量均大于 $x$ ”.

独立二项变量在成功概率相同时相加仍为二项；独立泊松变量相加参数相加；独立正态变量的线性组合仍正态，均值线性组合、方差按系数平方相加.

期望与方差#

若相应绝对可积条件成立：

$$E[g(X)]=\sum_k g(x_k)p_k \quad\text{或}\quad \int g(x)f_X(x)\,dx.$$

不必先求 $g(X)$ 的分布. 多维情形直接对联合分布求和或积分.

$$\operatorname{Var}(X)=E[(X-E X)^2]=E(X^2)-(E X)^2.$$

期望线性不要求独立；方差相加需要协方差项为 $0$ . 一般 $E[g(X)]\ne g(E X)$ .

指标变量 $I_A=\mathbf1_A$ 满足 $E(I_A)=P(A)$ ，故计数变量可拆成指标变量求期望，无须先求完整分布.

协方差与相关系数#

设二阶矩有限，则：

$$\operatorname{Cov}(X,Y)=E(XY)-E(X)E(Y),$$
$$\operatorname{Var}\left(\sum_i a_iX_i\right) =\sum_i a_i^2\operatorname{Var}(X_i) +2\sum_{i<j}a_ia_j\operatorname{Cov}(X_i,X_j).$$

若两方差均为正：

$$\rho_{X,Y}=\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y},\qquad |\rho_{X,Y}|\le1.$$
  • 独立推出不相关，反之一般不成立.
  • 联合为二元正态时，不相关等价于独立；只有各自边缘正态仍不够.
  • $|\rho|=1$ 当且仅当存在常数 $a\ne0,b$ ，使 $Y=aX+b$ 几乎必然成立.

相关系数主要衡量线性关系，$\rho=0$ 不表示没有依赖关系.

条件期望与方差分解#

若 $E|X|<\infty$ ，则：

$$E(X)=E[E(X\mid Y)].$$

二阶矩有限时：

$$\operatorname{Var}(X) =E[\operatorname{Var}(X\mid Y)]+\operatorname{Var}[E(X\mid Y)].$$

将 $X-E X$ 拆为：

$$X-E X=(X-E[X\mid Y])+(E[X\mid Y]-E X).$$

第一项在给定 $Y$ 后条件期望为 $0$ ，交叉项的期望因此为 $0$ . 总波动分成组内波动与组间均值波动.

大数定律与中心极限定理#

概率界#

非负随机变量且期望有限时，对 $a>0$ ：

$$P(X\ge a)\le\frac{E X}{a}.$$

由 $X\ge a\mathbf1_{\{X\ge a\}}$ 取期望即得. 对 $(X-\mu)^2$ 使用此式，得到切比雪夫不等式：

$$P(|X-\mu|\ge\varepsilon)\le\frac{\sigma^2}{\varepsilon^2}.$$

不依赖具体分布，代价是通常较粗.

大数定律#

记样本均值 $\overline X_n=n^{-1}\sum_{i=1}^nX_i$ . 若 $X_i$ 独立同分布，均值 $\mu$ 、方差 $\sigma^2<\infty$ ，则：

$$P(|\overline X_n-\mu|\ge\varepsilon) \le\frac{\sigma^2}{n\varepsilon^2}\to0.$$

即 $\overline X_n\xrightarrow{P}\mu$ . 独立同分布且 $E|X_1|<\infty$ 时也有此结论，不必要求有限方差.

大数定律说明均值趋于稳定，不保证每次偏差都缩小，也不表示过去的偏差必须在未来被补偿.

中心极限定理#

若 $X_i$ 独立同分布，$E X_i=\mu$ 、$0<\sigma^2<\infty$ ，则：

$$\frac{\sum_{i=1}^nX_i-n\mu}{\sigma\sqrt n} =\frac{\overline X_n-\mu}{\sigma/\sqrt n} \xrightarrow{d}N(0,1).$$

大数定律控制平均值的稳定位置；中心极限定理描述 $1/\sqrt n$ 尺度上的波动形状. 有限样本通常只是近似，不能把任意分布在任意 $n$ 下当作正态.

对二项变量，当 $np,n(1-p)$ 足够大时，可作正态近似. 整数区间可用连续性修正：

$$P(a\le X\le b)\approx \Phi\left(\frac{b+1/2-np}{\sqrt{np(1-p)}}\right) -\Phi\left(\frac{a-1/2-np}{\sqrt{np(1-p)}}\right).$$

另有稀有事件极限：$n\to\infty,p_n\to0,np_n\to\lambda>0$ 时，$B(n,p_n)$ 趋于 $P(\lambda)$ .

样本与抽样分布#

总体分布含未知参数；样本是来自总体的独立同分布随机变量，观测值是它们的一次实现.

统计量#

统计量是样本的函数，其表达式不含未知参数. 常用：

$$\overline X=\frac1n\sum_iX_i,\qquad S^2=\frac1{n-1}\sum_i(X_i-\overline X)^2\quad(n\ge2).$$

若总体均值为 $\mu$ 、方差有限，则：

$$E\overline X=\mu,\qquad\operatorname{Var}(\overline X)=\frac{\sigma^2}{n},\qquad E S^2=\sigma^2.$$

分母 $n-1$ 来自恒等式：

$$\sum_i(X_i-\overline X)^2 =\sum_i(X_i-\mu)^2-n(\overline X-\mu)^2,$$

两边取期望得 $(n-1)\sigma^2$ .

三个常用抽样分布#

设 $Z_i$ 独立且均为 $N(0,1)$ ：

$$U=\sum_{i=1}^{\nu}Z_i^2\sim\chi^2(\nu),\qquad E U=\nu,\quad\operatorname{Var}(U)=2\nu.$$

若 $Z\sim N(0,1)$ 与 $U\sim\chi^2(\nu)$ 独立：

$$T=\frac{Z}{\sqrt{U/\nu}}\sim t(\nu).$$

若 $U\sim\chi^2(\nu_1)$ 与 $V\sim\chi^2(\nu_2)$ 独立：

$$F=\frac{U/\nu_1}{V/\nu_2}\sim F(\nu_1,\nu_2).$$

自由度及独立性是构造分布的一部分；$1/F\sim F(\nu_2,\nu_1)$ ，不能忘记交换自由度.

正态总体的精确结论#

若样本来自 $N(\mu,\sigma^2)$ ：

$$\overline X\sim N\left(\mu,\frac{\sigma^2}{n}\right),\qquad \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1),$$

且 $\overline X$ 与 $S^2$ 独立，因此：

$$\frac{\overline X-\mu}{S/\sqrt n}\sim t(n-1).$$

这些是正态总体下的有限样本精确分布. 一般总体不能仅靠将 $\sigma$ 换成 $S$ ，就声称统计量精确服从 $t$ 分布.

参数估计#

矩估计#

用样本矩替换总体矩，联立求未知参数：

$$E_\theta(X^k)\approx\frac1n\sum_iX_i^k.$$

有几个参数，通常取相应数量的矩方程. 求解后还应检查是否唯一、是否落在参数空间内.

最大似然估计#

独立样本的似然：

$$L(\theta;\boldsymbol x)=\prod_{i=1}^n f_\theta(x_i),\qquad \widehat\theta=\arg\max_{\theta\in\Theta}L(\theta;\boldsymbol x).$$

离散模型将密度换为概率质量. 数据固定，参数变化；似然本身不是参数的概率分布.

通常取对数再求极值，但要同时检查边界、支撑集对参数的限制，以及极值是否取得. 导数为 $0$ 只能给候选点.

最大似然具有变换不变性：估计 $g(\theta)$ 时，可取 $g(\widehat\theta)$ .

估计量的评价#

  • 无偏：$E_\theta\widehat\theta=\theta$ .
  • 相合：$\widehat\theta_n\xrightarrow{P}\theta$ .
  • 均方误差：同时衡量方差与偏差.
$$E_\theta[(\widehat\theta-\theta)^2] =\operatorname{Var}_\theta(\widehat\theta) +[E_\theta\widehat\theta-\theta]^2.$$

无偏不保证相合，也不保证均方误差更小. “有效性”须明确比较范围与准则，不能只凭样本量大就断言有效.

置信区间与分位数约定#

下文统一用左尾分位数：

$$P(Z\le z_p)=p,\quad P(T_\nu\le t_{p,\nu})=p,\quad P(U_\nu\le\chi^2_{p,\nu})=p.$$

置信度 $1-\alpha$ 描述区间构造方法的覆盖率：

$$P_\theta\{L(\boldsymbol X)\le\theta\le U(\boldsymbol X)\}=1-\alpha.$$

频率学派中参数固定、区间随机. 数据已经观测后，不能把此式解释为固定区间内参数仍有 $1-\alpha$ 的概率.

构造方法：找到分布不含未知参数的枢轴量，先取概率区间，再反解参数.

单个正态总体的区间#

均值 $\mu$ ，$\sigma$ 已知：

$$\overline X\pm z_{1-\alpha/2}\frac{\sigma}{\sqrt n}.$$

$\sigma$ 未知：

$$\overline X\pm t_{1-\alpha/2,n-1}\frac S{\sqrt n}.$$

方差 $\sigma^2$ ，均值未知：

$$\left[ \frac{(n-1)S^2}{\chi^2_{1-\alpha/2,n-1}}, \frac{(n-1)S^2}{\chi^2_{\alpha/2,n-1}} \right].$$

方差区间通常不对称；反解时分母的大小与端点方向相反. 标准差区间对两端开平方.

假设检验#

在 $H_0$ 给定的模型下，判断观测是否落入预先规定的异常区域.

两类错误与功效#

  • 第一类错误：$H_0$ 为真却拒绝，概率由显著性水平 $\alpha$ 控制.
  • 第二类错误：$H_0$ 为假却未拒绝，概率为 $\beta(\theta)$ .
  • 功效：$1-\beta(\theta)$ ，随具体备择参数变化.

复合原假设下通常要求所有 $\theta\in\Theta_0$ 的拒绝概率不超过 $\alpha$ . 固定样本量时，收紧拒绝域通常降低第一类错误，却增加第二类错误.

“未拒绝”说明证据不足，不能直接宣布原假设已被证明.

检验步骤与 p 值#

先确定原假设、备择假设与显著性水平，再选统计量，求其在 $H_0$ 下的分布，最后计算并判断.

p 值是在原假设模型下，出现与观测同样或更极端结果的概率，“极端”方向由备择假设和统计量决定. 常按 $p\le\alpha$ 拒绝 $H_0$ .

p 值不是 $H_0$ 为真的概率，也不是结果由偶然造成的概率. 不应观察数据后再选择单侧方向.

单个正态总体的检验#

检验 $H_0:\mu=\mu_0$ ：

$$Z=\frac{\overline X-\mu_0}{\sigma/\sqrt n}\sim N(0,1) \quad(\sigma\text{ 已知}),$$
$$T=\frac{\overline X-\mu_0}{S/\sqrt n}\sim t(n-1) \quad(\sigma\text{ 未知}).$$

双侧备择分别在 $|Z|>z_{1-\alpha/2}$ 或 $|T|>t_{1-\alpha/2,n-1}$ 时拒绝；右侧备择用右尾临界值，左侧相应使用左尾.

检验 $H_0:\sigma^2=\sigma_0^2$ ，均值未知时：

$$U=\frac{(n-1)S^2}{\sigma_0^2}\sim\chi^2(n-1).$$

双侧等尾检验在 $U<\chi^2_{\alpha/2,n-1}$ 或 $U>\chi^2_{1-\alpha/2,n-1}$ 时拒绝. 不是用绝对值构造对称拒绝域.

两总体比较#

以下两样本相互独立，且分别来自正态总体，样本量为 $n_1,n_2$ .

方差已知时，均值差标准误为：

$$\operatorname{SE}(\overline X-\overline Y) =\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}.$$

方差未知但相等时，令：

$$S_p^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},$$
$$T=\frac{(\overline X-\overline Y)-\delta_0} {S_p\sqrt{1/n_1+1/n_2}}\sim t(n_1+n_2-2) \quad(H_0:\mu_1-\mu_2=\delta_0).$$

方差不等时，不能直接合并方差；可用 Welch 方法及近似自由度. 配对数据应先对每对求差，再按单样本处理.

检验方差比 $H_0:\sigma_1^2/\sigma_2^2=c$ ：

$$F=\frac{S_1^2}{cS_2^2}\sim F(n_1-1,n_2-1).$$

对同一检验体系，置信区间可由所有未被拒绝的参数值反演得到；单侧、双侧及尾概率的分配必须一致.

卡方拟合优度#

设分类次数为 $O_i$ ，原假设概率为 $p_i>0$ ，期望次数 $E_i=np_i$ ：

$$Q=\sum_{i=1}^k\frac{(O_i-E_i)^2}{E_i} \approx\chi^2(k-1-r).$$

$r$ 是由同一数据估计的独立参数个数，需满足通常的正则性与估计条件. 期望次数太小应合理合并类别后重新计自由度；不能因公式形式相同就忽略近似条件.

方差分析与回归#

单因素方差分析#

设 $k$ 组相互独立，各组数据独立服从 $N(\mu_i,\sigma^2)$ ，共 $N>k$ 个观测. 检验 $H_0:\mu_1=\cdots=\mu_k$ .

$$\begin{aligned} SS_T&=\sum_{i,j}(X_{ij}-\overline X)^2,\\ SS_B&=\sum_i n_i(\overline X_i-\overline X)^2,\\ SS_E&=\sum_{i,j}(X_{ij}-\overline X_i)^2. \end{aligned}$$

由组内偏差之和为 $0$ ：

$$SS_T=SS_B+SS_E.$$

原假设下：

$$F=\frac{SS_B/(k-1)}{SS_E/(N-k)}\sim F(k-1,N-k).$$

大的 $F$ 表示组间差异相对组内波动过大. 拒绝后只说明至少一组均值不同，不能据此直接指定哪两组不同.

一元线性回归#

模型：

$$Y_i=\beta_0+\beta_1x_i+\varepsilon_i,$$

$x_i$ 为给定值且不全相同. 通常设误差独立、均值为 $0$ 、方差相同；精确 $t,F$ 推断再要求误差正态.

记：

$$S_{xx}=\sum_i(x_i-\overline x)^2,\qquad S_{xy}=\sum_i(x_i-\overline x)(Y_i-\overline Y).$$

最小二乘给出：

$$\widehat\beta_1=\frac{S_{xy}}{S_{xx}},\qquad \widehat\beta_0=\overline Y-\widehat\beta_1\overline x.$$

因为对残差平方和求导，得到 $\sum e_i=0,\sum x_ie_i=0$ ，即残差与拟合空间正交.

$$SSE=\sum_i(Y_i-\widehat Y_i)^2,\qquad s^2=\frac{SSE}{n-2}\quad(n>2).$$

正态误差下检验斜率：

$$\frac{\widehat\beta_1-\beta_{1,0}}{s/\sqrt{S_{xx}}}\sim t(n-2).$$

在 $x_0$ 处，均值估计与新个体预测的标准误分别为：

$$\operatorname{SE}_{\text{均值}} =s\sqrt{\frac1n+\frac{(x_0-\overline x)^2}{S_{xx}}},$$
$$\operatorname{SE}_{\text{预测}} =s\sqrt{1+\frac1n+\frac{(x_0-\overline x)^2}{S_{xx}}}.$$

预测多了新观测自身的误差，区间更宽. 回归关系不自动表示因果关系，远离观测范围的外推也依赖额外模型假设.

选学内容提要#

教材后部内容按课程要求取用，以下仅保留结构与条件.

非参数方法与 bootstrap#

非参数检验减弱对具体分布形式的要求，但仍有独立性、连续性、对称性等条件；“非参数”不等于无假设.

符号检验在连续总体中检验中位数 $m_0$ 时，原假设下高于 $m_0$ 的样本个数服从 $B(n,1/2)$ . 有并列值时需明确处理规则.

经验 bootstrap 从原样本的经验分布中有放回重抽样，重新计算统计量，以近似其抽样波动. 它重抽样数据，而不是直接随机改变参数；依赖原样本代表性及所用方法的适用条件.

随机过程与泊松过程#

随机过程 $\{X(t):t\in T\}$ 是按时间索引的一族随机变量；固定一次试验结果得到一条样本路径. 联合分布描述不同时刻间的关系，只有各时刻边缘分布通常不够.

齐次泊松过程 $N(t)$ 从 $0$ 开始，具有独立、平稳增量，且：

$$N(t)-N(s)\sim P(\lambda(t-s))\quad(0\le s<t).$$

相邻到达间隔独立服从速率为 $\lambda$ 的指数分布；$E N(t)=\operatorname{Var}N(t)=\lambda t$ .

马尔可夫链#

马尔可夫性表示给定当前状态后，未来的条件分布不再依赖更早的历史，不表示相邻状态独立.

齐次离散链的转移矩阵：

$$p_{ij}=P(X_{n+1}=j\mid X_n=i),\qquad P^{(m+n)}=P^{(m)}P^{(n)},\qquad P^{(n)}=P^n.$$

采用行概率向量时：

$$\boldsymbol\pi_n=\boldsymbol\pi_0P^n,\qquad \boldsymbol\pi=\boldsymbol\pi P$$

后式定义平稳分布. 有平稳分布不自动保证从任意初始分布趋于它；有限状态、不可约且非周期时，有唯一平稳分布并收敛到它.

平稳与各态历经#

严平稳要求任意有限维联合分布在时间平移后不变. 宽平稳只要求二阶矩有限、均值恒定，协方差只依赖时间差：

$$E X(t)=\mu,\qquad \operatorname{Cov}(X(t),X(t+\tau))=C(\tau).$$

二阶矩存在时，严平稳推出宽平稳；反向一般不成立，高斯过程是例外.

实宽平稳过程的自相关函数 $R(\tau)=E[X(t)X(t+\tau)]$ 满足：

$$R(-\tau)=R(\tau),\qquad |R(\tau)|\le R(0).$$

在 $R$ 可积等条件下，取角频率约定的功率谱密度：

$$S(\omega)=\int_{-\infty}^{\infty}R(\tau)e^{-i\omega\tau}\,d\tau.$$

它非负；一般过程可能需要谱测度而非普通谱密度. 各态历经进一步要求适当的时间平均能恢复总体平均，平稳性本身不能保证这一点.