课程笔记 · 01

1. 概率、积分与随机估计

本课位置： 第 1/10 课。先完成前一课的推导；使用下方练习检查理解。

先修知识: 微积分；求和与积分

本课目标：理解下面各步的数学依据，能够手算核对例子，并说明结论依赖的条件。

1. 先区分概率与概率密度

蒙特卡洛计算用随机构型的平均代替难以直接计算的积分。随机性属于数值方法，并不改变所采用的物理模型。离散状态的 \(p(x)\) 是概率；连续变量的 \(p(x)\) 是概率密度，只有 \(p(x)dx\) 才是一个小区间的概率。因此密度可以大于一，而且带有坐标单位的倒数。写出分布之前，必须先说明积分测度和允许的状态空间。

\[ \int p(x)dx=1,\qquad \mu=\mathbb E_p[A]=\int A(x)p(x)dx. \]

独立同分布样本的均值为 \(\bar A=M^{-1}\sum_iA_i\)。期望的线性性给出 \(\mathbb E[\bar A]=\mu\)。把均值的中心化平方展开，得到 \(M^{-2}\sum_{ij}\mathbb E[(A_i-\mu)(A_j-\mu)]\)；独立性使所有非对角项为零，对角项之和为 \(M\sigma_A^2\)，所以方差是 \(\sigma_A^2/M\)。这一步要求有限方差。大数定律讨论均值是否收敛，中心极限定理才在额外条件下说明误差为何近似高斯；两者不能混用。

2. 可手算的积分与误差

令 \(x\) 在 \([0,1]\) 上均匀分布，观测量为 \(A=x^2\)。积分是 \(I=1/3\)，二阶矩为 \(1/5\)，于是

\[ \sigma_A^2=\frac15-\frac19=\frac4{45},\qquad \operatorname{SE}(\bar A)=\frac2{\sqrt{45M}}. \]

取 \(M=1000\) 时，理论标准误约为 \(0.00943\)。这里计算的是解析规划值，没有执行随机实验。要把标准误减半，通常需要四倍独立样本。高维情况下，有限方差时仍可得到 \(M^{-1/2}\) 标度，但是方差本身可能随维数急剧增大。蒙特卡洛避免规则网格点数的指数增长，并不意味着任何高维问题都容易。

3. 坐标变换要携带雅可比

若 \(x=h(u)\)，测度满足 \(dx=|h'(u)|du\)。三维球对称积分含有 \(4\pi r^2dr\)，均匀抽取半径并不是均匀抽取球体积。令 \(u\) 在 \([0,1]\) 上均匀，取 \(r=Ru^{1/3}\)，就有 \(P(r<a)=(a/R)^3\)，与球体积比例相同。角坐标也必须采用正确的立体角测度。以后学习体积移动、分子取向、电子径向分布时，都需要重新检查这一点。

4. 实现前的数学约定

先写目标分布、支持集、观测量、单位和至少一个已知积分，再写程序。保存随机种子有助复现，但不同种子不自动保证统计独立。伪随机数生成器本身是确定性算法，需要合适的统计性质。应分别检查随机数质量、积分算法、物理模型和离散化误差。简单一维模型的确定性积分验证，往往比一大段无法解释的随机输出更有价值。

置信区间描述在给定假设下重复抽样时估计量的覆盖行为，并不是自动给未知真值赋予后验概率。要作后验解释还需单独的贝叶斯模型。未知方差通常用分母 \(M-1\) 的样本方差估计，方差估计自身也有不确定度。若尾部事件极少，几个种子结果一致仍可能共同遗漏它们。验证随机变量生成器时，除均值外还应比较支持范围、二阶矩和已知分布性质。