频率推断

  1. 中心极限定理Central Limit Theorem(CLT)
    独立同分布的随机变量X，若期望和方差都存在， <nobr> E(Xi)=μ </nobr>, <nobr> D(Xi)=σ2 </nobr>则N个（N很大）独立同分布的随机变量的和近似服从正态分布，即 <nobr> ∑ni=1Xi∼N(nμ,nσ2) </nobr>或 <nobr> ∑ni=1Xin∼N(μ,σ2n√) </nobr>
  2. 置信区间Confidence Intervals(CI)
    参数点估计的近似正态分布的置信区间计算：
    <nobr> pointestimate±z∗×SE </nobr>, <nobr> SE </nobr>是标准误差，standard error.
    <nobr> z∗ </nobr>是标准正态分布中能够占据中间 <nobr> X% </nobr>数据截断点， <nobr> X% </nobr>是我们想要的置信水平。
    对于均值来说， <nobr> x¯±z∗sn√ </nobr>。
  3. 似然函数和最大似然估计
    给定观测变量x，关于待估计参数 <nobr> θ </nobr>似然函数 <nobr> L(θ|y)=P(X=x|θ) </nobr>，在数值上等于给定参数θ后变量X=x的概率。
    最大似然估计是求得是的似然函数最大的参数 <nobr> θ </nobr>，即使得的数据和我们已经观测到的数据最相似的 <nobr> θ </nobr>。
    MLE <nobr> θ=argmaxL(θ|y) </nobr>

贝叶斯推断