两个男性做网站,哪个公司建网站,动漫设计师发展前景,旅游目的地网站建设的流程背景
最大似然估计#xff08;Maximum Likelihood Estimation, MLE#xff09;是一种估计统计模型参数的方法。它在众多统计学领域中被广泛使用#xff0c;比如回归分析、时间序列分析、机器学习和经济学。其核心思想是#xff1a;给定一个观测数据集#xff0c;找到一组…背景
最大似然估计Maximum Likelihood Estimation, MLE是一种估计统计模型参数的方法。它在众多统计学领域中被广泛使用比如回归分析、时间序列分析、机器学习和经济学。其核心思想是给定一个观测数据集找到一组参数使得在这些参数下观测到当前数据的可能性似然最大。
公式
假设我们有一个参数为 θ \theta θ 的概率分布观测数据为 X ( x 1 , x 2 , … , x n ) X (x_1, x_2, \ldots, x_n) X(x1,x2,…,xn)则似然函数Likelihood Function可以表示为 L ( θ ; X ) P ( X ∣ θ ) ∏ i 1 n P ( x i ∣ θ ) L(\theta; X) P(X|\theta) \prod_{i1}^n P(x_i|\theta) L(θ;X)P(X∣θ)i1∏nP(xi∣θ)
为了简化计算我们通常使用对数似然函数Log-Likelihood Function ℓ ( θ ; X ) log L ( θ ; X ) ∑ i 1 n log P ( x i ∣ θ ) \ell(\theta; X) \log L(\theta; X) \sum_{i1}^n \log P(x_i|\theta) ℓ(θ;X)logL(θ;X)i1∑nlogP(xi∣θ)
最大似然估计的目标是找到参数 θ \theta θ使得对数似然函数 ℓ ( θ ; X ) \ell(\theta; X) ℓ(θ;X) 达到最大值。即 θ ^ arg max θ ℓ ( θ ; X ) \hat{\theta} \arg \max_\theta \ell(\theta; X) θ^argθmaxℓ(θ;X)
示例题目
正态分布的概率密度函数PDF可以表示为 f ( x ∣ μ , σ 2 ) 1 2 π σ 2 exp ( − ( x − μ ) 2 2 σ 2 ) f(x|\mu, \sigma^2) \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) f(x∣μ,σ2)2πσ2 1exp(−2σ2(x−μ)2)
假设我们有一组观测数据 X ( x 1 , x 2 , … , x n ) X (x_1, x_2, \ldots, x_n) X(x1,x2,…,xn)这些数据都来自于一个正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)。我们希望估计正态分布的参数 μ \mu μ 和 σ 2 \sigma^2 σ2。 观测数据为 X ( x 1 , x 2 , … , x n ) X (x_1, x_2, \ldots, x_n) X(x1,x2,…,xn)。
详细讲解 写出似然函数根据正态分布的概率密度函数似然函数可以写为 似然函数 L ( μ , σ 2 ; X ) L(\mu, \sigma^2; X) L(μ,σ2;X) 是在给定参数 μ \mu μ 和 σ 2 \sigma^2 σ2 下观测数据 X X X 出现的概率。对于独立同分布的数据这个概率是每个数据点概率密度的乘积即 L ( μ , σ 2 ; X ) ∏ i 1 n f ( x i ∣ μ , σ 2 ) L(\mu, \sigma^2; X) \prod_{i1}^n f(x_i|\mu, \sigma^2) L(μ,σ2;X)i1∏nf(xi∣μ,σ2) 将正态分布的概率密度函数代入似然函数中得到 L ( μ , σ 2 ; X ) ∏ i 1 n 1 2 π σ 2 exp ( − ( x i − μ ) 2 2 σ 2 ) L(\mu, \sigma^2; X) \prod_{i1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right) L(μ,σ2;X)i1∏n2πσ2 1exp(−2σ2(xi−μ)2)
对数似然函数 取对数为了简化计算取对数得到对数似然函数 ℓ ( μ , σ 2 ; X ) ∑ i 1 n log ( 1 2 π σ 2 exp ( − ( x i − μ ) 2 2 σ 2 ) ) \ell(\mu, \sigma^2; X) \sum_{i1}^n \log \left( \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right) \right) ℓ(μ,σ2;X)i1∑nlog(2πσ2 1exp(−2σ2(xi−μ)2)) 进一步简化 ℓ ( μ , σ 2 ; X ) − n 2 log ( 2 π σ 2 ) − 1 2 σ 2 ∑ i 1 n ( x i − μ ) 2 \ell(\mu, \sigma^2; X) -\frac{n}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i1}^n (x_i - \mu)^2 ℓ(μ,σ2;X)−2nlog(2πσ2)−2σ21i1∑n(xi−μ)2 求导并解方程对 μ \mu μ 和 σ 2 \sigma^2 σ2 分别求导并令其等于零可以得到参数的估计值。 对 μ \mu μ 求导 ∂ ℓ ∂ μ 1 σ 2 ∑ i 1 n ( x i − μ ) 0 \frac{\partial \ell}{\partial \mu} \frac{1}{\sigma^2} \sum_{i1}^n (x_i - \mu) 0 ∂μ∂ℓσ21i1∑n(xi−μ)0 解得 μ ^ 1 n ∑ i 1 n x i \hat{\mu} \frac{1}{n} \sum_{i1}^n x_i μ^n1i1∑nxi 对 σ 2 \sigma^2 σ2 求导 ∂ ℓ ∂ σ 2 − n 2 σ 2 1 2 σ 4 ∑ i 1 n ( x i − μ ) 2 0 \frac{\partial \ell}{\partial \sigma^2} -\frac{n}{2\sigma^2} \frac{1}{2\sigma^4} \sum_{i1}^n (x_i - \mu)^2 0 ∂σ2∂ℓ−2σ2n2σ41i1∑n(xi−μ)20 解得 σ ^ 2 1 n ∑ i 1 n ( x i − μ ) 2 \hat{\sigma}^2 \frac{1}{n} \sum_{i1}^n (x_i - \mu)^2 σ^2n1i1∑n(xi−μ)2
Python代码求解
import numpy as np# 观测数据
X np.array([2.3, 1.9, 3.1, 2.8, 2.4])# 估计参数
mu_hat np.mean(X)
sigma_squared_hat np.var(X, ddof0)print(估计的均值 μ:, mu_hat)
print(估计的方差 σ^2:, sigma_squared_hat)实际生活中的例子
最大似然估计在实际生活中的应用广泛。例如在医学研究中科学家常常需要估计某种疾病的发病率。假设有一个新的传染病研究人员需要估计其传播率即传染给某人的概率。他们收集了若干病例数据通过最大似然估计可以得到传播率的最优估计从而帮助制定防控策略。
最大似然估计同样可以应用于金融领域比如估计股票的收益率和风险在机器学习中用于训练模型的参数如线性回归中的回归系数等。
