似然函数

「likelihood function」的各地常用名稱
中国大陸	似然函數
臺灣	概似函數

在数理统计学中，似然函数（英語：likelihood function）是一种关于统计模型中的参数的函数，表示模型参数中的似然性（英語：likelihood）。似然函数在統計推論中有重大作用，如在最大似然估计和费雪信息之中的应用等等。文字意義上，“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“概率”（或然性）有明确的区分：概率，用于在已知一些参数的情況下，预测接下来在观测上所得到的结果；似然性，则是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值，也就是說已觀察到某事件後，對相關母數進行猜測。

在这种意义上，似然函数可以理解为条件概率的逆反。在已知某个参数B时，事件A会发生的概率写作：

$P(A\mid B)={\frac {P(A,B)}{P(B)}}\!$

利用贝叶斯定理，

$P(B\mid A)={\frac {P(A\mid B)\;P(B)}{P(A)}}\!$

因此，我们可以反过来构造表示似然性的方法：已知有事件A发生，运用似然函数$\mathbb {L} (B\mid A)$，我们估计或猜測参数B的不同值的可能性。形式上，似然函数也是一种条件概率函数，但我们关注的变量改变了：

$b\mapsto P(A\mid B=b)\!$

注意到这里并不要求似然函数满足归一性：$\sum _{b\in {\mathcal {B}}}P(A\mid B=b)=1$。一个似然函数乘以一个正的常数之后仍然是似然函数。对所有$\alpha >0$，都可以有似然函数：

$L(b\mid A)=\alpha \;P(A\mid B=b)\!$

例子

考虑投掷硬币的实验。通常来说，已知掷出一枚“公平的硬币”（即正面朝上和反面朝上的機率相同）時，正面（Head）朝上的概率为$p_{H}=0.5$，我們可以此推論得知投掷若干次后出现各种结果的可能性。比如说，連續投两次都是正面朝上的概率是$0.25$。用条件概率表示，就是：

$P({\mbox{HH}}\mid p_{H}=0.5)=0.5^{2}=0.25$

其中${\mbox{H}}$表示正面朝上。

在统计学中，我们更关心的是在已知一系列投掷的结果时，关于單獨投擲一次硬币时正面朝上的機率（即$p_{H}$）爲何。我們實際上是無法從一系列投擲的結果來逆推真實的$p_{H}$，但是我們可以推估$p_{H}$是某個值的可能性爲何。舉例來說，假設因爲這可能不是一枚真正“公平的硬幣”，所以我們不知道$p_{H}$是多少，也無法計算投擲三次硬幣其中兩次是正面的機率是多少。現在如果我們真的實際去擲了三次硬幣，結果其中兩次爲正面，那我們是否能夠依此次實驗逆推出$p_{H}$的資訊？如果無法逆推出真實的$p_{H}$，那我們有沒有辦法知道，譬如說$p_{H}=0.5$的可能性爲何？$p_{H}=0.6$的可能性又爲何？或甚至再更退一步，至少我們能不能知道$p_{H}=0.5$跟$p_{H}=0.6$哪一個比較有可能？

投擲一次硬幣，正面朝上的機率用$p_{H}$來代表，它就是我們這個例子的母數，而我們用事件${\mbox{A}}$來代表投擲三次硬幣其中兩次是正面這個事實。使用聯合機率（英語：joint probability）計算可知

$P({\mbox{A}}\mid p_{H})=3\times p_{H}^{2}\times (1-p_{H})$

我們首先假設$p_{H}=0.5$，則看到三次投擲中兩次是正面的機率爲$P({\mbox{A}}\mid p_{H}=0.5)=0.375$。再來如果假設$p_{H}=0.6$，則看到三次投擲中兩次是正面的機率爲$P({\mbox{A}}\mid p_{H}=0.6)=0.432$。顯然地，如果$p_{H}=0.6$的話，我們看到兩個正面的機會比較高。所以當我們投擲了三次硬幣並且看到了兩次正面，即使我們無法知道實際$p_{H}$到底是多少，我們至少知道$p_{H}$是$0.6$的可能性比是$0.5$的可能性還要高。我們可以合理猜測，$p_{H}$比較可能是$0.6$而非$0.5$。

這裏我們就引進了概似性的概念：概似性代表某個母數爲特定值的可能性。從上面例子得知在已觀察到事件${\mbox{A}}$的情況下，关于事件A的似然估计为

$L(p_{H}\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H})$

其中$p_{H}$为我们所要确定的参数。所以當我們投擲硬幣三次，其中兩次是正面，則$p_{H}=0.5$的概似性是$L(p_{H}=0.5\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H}=0.5)=0.375$，而$p_{H}=0.6$的概似性是$L(p_{H}=0.6\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H}=0.6)=0.432$。注意，$L(p_{H}=0.5\mid {\mbox{A}})=0.375$並不是說當已知${\mbox{A}}$發生了，則$p_{H}$爲$0.5$的機率是$0.375$。概似性跟機率具有不同的意義。

若單獨看$0.375$這個數字或$0.432$這個數字是沒有意義的，因爲概似性並不是機率，並不是一定介於$0$到$1$之間，而所有可能的$p_{H}$的概似性加起來也不是$1$，所以單獨得知$L(p_{H}=0.5\mid {\mbox{A}})=0.375$是沒有意義的。概似性是用在把各種可能的$p_{H}$值放在一起比較，來得知哪個$p_{H}$值的可能性比較高。而概似函數（在這個例子中，即$L(p_{H}\mid {\mbox{A}})=3\times p_{H}^{2}\times (1-p_{H})$），除了用來計算概似性外，則是用來瞭解當母數$p_{H}$改變時，概似性怎麼變化，用來尋找最大可能性的$p_{H}$值會是多少。

圖1. 两次投掷都正面朝上时的似然函数

圖2. 三次投掷中头两次正面朝上，第三次反面朝上时的似然函数

圖1所示爲連續擲兩次硬幣都爲正面的情況下（即此節開頭的事件${\mbox{HH}}$），$p_{H}$從$0$到$1$的概似性。我們可以看出最大概似性發生在$p_{H}=1$，所以當我們投擲硬幣兩次，兩次都正面時，我們可以猜說$p_{H}$最有可能是$1$（即使實際上$p_{H}$也許是$0.5$，但我們無法知道這件事)。圖2則爲投擲硬幣三次，其中兩次爲正面、一次爲反面的情況下，$p_{H}$從$0$到$1$的概似性。最大概似性發生在$p_{H}={\frac {2}{3}}$。所以當我們擲了三次硬幣得到兩次正面，最合理的猜測應該是$p_{H}={\frac {2}{3}}$（同理，也許實際上$p_{H}=0.5$，但我們無從得知，所以只能做“最合理”猜測）。

我們可以得到一個結論：

      对同一个似然函数，其所代表的模型中，某项参数值具有多种可能，但如果存在一个参数值，使得概似函数值达到最大的话，那么这个值就是该项参数最为“合理”的参数值。

应用

最大似然估计

主条目：最大似然估计

最大似然估计是似然函数最初也是最自然的应用。上文已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值点。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值点和直接求最大值点得到的结果是相同的。似然函数的最大值点不一定唯一，也不一定存在。与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。

似然比检验

主条目：似然比检验

似然比检验是利用似然函数来检测某个假设（或限制）是否有效的一种检验。一般情况下，要检测某个附加的参数限制是否是正确的，可以将加入附加限制条件的较复杂模型的似然函数最大值与之前的较简单模型的似然函数最大值进行比较。如果参数限制是正确的，那么加入这样一个参数应当不会造成似然函数最大值的大幅变动。一般使用两者的比例来进行比较，這個比值是卡方分配。

尼曼-皮尔森引理说明，似然比检验是所有具有同等显著性差异的检验中最有统计效力的检验。

参考来源

• Stephen Stigler. Francis Ysidro Edgeworth, Statistician. Journal of the Royal Statistical Society. Series A (General). 1978, 141 (3): 287–322. JSTOR 2344804. （页面存档备份，存于互联网档案馆）
• Stephen Stigler. The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press. 1986. ISBN 0-674-40340-1. 
• Stephen Stigler. Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press. 1999. ISBN 0-674-83601-4. 
• Anders Hald. On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares. Statistical Science. 1999-05, 14 (2): 214–222 [2023-01-18]. JSTOR 2676741. （原始内容存档于2016-03-05）. 
• Hald, A. A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. 1998.