誤差

  此條目頁的主題是統計學上的誤差和殘差。關於測量中的誤差，請見「測量誤差」。

統計學和最佳化中，誤差（error）和殘差（residual）是兩個相近但有區別的概念，二者均是統計樣本中某一元素的觀測值與其「真值」（未必可直接觀測得到）之間的離差的度量。觀察的誤差是觀測值與相關量（例如總體平均值）的真值之間的差值。殘差是觀測值與統計量的估計值（例如樣本均值）之間的差值。這種區別在迴歸分析中至關重要，迴歸分析中，這些概念有時稱為迴歸誤差（regression errors）和迴歸殘差（regression residuals），它們引出了學生化殘差的概念。

計量經濟學中，誤差也稱為擾動（disturbances）。

簡介

假設有一系列取自單變量分佈的觀察結果，我們想要估計該分佈的平均值。此時，誤差是觀測值與總體均值的偏差，而殘差是觀測值與樣本均值的偏差。

統計誤差（statistical error）是觀察值與其期望值的差異程度，而期望值基於隨機選擇統計單位的總體。例如，如果21歲男性的平均身高為1.75米，而隨機選出的一名男性身高為1.80米，則「誤差」為0.05米；如果隨機選出男性人身高1.70米，則「誤差」為-0.05 米。期望值是整個總體的均值，通常是無法觀測的，因此統計誤差也無從知曉。

而殘差（residual）是對無法觀測的統計誤差的可觀測估計。在上述的男性身高的例子中，假設我們隨機抽取n個人作為樣本。樣本均值可以很好地估計總體均值。此時：

• 樣本中每個人的身高與無法觀測的總體均值之間的差值是統計誤差，
• 樣本中每個人的身高與可觀測的樣本均值之間的差值是殘差。

注意，由於樣本均值的定義，隨機樣本內的殘差之和必然為零，因此殘差必然不是相互獨立的。而統計誤差是獨立的，它們在隨機樣本中的總和幾乎肯定不為零。

統計誤差（尤其是正態分佈的）的數值可以用標準分數（或「z分數」）來標準化，而殘差可以用t統計量，或更一般的學生化殘差來標準化。

單變量分佈

假定有一個均值為μ、標準差為σ的正態分佈總體，從中隨機選擇個體，得到樣本：

$X_{1},\dots ,X_{n}\sim N\left(\mu ,\sigma ^{2}\right)\,$

其樣本均值為

${\overline {X}}={X_{1}+\cdots +X_{n} \over n}$

它是一個隨機變量分佈，服從：

${\overline {X}}\sim N\left(\mu ,{\frac {\sigma ^{2}}{n}}\right).$

其統計誤差為：

$e_{i}=X_{i}-\mu ,\,$

其期望值為0，而殘差為：

$r_{i}=X_{i}-{\overline {X}}.$

統計誤差的平方和除以σ²，得到自由度為n的卡方分佈：

${\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}e_{i}^{2}\sim \chi _{n}^{2}.$

然而，因為總體均值未知，這個數量是不可觀測的。但是，殘差的平方和是可觀測的。該總和除以σ²的商是n - 1自由度的卡方分佈：

${\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}r_{i}^{2}\sim \chi _{n-1}^{2}.$

自由度為n和n - 1之間的區別是對總體（均值、方差未知）的方差估計值的貝塞爾校正。若總體均值已知，則無需進行校正。

參見

• 離差
• 錯誤檢測與糾正
• 誤差範圍
• 平均絕對誤差
• 測量誤差
• 誤差傳播
• 概然誤差
• 迴歸稀釋偏倚
• 均方根誤差
• 抽樣誤差
• 標準誤差
• 學生化殘差
• 第一型錯誤與第二型錯誤

參考文獻

• Cook, R. Dennis; Weisberg, Sanford. Residuals and Influence in Regression. Repr. New York: Chapman and Hall. 1982 [23 February 2013]. ISBN 041224280X. （原始內容存檔於2022-04-06）. 
• Cox, David R.; Snell, E. Joyce. A general definition of residuals. Journal of the Royal Statistical Society, Series B. 1968, 30 (2): 248–275. JSTOR 2984505. 
• Weisberg, Sanford. Applied Linear Regression 2nd. New York: Wiley. 1985 [23 February 2013]. ISBN 9780471879572. （原始內容存檔於2022-07-12）. 
• Hazewinkel, Michiel (編), Errors, theory of, 数学百科全书, Springer, 2001, ISBN 978-1-55608-010-4 

外部連結

• 維基共享資源上的相關多媒體資源：誤差