跳转到内容

递归最小二乘滤波器

本页使用了标题或全文手工转换
维基百科,自由的百科全书

递归最小二乘滤波器(RLS)属于自适应滤波器,会针对和输入信号有关的加权最小二乘英语Weighted least squares损失函数,递归查找可以使其最小化的系数。此方法和想要减少均方误差最小均方滤波器(LMS)不同。在推导递归最小二乘滤波器时,会假设输入信号是确定性的,而最小均方滤波及其他算法会假设信号随机。和其他的方法比较起来,递归最小二乘滤波器的收敛速度特别快。但其代价是非常高的运算复杂度。

演进

[编辑]

递归最小二乘滤波器是由卡尔·弗里德里希·高斯发现,但被遗忘无人使用,直到Plackett在1950年发现高斯1821年的著作之后,才再获使用。一般来说,递归最小二乘滤波器可以求得任何可以用自适应滤波器求解的问题。例如,假设信号从有回声的有噪信道传输,接收到的是

其中代表加性高斯白噪声。RLS滤波器的目的是用有限冲激响应(FIR)滤波器,还原想要的信号

其中是包括最近次取样的列向量。接收到想要信号的估测值为

其目的是估测滤波器的参数,在每个时间,会将目前的估测值用表示,自适应的最小方差估测值为也是如下的列向量,其转置则是行向量。矩阵乘法(也是点积)是为标量。若最小二乘法的概念下,其值是小的,其估测就算是好的。

随着时间演进,会希望避免完全重做最小方差算法来找新估测值,会希望可以将新估测值配合其他变量来表示。

递归最小二乘滤波器的好处是不用进行反矩阵运算,因此可以节省计算时间。另一个好处是在其结果之后,提供了类似卡尔曼滤波的直觉信息。

概念

[编辑]

递归最小二乘滤波器背后的概念是在收到新资料时,适当选择滤波器系数、更新滤波器,以及让损失函数 最小化。误差信号和期望信号之间的关系,可以用以下的负反馈框图来说明:

误差会透过估测值,受到滤波器系数影响:

加权最小方差函数—希望可以最小化的费用函数—是的函数,因此也会受到滤波器系数的影响:

其中,是“遗忘因子”(forgetting factor),以指数的方式让较旧的资料有较小的加权。

费用函数最小化的方式,是将系数向量中的所有项次微分,并让微分为零

接着,用以下的误差信号来代替

将等式重组如下

可以表示为以下的矩阵

其中的加权样本协方差英语Sample mean and sample covariance矩阵,而互协方差的等效估计。依照上式可以找到最小化费用函数的系数

如何选择λ

[编辑]

越小,旧数据对协方差矩阵的影响越小,让滤波器对最近的数据较敏感,这也会让滤波器的co-efficients比较容易振荡。称为growing window递归最小二乘算法。在实务上,会让0.98介于1之间[1]。利用第二型的最大可能区间估测,可以用资料中估测到最佳的[2]

递归算法

[编辑]

以上叙述的结论是可以决定费用函数的参数,使费用函数最小化的方程式。以下则说明如何找到此形式的递归解

其中是时间的修正因子。首先将互协方差来表示

其中维的资料向量

接下来以相似的方式,用表示

为了要找到其系数向量,接下来要关注的是决定性自协方差矩阵的反矩阵。这问题可以使用伍德伯里矩阵恒等式英语Woodbury matrix identity。若

矩阵
(列向量)
(行向量)
单位矩阵

依照伍德伯里矩阵恒等式,可得到下式

为了和标准的文献一致,定义

其中的增益向量

在往下推导之前,需要将改为以下的形式

等式两侧减去左边的第二项,得到

配合的递归式定义,希望的形式如下

此时就可以完成递归,如以上讨论

第二步是从的递归式定义开始,接着使用的递归式定义,配合调整后的,可以得到

配合,可以得到以下的更新方程式

其中先验误差。将此和后验误差(在滤波器更新后计算的误差)比较

这就找到了修正因子

这个结论指出了修正系数直接和误差和增益向量成正比,增益向量会透过加权因子影响想要的灵敏度,这个结论很符合直觉。

RLS算法摘要

[编辑]

p阶RLS滤波器的算法可以摘要如下

参数: 阶数
遗忘因子
的初始值
开始: ,
,
其中阶的单位矩阵
计算: 针对

.

的递归依照代数Riccati方程,也类似卡尔曼滤波的结果[3]

相关条目

[编辑]

书目

[编辑]
  1. ^ Emannual C. Ifeacor, Barrie W. Jervis. Digital signal processing: a practical approach, second edition. Indianapolis: Pearson Education Limited, 2002, p. 718
  2. ^ Steven Van Vaerenbergh, Ignacio Santamaría, Miguel Lázaro-Gredilla "Estimation of the forgetting factor in kernel recursive least squares", 2012 IEEE International Workshop on Machine Learning for Signal Processing, 2012, accessed June 23, 2016.
  3. ^ Welch, Greg and Bishop, Gary "An Introduction to the Kalman Filter", Department of Computer Science, University of North Carolina at Chapel Hill, September 17, 1997, accessed July 19, 2011.
  • Hayes, Monson H. 9.4: Recursive Least Squares. Statistical Digital Signal Processing and Modeling. Wiley. 1996: 541. ISBN 0-471-59431-8. 
  • Simon Haykin, Adaptive Filter Theory, Prentice Hall, 2002, ISBN 0-13-048434-2
  • M.H.A Davis, R.B. Vinter, Stochastic Modelling and Control, Springer, 1985, ISBN 0-412-16200-8
  • Weifeng Liu, Jose Principe and Simon Haykin, Kernel Adaptive Filtering: A Comprehensive Introduction, John Wiley, 2010, ISBN 0-470-44753-2
  • R.L.Plackett, Some Theorems in Least Squares, Biometrika, 1950, 37, 149–157, ISSN 0006-3444
  • C.F.Gauss, Theoria combinationis observationum erroribus minimis obnoxiae, 1821, Werke, 4. Gottinge