。
KL不等式作为收敛性分析中的一个重要研究工具,并且应用广泛。像半代数函数、tame函数、向量范数等等都是KL函数。早在1963年S. Łojasiewicz [7] 在实分析函数中,研究一般的最速下降曲线问题解的轨迹是否为有限长度时,提出Łojasiewicz不等式:
。并由此推导出最速下降曲线
的解的轨迹是有限长度,有界轨迹收敛到临界点。随后,Kurdyka [8] 将这一结果扩展到可在o-minimal结构中定义的可微函数中,相应的广义不等式称之为KL不等式。本文主要建立与其同解的无约束优化问题模型的KL性质,从而设计基于BB (Barzilai-Borwein)步长线搜索算法。
2. 预备知识
对于给定的广义实值函数
包含之前算过的所有目标函数值。综上所述,本文提出的算法是可行有效的。
5. 实验结果分析及讨论
通过MATLAB实验来证明该算法在重构信号方面的优势,实验运行平台的配置如下:Intel(R)Core (TM)i5-10400F CPU @2.90 GHz;内存16.00 GB。在不同的MATLAB版本测试下,结果不会发生较大变化。本文实验在MATLAB R2020b中进行。
实验取
,a表示原始信号中非零元的个数。其中非零元的位置均是随机选取的,A是与高斯矩阵独立同分布的随机矩阵 [16],
的高斯噪声,取
,
时,则停止迭代。原始信号,观测向量及重构信号如
图1
所示。
比较
图1
中的(a)和(c)可以分析出来,所有的蓝点均被红点包围,这说明原始信号几乎被精确重构。上述实验表明,该算法效果良好,相对误差较小,为恢复大的稀疏信号提供了一种有效的方法。
本文在接下来的实验中,采用了4种不同的信号,对不同的算法进行比较分析。取上述实验中的初始参数,对NBBL1n和NBBL1这2种算法进行了对比和分析。在初始和终止条件相同的情况下,从函数值下降的角度分析,无论针对那种信号,NBBL1n算法下降总是最快的,迭代次数也最少,为进一步说明结果,
表1
和
表2
给出了详细的对比数据。由于设下随机种子,所以每次获取的信号是不变的。所以误差很小。
(a) 原始信号
(b) 观测向量
(c) NBBL1n (RelErr = 1.38%)
Figure 1
. The effectiveness of the NBBL1n algorithm
图1
. NBBL1n算法的有效性
Table 1
. Comparison of the number of iterations of the time required by the algorithm for different sparsity degrees
表1
. 对于不同稀疏度,算法所需要的时间的迭代次数对比
表1
中详细的列出了4种不同信号的运行时间和迭代次数。从表中可以分析出,随着信号规模的不断增大,运行算法所需要的时间也明显增加,但是通过对比,新版本算法的运行总用时较少,迭代次数也比较少。
Table 2
. When c taken 0.4, each step iterative gradient norm vs
的对比
表2
取稀疏度为0.04,为了表示一般性,45次迭代做了对比分析,充分说明了新算法满足KL不等式。再对比
表1
,可以得到,满足KL性质的非单调线搜索算法,无论稀疏度如何,算法均可以达到最优。
6. 结束语
本文将结合非单调线搜索算法和BB步长,在满足KL性质的基础上,将算法应用于压缩感知问题模型,数值实验结果表明,当原始信号的稀疏度不同时,该方法是可行有效的。本文的方法无论是从运行时间还是迭代次数上均有不同程度的改进。但将本文的非单调线搜索应用到其他问题中是否有较好的效果,仍需要进一步研究。
基金项目
辽宁省教育厅科学研究一般项目(LJ2019005)。
文章引用
孙静坤,许 荻,任咏红. 基于KL不等式求解压缩感知问题
Solving Compressed Sensing Problem Based on Kurdyka-?ojasiewicz Inequality[J]. 应用数学进展, 2022, 11(01): 462-472.
https://doi.org/10.12677/AAM.2022.111054
参考文献
-
1. Donoho, D.L. (2006) Compressed Sensing. IEEE Transactions on Information Theory, 52, 1289-1306.
-
2. Mallat, S.G. and Zhang, Z.F. (1993) Matching Pursuits with Time-Frequency Dictionaries. IEEE Transactions on Signal Processing, 41, 3397-3415.
-
3. Tropp, J.A. and Gilbert, A.C. (2007) Signal Recovery from Random Measurements via Orthogonal Matching Pursuit. IEEE Transactions on Information Theory, 53, 4655-4666.
-
4. Do, T.T., Gan, L., Nguyen, N., et al. (2008) Sparsity Adaptive Matching Pursuit Algorithm for Practical Compressed Sensing. Proceedings of the 42nd Asilomar Conference on Signals, Systems and Computers, Pacific Grove, 26-29 October 2008, 581-587.
-
5. Chen, S.S., Donoho, D.L. and Saunders, M.A. (2001) Atomic Decomposition by Basis Pursuit. Society for Industrial and Applied Mathematics, 43, 29-159.
-
6. 王文, 李永. 一种新非单调法求解压缩感知问题[J]. 电子科技, 2015, 28(2): 14-17.
-
7. Lojasiewicz, S. (1963) Une propriété topologique des sous-ensembles analytiques réels. In: Les Équations aux Dérivées Partielles, Éditions du Centre National de la Recherche Scientifique, Paris, 87-89.
-
8. Kurdyka, K. (1998) On Gradients of Functions Definable in O-Minimal Structures. Annales de l’Institut Fourier, 48, 769-783.
https://doi.org/10.5802/aif.1638
-
9. 潘少华, 刘燕. 一类零模正则复合函数的指数1/2的KL性质[J]. 辽宁师范大学学报(自然科学版), 2019, 42(1): 1-4.
-
10. 张立卫, 吴佳, 张艺. 变分分析与优化[M]. 北京: 科学出版社, 2013.
-
11. 张立卫. 锥约束优化[M]. 北京: 科学出版社, 2010.
-
12. Attouch, H., Bolte, J., Redont, P., et al. (2010) Proximal Alternating Minimization and Projection Methods for Nonconvex Problems: An Approach Based on the Kurdyka-Lojasiewicz Inequality. Mathematics of Operations Research, 35, 438-457. ‘
-
13. Bolte, J., Sabach, S. and Teboulle, M. (2014) Proximal Alternating Linearized Minimization for Nonconvex and Nonsmooth Problems. Mathematical Programming, 146, 459-494.
https://doi.org/10.1007/s10107-013-0701-9
-
14. Bonettini, S., Loris, I., Porta, F., et al. (2017) On the Convergence of a Linesearch Based Proximal-Gradient Method for Nonconvex Optimization. Inverse Problems, 33, Article ID: 055005.
https://doi.org/10.1088/1361-6420/aa5bfd
-
15. Qiu, Y.Y., Yan, J.L. and Xu, F.Y. (2014) Nonmonotone Adaptive Barzilai-Borwein Gradient Algorithm for Compressed Sensing. Abstract and Applied Analysis, 2014, Article ID: 410104.
https://doi.org/10.1155/2014/410104
-
16. 杨军, 孙世发, 马环宇, 等. 一种求解压缩感知问题的新方法[J]. 临沂大学学报, 2019, 41(6): 130-138.
NOTES
*
通讯作者。
●投稿须知
●最新文章