Post

从噪声与不完整数据中进行的自监督学习

Posted
By xiaoxiang
views 18 min read
从噪声与不完整数据中进行的自监督学习

论文信息

标题: Self-Supervised Learning from Noisy and Incomplete Data

作者: Julián Tachella, Mike Davies

发布日期: 2026-01-06

arXiv ID: 2601.03244v1

PDF链接: 下载PDF

从嘈杂与残缺中学习：自监督学习在逆问题中的革命性突破

引言：从“手工正则化”到“数据驱动”的范式转移

在科学计算、医学成像、天文观测、信号处理等诸多领域，我们常常面临一个根本性挑战：如何从带有噪声或不完整的观测数据中，还原出原始的真实信号？ 这类问题在数学上被称为“逆问题”。传统方法依赖于专家精心设计的“正则化”项（如稀疏性、全变分等）来约束解空间，防止过拟合噪声。然而，这类手工规则往往基于简化的先验假设，难以捕捉真实世界信号的复杂结构。

近年来，深度学习以其强大的数据表征能力，为逆问题求解带来了范式革命。主流方法是监督学习：收集大量“真实信号-观测数据”配对样本，训练一个神经网络直接从观测映射到真实信号。这种方法在图像去噪、超分辨率、CT重建等领域取得了惊人效果。但其致命弱点在于：获取“真实信号”作为训练标签，在现实中往往极其昂贵、困难甚至不可能。 例如，在医学上获取完全无噪的MRI影像，或在天文观测中获得绝对清晰的天体图像，几乎无法实现。

正是在这一背景下，自监督学习 应运而生，成为破解“无标签困境”的关键。论文《Self-Supervised Learning from Noisy and Incomplete Data》系统性地梳理了自监督学习求解逆问题的各类方法，深入剖析其理论根基，并展示了在成像逆问题中的成功应用。本文将深入解析该论文的核心思想，揭示其如何仅从“有缺陷”的观测数据中，学习到强大的信号重建能力。

核心方法论：三类自监督学习范式详解

论文的核心贡献在于清晰分类并深入阐述了三种主流的自监督学习框架，它们共同的特点是无需任何真实信号作为标签。

1. 基于退噪的自监督学习：Noise2Noise

核心思想： 用“有噪信号-有噪信号”对替代“干净信号-有噪信号”对进行训练。

  • 技术细节： 假设我们有两个独立同分布的噪声观测 y1 = x + n1 和 y2 = x + n2，其中 x 是未知的真实信号，n1, n2 是独立噪声。训练一个网络 f_θ，以 y1 为输入，以 y2 为目标进行优化（如最小化均方误差）。在理论上可以证明，当噪声均值为零时，网络收敛后的输出是真实信号 x 的无偏估计。
  • 直观理解： 网络学习的是“从一个噪声版本预测另一个独立噪声版本”的任务。为了做好这个预测，它必须学会剥离噪声，找到背后共同的、稳定的信号结构。这就像让两个学生根据同一主题但含有不同错误的草稿互相修改，最终他们都能逼近正确的文章。
  • 适用场景： 适用于能轻松获取多次独立观测的场景，如低光照摄影（可连续拍摄多张）、某些科学成像。

2. 基于自洽性的自监督学习：Self-Supervised Denoising / Deep Image Prior

核心思想： 利用观测过程本身的物理模型或网络架构的内在先验，构造自洽的损失函数。

  • 技术细节 - 观测模型自洽： 对于逆问题 y = A(x) + n，其中 A 是已知的退化算子（如模糊、下采样）。即使没有 x，我们也可以构造损失：L(θ) = || y - A(f_θ(z)) ||^2。这里，网络 f_θ 从一个随机编码 z 生成信号估计。网络训练的目标是使生成信号的观测 A(f_θ(z)) 尽可能匹配真实的观测 y。同时，网络架构（如CNN）本身充当了自然图像先验，防止其简单地生成一个仅满足 y = A(x) 但不符合自然图像统计特性的病态解。
  • 技术细节 - Deep Image Prior： 这是一个更极端的例子，它发现一个随机初始化的生成网络结构，在拟合单张退化图像 y 的早期阶段，会优先恢复出图像的“自然”部分，而后才拟合噪声。通过早停，即可得到一个高质量的去噪或修复结果。
  • 直观理解： 这好比根据一张模糊的照片（y），让你用画笔（网络f_θ）画一幅画。规则是：把你画的画再用同样的方式模糊一下，必须和原模糊照片一模一样。为了满足这个规则，同时又画得像一幅“正常的画”（架构先验），你最终会画出一张清晰的、符合原图内容的作品。

3. 基于数据一致性学习的自监督学习：AmbientGAN / Measurement-Consistent Learning

核心思想： 将生成对抗网络的思想引入逆问题，在观测域而非信号域进行对抗判别。

  • 技术细节： 传统GAN训练生成器 G(z) 生成逼真的信号 x，判别器 D(x) 判断信号是真实的还是生成的。在AmbientGAN框架中，我们无法获得真实信号 x，但可以获得其实测数据 y = A(x)。因此，我们训练生成器 G(z) 生成信号 x̂ = G(z)，然后通过已知的观测模型 A 得到模拟观测 ŷ = A(G(z))。判别器 D_y(y) 的任务则是判别：输入的观测数据 y 是来自真实世界的观测 A(x)，还是来自生成器的模拟观测 A(G(z))。通过这个在观测数据层面的对抗博弈，生成器被迫学会生成那些经过观测模型变换后与真实观测分布一致的信号，从而间接学到了真实信号的分布。
  • 直观理解： 这是一个“盲人鉴定师”的故事。鉴定师（判别器）永远看不到画作（信号x）本身，只能通过触摸拓印版（观测y）来感受。造假者（生成器）的目标是造出一幅画，使其拓印版和真画的拓印版摸起来感觉一样。最终，造假者为了通过鉴定，必须学会画出和真画本身高度相似的作品。

创新、贡献与实验启示

理论贡献： 本文超越了简单的算法罗列，深入探讨了这些方法为何有效的理论根基。例如，它分析了Noise2Noise在噪声统计假设下的无偏性，解释了Self-Supervised Denoising中观测模型与先验的平衡作用，并形式化了AmbientGAN的优化目标与分布匹配的等价关系。这为研究者选择和改进方法提供了坚实的理论地图。

统一视角： 论文将看似不同的方法统一在“从观测数据中学习信号先验”的框架下。无论是通过噪声统计（Noise2Noise）、物理模型+架构先验（自洽性），还是分布匹配（AmbientGAN），其本质都是利用观测过程中蕴含的约束和信息，来间接地约束和恢复信号空间。

实验应用： 文中引用的应用案例（如CT重建、加速MRI、计算显微成像）强有力地证明了这些方法的实用性。例如，在加速MRI中，仅使用未配对的、欠采样的K空间数据，自监督方法就能重建出与全采样监督方法质量相当的图像，彻底摆脱了对难以获取的全采样参考图像的依赖。

实践应用建议与未来方向

给AI工程师与科研人员的建议：

  1. 方法选择路线图：
    • 若能获取多次独立观测：优先尝试 Noise2Noise 及其变种，它简单、稳定、理论清晰。
    • 若观测模型A已知且可微：基于自洽性的方法是首选。它直接、计算高效，且Deep Image Prior对单样本任务有奇效。
    • 若追求最高重建质量，且计算资源充足：考虑 AmbientGAN 框架。它能学习到更丰富的信号分布，尤其在复杂、非线性的逆问题中潜力巨大。
    • 混合策略：在实践中，常将几种思想结合。例如，在自洽性损失中加入简单的噪声模型假设，或使用预训练的生成模型作为更强先验。
  2. 在量化交易中的潜在应用联想：
    • 金融时间序列数据本质上是带有“市场噪声”和“观测缺失”（如非交易时段）的信号。自监督学习可用于：
      • 去噪：从高频噪声中提取稳健的Alpha信号（类似Noise2Noise，利用不同时间窗口或数据源的独立噪声）。
      • 填补：修复因停牌、流动性不足导致的缺失价格和成交量数据（类似基于自洽性的修复，假设存在局部时间序列模式）。
      • 生成：生成符合历史市场微观结构特征的仿真订单流数据，用于策略压力测试（类似AmbientGAN，学习订单簿演变规律）。
  3. 在量子计算中的交叉启发：
    • 量子态层析是一个经典的逆问题：从有限的测量结果中反推未知的量子态。自监督学习，特别是基于自洽性的方法，可以利用已知的测量算子集合，直接从测量数据中重建量子态，无需事先准备大量已知的“标准量子态”作为训练标签，这有望大幅降低量子设备标定的成本。

未来发展方向：

  1. 理论深化： 当前理论大多基于线性或特定噪声假设。未来需要更一般的理论，以涵盖非线性、非稳定、甚至部分未知的观测模型。
  2. 不确定性量化： 自监督方法给出的点估计缺乏不确定性度量。结合贝叶斯深度学习，为重建结果提供置信区间，对于科学和医疗应用至关重要。
  3. 跨模态与多任务学习： 如何利用一个领域（如自然图像）学到的自监督先验，帮助另一个数据稀缺领域（如医学图像）的逆问题求解。
  4. 与物理模型的深度融合： 将偏微分方程等第一性原理物理模型作为强约束，嵌入到自监督学习框架中，实现“物理信息”的自监督学习。

总结与展望

《Self-Supervised Learning from Noisy and Incomplete Data》这篇论文标志着逆问题求解进入了一个全新的时代：从依赖昂贵、稀缺的“标准答案”，转向挖掘海量、易得的“不完美数据”自身所蕴含的智慧。 它系统性地构建了自监督求解逆问题的知识体系，不仅提供了强大的实用工具包，更深刻地揭示了“学习”的本质——在约束中寻找规律。

这项研究的意义远超成像领域。它为解决一切“从部分推断整体、从现象反推本质”的科学与工程问题提供了一套通用的方法论框架。无论是窥探宇宙深空的奥秘，还是解析微观生命的密码，抑或是理解复杂的经济社会系统，我们面对的都是不完整、被噪声污染的数据。自监督学习这把钥匙，正帮助我们打开一扇扇曾经紧闭的大门，让我们能够更纯粹地倾听数据本身的声音，从残缺与嘈杂中，还原出世界原本清晰而完整的模样。未来，随着理论与技术的不断成熟，自监督学习必将成为科学发现和工程创新的基础性引擎。

This post is licensed under CC BY 4.0 by the author.