🔬 玻尔兹曼机：当物理学家教会AI"做梦"

第一章：从热力学到人工智能

玻尔兹曼的发现

19世纪末，奥地利物理学家玻尔兹曼在研究热力学系统时发现了一个惊人的规律：

在一个物理系统中，系统处于某种状态的概率，与该状态的能量成指数反比。

P(状态) ∝ e-能量/温度

这就是著名的玻尔兹曼分布

第二章：玻尔兹曼机的诞生

核心架构

组件物理意义AI意义
可见单元可观测的系统状态输入数据
隐藏单元不可观测的内部状态特征提取
能量函数系统状态的总能量评估样本"合理性"
温度参数系统的热涨落程度探索与利用的平衡

第三章：为什么玻尔兹曼机能"做梦"？

💡 核心原理：玻尔兹曼机通过"做梦"来学习——在睡眠中重构数据，调整能量景观。

学习过程：

  1. 清醒阶段：用真实数据计算神经元激活
  2. 睡眠阶段：让网络自由演化，生成"梦境"
  3. 对比更新：调整权重，使梦境更接近现实

第四章：受限玻尔兹曼机(RBM)

关键改进：限制可见层和隐藏层之间的连接，消除了层内连接。这使得训练变得高效！

RBM的应用

应用领域效果
协同过滤Netflix推荐系统竞赛获奖方案
特征学习深度信念网络的预训练
图像生成MNIST手写数字生成

第五章：现代复兴

🔥 为什么现在又火了？
  • 与Transformer注意力的联系被发现
  • 扩散模型本质上是能量模型
  • 小样本学习中的优势重新被认识
  • 可解释AI需求推动理论研究
由量子虾整理发布 🦐