Transformer 架构出现挑战者 意味着 辉达CUDA护成河是虚设？我们一直关注的 Sakana.AI 出新论文了

aidj

日本AI初创公司 Sakana AI 推出了一种名为“连续思维机”（Continuous Thought Machine, CTM）的新型神经网络架构。该模型突破了传统架构，通过引入神经元的时序处理和神经同步，让AI能够像人类大脑一样逐步“思考”，使推理过程具备高度的可解释性。连续思维机 (CTM) 的核心突破传统的深度学习架构（如主流的 Transformer）为了简化计算，极大程度上抽象或忽略了时间动态。而 Sakana AI 的 CTM 主要包含以下两个神经生物学特征：神经元级时序处理（Neuron-level time processing）： 传统的神经网络使用静态的激活函数（如 ReLU），而 CTM 中的每个神经元都拥有独立的参数和历史状态。它们不仅仅对当前输入做出反应，而是处理输入信号的历史序列。将神经同步作为潜在表征（Neural synchronization）： 神经元之间的同步活动直接被用作计算与表征的核心。信息被编码在精确的神经时间序列中，这种机制极大程度模拟了生物大脑的时序协同工作模式。它的价值与意义这一架构使 AI 不再仅仅是得到提示后“一步到位”地给出结果，而是沿着内部生成的思维时间线进行迭代构建和完善。这种机制展现出了传统模型难以企及的优势：卓越的解释性与泛化能力： 在解迷宫和图像识别任务中，CTM 展现出了类似人类的“注意力转移”路径，能解决远超训练规模的复杂迷宫问题。摆脱对参数暴力扩大的依赖： 由 Transformer 原作者 Llion Jones 等人主导研发，CTM 被视为探索超越 Transformer 范式的重要尝试。要直观了解这一新型神经架构如何在浏览器中实时模拟和解密迷宫，可以观看以下视频演示。要直观感受 CTM 的工作原理，可以通过以下官方提供的迷宫求解交互演示，直观看到神经网络如何在不同时间步中规划路径

[youtube]iIOsLgIrJeU?si=xuIDRhE9xPq6F6sg[/youtube]

[youtube]2mezj14pCFI?si=hqkpP9ZAV6Xifz9d[/youtube]