就在生物分子结构瞻望域竞争日益热烈之时，来自字节越过Seed团队的篇新扣问，为若何有缩放这类基础模子，提供了全新的解题念念路。

他们出了名为 SeedFold 的新代折叠模子，不仅在多个卵白质联系任务的能上越了AlphaFold 3，紧迫的是，系统地揭示了通往强模子的三个要道“缩放”：

模子缩放：加宽而非加。扣问发现，增多Pairformer模块的宽度是擢升模子默示智商有的式。

架构鼎新：引入种新颖的线三角重眼力机制，将要道估计的复杂度从立缩短到平，已毕了缩放

数据广：通过大范围常识蒸馏，将窥探数据集引申至惊东谈主的2650万个样本，为模子提供富余“养料”。

实验用在基准测试集FoldBench上得到了考据。SeedFold在卵白质单体、卵白-卵白复物、抗体-抗原复物等多个要道任务上，均取得了面前佳（SOTA）能

缩放法规：加宽比加有

若何让模子变得强？这是个基础且中枢的问题。曩昔的扣问大多连于增多模子的度，即堆叠多的Pairformer层。

但SeedFold团队通过实验发现，模子能的瓶颈主要在于成对默示（pair representation）的遮掩维度，而非模子的度。

他们盘算了三种不同的缩放战略进行对比：

加宽骨干 (Wider Trunk)：将成对默示的维度从128慢慢增多到256，再到512

加骨干 (Deeper Trunk)：将Pairformer的层数从48层增多到96层

加结构模块 (Deeper Structure Module)：将结构模块的Transformer层数从24层增多到48层。

实验用（上图b）通晓地标明：

宽度缩放的果远度缩放桂林储罐保温施工队。

从128宽度（Base）广到256宽度（Medium）时，模子的全局结构准确度（RMSD，越低越好）和局部结构质料（lDDT，越越好）都取得了广大擢升。进步广到512宽度（Large）时，能仍在抓续擢升，尽管收益旯旮递减。

比拟之下，将模子骨干或结构模块加，带来的能增益则特殊有限。扣问东谈主员以为，现存的轮回（recycling）机制依然等地创造了个特殊的网罗，单纯增多物理度趣味不大。

这发现的中枢论断是：擢升成对默示的维度，径直增强了模子编码复杂空间互相作用的智商，是破能瓶颈的要道

下表展示了不同模子建树的参数目和窥探率

架构鼎新：线三角重眼力

详情了“加宽”是正确向后，个试验的估计瓶颈随之而来：Pairformer中的三角重眼力操作。其估计复杂度和内存蹧跶会跟着卵白质序列长度的增长呈立（O(n³)）增多，严重制约了模子的广和对长链的处聪敏商。

为此，SeedFold引入了种新颖的 线三角重眼力（Linear Triangular Attention） 机制。

其中枢念念想模仿了大型话语模子中的线重眼力，通过用简短的非线函数（如ReLU）替换Softmax，并诈欺矩阵乘法的结律，奥密地将估计复杂度从 O(n³d) 缩短到 O(n²d)，已毕了从立到平的跨越。

从上图（b）不错看出，比拟原始的Vanilla重眼力机制，两种线重眼力（AdditiveLinear和GatedLinear）在峰值内存占用和估计时间上都发达出广大势，且这种势跟着序列长度增多发显然。

终，铁皮保温施工团队树立了两个主力模子：

SeedFold：个512宽度的模子，使用原始的三角重眼力，认知强。

SeedFold-Linear：个384宽度的模子，集成了估计率的门控线三角重眼力（GatedLinearTriAtt）。

数据为：2650万样本的大范围蒸馏

质料、大范围、各种化的数据集是窥探强盛模子的基石。联系词，通过实验测定的生物分子结构数目仍然有限。

特出是当结构瞻望模子从AlphaFold2的IPA模块转向AlphaFold 3的通用Transformer架构时，模子对数据的需求量变得大，因为Transformer贫瘠固有的旋转平移不变等归纳偏置，需要从海量数据中学习。

为了贬责这问题，SeedFold团队构建了个大范围的蒸馏数据集，将窥探样本总和引申至2650万，是实验数据集（约18万）的147倍。

这个窥探集主要由三部分组成：

地址：大城县广安工业区PDB实验数据：来自PDB数据库竟然切结构。AFDB蒸馏数据：从AlphaFold DB中筛选出的330万个质料瞻望结构，主要为短序列卵白质。Mgnify蒸馏数据：基于Mgnify宏基因组数据集，通过OpenFold瞻望生成的2300万个质料结构，序列各种，且包含多长链卵白质。

通过混使用确切数据和大范围蒸馏数据，SeedFold有地学习到了卵白质结构的基本几何限定，权贵擢升了模子的泛化智商和郑重。

实验用：多项任务越AlphaFold 3

SeedFold在的基准测试集 FoldBench 上与面前的模子进行了正面比较，包括AlphaFold 3、Boltz-1、Protenix-0.5和Chai-1。

总体能

下表展示了主要用，数值越代表能越好

不错看到：

SeedFold（512宽度，设施重眼力）在 卵白质单体 瞻望（lDDT 0.8889）、抗体-抗原界面瞻望（DockQ 53.21）和 卵白-RNA 界面瞻望（DockQ 65.31）上均刷新了SOTA记载，权贵于AlphaFold 3

SeedFold-Linear（384宽度，线重眼力）则在 卵白-配体 瞻望（得手率 66.48）和 卵白-卵白 界面瞻望（DockQ 74.14）上取得先

界面瞻望细节

为了入地分析模子在要道界面瞻望任务上的发达，扣问团队还绘画特动手率的蕴蓄散布图

在 抗体-抗原 瞻望中，SeedFold在所有这个词DockQ分数区间内都展现出压倒势。在 卵白-配体 任务中，SeedFold-Linear的发达佳。而在竞争热烈的 卵白-卵白 任务中，两个SeedFold模子也抓续认知地于其他开源模子。

这些用充分考据了SeedFold建议的宽度缩放战略、线重眼力架构和大范围数据蒸馏法的有。

写在后

在论文的后，扣问东谈主员还指出了将来值得探索的两个向：

混网罗（MoE）：关于需要处理多种分子类型（核酸、卵白质、配体等）的通用模子，不同任务间的梯度新可能存在冲破。MoE架构有望让模子地学习多任务，同期缩短估计资本。窥探后缩放：当今的监督学习信号可能有限。将来不错探索如RLxF（从“X”响应中进行强化学习）等本事，使模子的瞻望散布与确切寰宇加对王人。

一言以蔽之，SeedFold不仅提供了个能强盛的新模子，紧迫的是，它为所有这个词域指明了条通晓、可行的模子缩放旅途，为构建下代生物分子基础模子奠定了坚实的基础。

本文起原：AI寒武纪桂林储罐保温施工队

风险教导及责条目 阛阓有风险，投资需严慎。本文不组成个东谈主投资建议，也未计划到个别用户特等的投资见解、财务景况或需要。用户应试虑本文中的任何意见、不雅点或论断是否符其特定景况。据此投资，背负欢然。 相关词条:罐体保温施工
异型材设备
锚索玻璃棉