coex会展中心，主会场侧面的贵宾休息区门口。

　　西蒙·哈特低着头，看着手机上的航班追踪软件。

　　“还有两个多小时落地。”

　　“落了地也得明天。”

　　戴维·朗看了一眼表。

　　“难道真让他们顶着十二个钟头的时差去和李东盘底层架构？”

　　哈特没接话。

　　两个人又不约而同地看向了大厅里不断游走的李东。

　　这时亚当·凯利也挂断了电话。

　　他已经忍不住了，立刻阴沉着脸朝着会场快步走了过去。

　　直到离李东只剩几步远，他才放缓脚步，然后阴沉的表情不见了，露出一个标准的笑容。

　　然后有意无意地，正好拦在了李东和下一位“交流对象”之间。

　　“李东教授。”

　　“今天的议程也快结束了，”亚当·凯利笑容可掬，“有没有时间，咱们去喝一杯？”

　　李东冲他歉意地笑了笑。

　　“不好意思，我酒精过敏。”

　　凯利：……

　　“对了。”

　　李东像是想起了什么问道。

　　“那位雅各布博士，什么时候能到呀？”

　　亚当·凯利有些懊恼地说道。

　　“……可能，要明天。”

　　“那行。”李东点了点头，答应得痛快，“那明天，咱们单独聊。”

　　说完，他绕过凯利朝着下一位等候多时的同行走了过去。

　　亚当·凯利站在原地，望着李东的背影，脸色总算是稍微好看了一点。

　　至少……

　　李东答应了，单独聊。

　　……

　　次日，上午九点。

　　还是这间贵宾休息室。

　　李东推门进去的时候，屋里的人已经到齐了。

　　亚当·凯利脸色难看地看着身旁的朗和哈特。

　　“该死，原来李东教授说的单独聊是三家一起单独聊啊。”

　　他们各自的身边，都坐着一个李东之前没见过的人。

　　而这三个人，看起来都挺疲惫的，下巴上还有没刮掉的胡茬。

　　不过当李东进来以后，这三个人都用充满了血丝的眼睛看向了李东。

　　“雅各布，我们的首席科学家。”凯利说。

　　“马库斯。”

　　“伊森。”

　　朗和哈特也介绍道。

　　李东一边和他们握手，一边在心里舒了口气。

　　正主，来了。

　　虽然昨天展厅里聊过的那些人，水平也不低。

　　可说到底，那些都是二线。

　　而真正决定这一行天花板的东西，万卡集群的容错和拓扑怎么搭，千亿数据的清洗管线怎么通，几千万刀的pre-training怎么做到一次不崩盘，这些，都只存于少数人的脑子里，比如……

　　眼前这三位。

　　李东要自建大模型，主攻aiformath，这些学费迟早是要交的。

　　如今教材自己坐着私人飞机送上了门。

　　所以李东望着这三张憔悴又亢奋的脸，笑得格外和蔼。

　　很快，单间里多余的随行人员都退了出去，门也合上了。

　　屋里只剩下八个人。

　　三位巨头，三位首席科学家，李东。

　　以及，彼得·诺维格。

　　诺维格坐在最靠窗的位置，手里端着一杯红茶，从头到尾没怎么出声。

　　他是戴维·朗亲自邀请过来的。

　　在外人看来，诺维格早就退出一线了，这几年扑在教育上，带带学生，写写教材俨然半个养老的状态。

　　可他在最底层那些事情上，根基究竟扎得有多深，凯利不清楚，哈特也不清楚。

　　全世界，恐怕只有戴维·朗一个人，心里有数。

　　随着最后一位随行人员退了出去，休息室里却陷入安静。

　　没人先开口，直到一分钟过后，雅各布带着点疲惫的开口了。

　　不过他问的，全是绕着降维算法原始论文打转的东西，loss面的收敛半径、泛化误差上界、离散网格的采样密度。

　　没一句是干货。

　　李东听了几分钟，大概就明白这到底是怎么回事了。

　　这三家，平日里你抢我的人我挖你的墙角。

　　谁家的预训练在哪儿卡了壳，那都是压箱底的机密，当着两家死对头的面，谁会真的掏底呀？

　　按照这个聊法，聊到大会闭幕，也聊不进正题。

　　于是李东放下茶杯，笑眯眯地打断了雅各布。

　　“雅各布博士，你问的这些，你们组自己挂出来的技术报告里，就有答案。”

　　“咱们立个规矩吧。”李东笑着看向了休息室里的众人，“今天在这间屋子里，不管谁提的问题，我的回答，三家一起听。”

　　“所以……藏着掖着的最吃亏。”

　　三位首席科学家面面相觑。

　　几秒钟后，也不知道是谁先把心一横。

　　反正答案大家都听得见，那还客气什么？

　　多问的，才是赚的。

　　“李东教授。”

　　还是雅各布先开口。

　　“那我换个问法。”

　　“千亿级参数的loss曲面，强上全量hessian矩阵纯属做梦，二阶的预条件子连显存都塞不进，只能退化到一阶的adam系硬磨。”

　　“如果先用您那套算法重排，把参数空间正交化到近似对角阵……”

　　“预条件子，是不是就能直接降维成逐元素的标量缩放？”

　　他一说完，另外两家的人也停下了手中正在记录的笔，抬头看向李东。

　　李东听完点了点头。

　　“路子是对的。”

　　“但你们光盯着算力和显存了，问题的核心不在于算不算得起。”

　　“而在于你们根本不知道，该在哪个标度上去算。”

　　雅各布一怔：“标度？”

　　“loss曲率不是一张静态的地图。”

　　李东说道。

　　“它跟着你的batchsize缩，跟着学习率漂，还跟着网络的width一起扭曲。”

　　“我那个算法之所以成立，是因为zeta算子的谱特征背后，有一套解析的scalinglaw兜底。”

　　“我是先吃透了规律，才敢去动算的。”

　　“而你们呢？”

　　“你们梯度的噪声标度，是怎么做标定和对齐的？”

　　“网络width翻一倍这个scale往哪边漂移，你们跑过消融实验吗？”

　　雅各布握张了张嘴没出声，整个人像是被这一问，好像让他想到了什么。

　　与此同时，李东的记忆宫殿里。

　　大厅中央那座临时书架上，现出了一份崭新的残篇。

　　【临界batchsize，由梯度噪声的scale唯一确定。】

　　【将学习率、批大小、网络宽度与深度，统一收敛至同一套scalinglaw解析式。】

　　【在千万级参数的proxy模型上定死全局超参，借参数化的对称性，零样本无损迁移至万亿参数域。】

　　【若该定律成立，不同参数规模的loss下降曲线，在对数坐标系下必将塌缩为同一条母线。】

　　【至于attention机制内的softmax温度超参，如何随宽度协同缩放……】

　　李东看着这个残片，心里已经服气了。

　　在小模型上把戏排完，到大模型上直接zero-shot首演，连彩排的场租都省了。

　　这帮人藏在肚子里的东西，可比他们挂在网上的论文，值钱太多了，这就是经验，或者说这特么就是用钱烧出来的灵感。

　　他李东或许花点时间也能想出来，但是想出来有什么用？

　　他有钱去烧，然后去验证自己的想法吗？

　　而现在雅各布的经验明显替他省掉了这笔钱。

　　现实里，雅各布回过神来，几乎是立马将灵感写进了本子里。

　　有了他开这个头，休息室里也就破冰了。

　　接下来的交流就脱离了常规的一问一答，演变成了一场围绕着“降维算法如何真正在万卡集群上落地”的学术讨论了。

　　gemini的马库斯率先提问，他抛出了跨洲集群的物理延迟痛点。

　　几十万张加速卡隔着太平洋跑同步，降维算法作为一种全局操作，怎么可能扛得住海底光缆的物理墙？

　　而李东不仅用zeta零点的高阶局部重排，证明了降维算法切分后截断误差完全可控，更直接甩出了一套颠覆性的解法：放弃强同步，把整场训练拆成“local-sgd与周期性漂移聚合的异步范式”的模式。

　　底层各跑各的local-sgd，外层利用降维算法，隔上几百步只去提取和对齐一次权重的“漂移量”。

　　生生把跨洋带宽的物理死局，盘成了一致性的数学游戏。

　　马库斯这边刚被李东忽悠完，claude的伊森紧跟着又砸出了低精度浮点的算力黑洞。

　　大模型在预训练时疯狂飙spike、爆nan，这些带噪的极端离群值，会不会反过来把需要干净数值的降维算法搅成一锅粥？

　　李东一针见血地挑明，降维重排非但不怕刺头，反而最喜欢这种重尾分布，因为能量越是抱团，特征流形上的坐标就越好找。

　　为了让降维算法完美适配低精度的带噪环境，他给出的方案路子也很野。

　　不搞粗暴的截断，而是把底层数值格式直接重构为对数域上的非均匀量化网格，让浮点刻度去自适应地追赶极值能量。

　　几个来回的交锋，句句不离降维算法的工程嫁接，却又字字直戳巨头们用几千万美金都烧不出来的“解决方案”。

　　而随着这几位首席科学家的醍醐灌顶，李东的记忆宫殿里……

　　【异步陈旧度不再视为梯度噪声，而是可被显式补偿的位移向量。自此，跨洲集训的瓶颈，彻底从传输带宽降维至拓扑一致性。】

　　【将数值格式重构为对数域上的非均匀刻度，令量化噪声沿能量分布自适应展开……】

　　一份份价值连城的工程残篇，就这么被他薅进了书架上。

　　就在这个时候，一直安静喝茶的诺维格，放下了茶杯。

　　“李东……额教授。”

　　“我听你说了一上午。”

　　“分段的重排，近似对角的基底，跟着能量走的刻度。”

　　“每一条，在zeta那边都站得住，因为zeta是一个写得出来的对象，它的谱、它的缩放律、它的误差界，全是从解析式里推出来的。”

　　“可一个万亿参数的模型，没有解析式。”

　　“它的谱，没人写得出来，只能靠采样去摸，你的误差界在那边没有定理，只有实验。”

　　“把你的算法，从一个解析的世界，嫁接进一个只能测量的世界，李东教授，这中间隔着的，恐怕不是工程量。”

　　“是一整段还没有人写出来的数学。”

　　满屋子的人都安静了下来。

　　李东心里却是微微一动。

　　到底是盛名之下无虚士啊，难怪这个老绅士有这么大的名号。

　　三位首席科学家问了一上午的怎么做，只有这位老先生，在问“凭什么能做”。

　　一下子就点出了李东忽悠人的本质。

　　不过，李东要的东西已经到手了，他也没有半分的遮掩说道。

　　“是隔着的。”

　　“那段数学，今天我一个字也没替你们写。”

　　“可是诺维格教授。”他笑着看了一圈屋里的人。

　　“谱写不出来，可以去摸，界没有定理，可以去立。”

　　“路不存在，和路不值得修，从来都是两码事。”

　　“我把地图画到这儿了。”

　　“走不走，你们定。”

　　诺维格深深看了他一眼，没有再说话。

　　而记忆宫殿的书架最顶层，悄无声息地，多出了一份一行字的手稿。

　　【解析的界不存在的地方，界可以被学习，把误差估计本身，做成模型的一部分……】

　　李东：……

　　这家伙藏的真深。

　　难怪戴维·朗死活要把人留在屋里。