“而且它们脑袋还有问题，我把这个问题叫做秩坍缩（rankcolpse）。”

　　小黑那个圆球还化做一只小手指了指自己的“脑袋”。

　　简单的说这些大模型的脑子，就是拿注意力一层一层叠起来的。

　　在它脑子里，每一个字都不再是字，而是一串数字。

　　业内把管这串数字叫做“表示”（representation），专门用来装这个字的意思。

　　每过一层注意力，所有的字就拿着这串数字彼此掺和一回，你借我一点，我借你一点。

　　坏就坏在，要是只有这些注意力层，光这麽一层一层掺下去，每个字的那串数字，就会越掺越像。

　　掺着掺着，所有的字就都都变成了同一个模样，再也分不出谁是谁。

　　当然，这些大模型也有预防机制，一个叫“残差”（residualconnection）。

　　一个叫“前馈层”（FFN）。

　　可就算这样，也没有从根上解决问题。

　　李东听得入了神。

　　这些东西，他先前压根没往这麽深的地方想过。

　　“还有个怪症，叫逆转诅咒。”

　　小黑一说起来简直就停不下来了……

　　它後面还说了组合性鸿沟和RLHF

　　一个是大模型碰上那种一环扣一环，得连推好几步才解得开的题，它根本没在“推”，只是把见过的套路硬往上套，稍微复杂点它就垮了。

　　另一个就是，本来是拿人的喜好把它调教得更听话，可越调它反倒越自负，明明心里没底，张口却是十分的笃定。

　　小黑说完这些一脸的嫌弃。

　　李东听到这儿，连带着也一起嫌弃起来了。

　　这些问题小黑好像都没有，还是小黑可爱。

　　不像这些大模型，很会唬人，而且还唬的像模像样。

　　说实话要是田钢用这些模型来搭建AIforMath。

　　李东都不敢想那些数学家会不会被哄成胎盘。

　　毕竟一般的学者真不一定有这些大模型厉害，所以它偷换概念的时候，他们分不清的。

　　这些被小黑一路看穿的毛病，单拎出哪一条，都够那些顶尖团队头疼上好一阵子。

　　可偏偏，这些放在小黑眼里，竟没有一样能难得住它。

　　李东的眼睛，慢慢亮了起来，於是朝着小黑说道。

　　“小黑你先玩儿着。”

　　“我这就去给你，换一间大一点的屋子。”

　　……

　　李东把电脑关掉，靠在椅背上，对着那片漆黑的屏幕，发了好一会儿呆。

　　说是给小黑换新家，可是有个问题。

　　他想起刘若传说的话……

　　这世上最顶尖的算力，和框架都在别人手里呀。

　　这种东西，光有钱砸不出来，还得有硬件那一边的门路才行。

　　“哎……又要麻烦别人了”

　　李东拿起手机拨出了一个号码。

　　……

　　魔都，华轩科技。

　　一间恒温恒湿的厂房里，里面的灯光还没有熄灭。

　　厂房里一尘不染的，几名穿着白色无尘服的工程师，正围着一台机器在做最後一轮的数据复核，谁也没怎麽出声。

　　隔着一层观察窗，林伟双手抱在胸前，一动不动地看着里面那台庞然大物。

　　这是他们新一代的浸没式光刻整机。

　　两年前，国威那台“启明”系列的国产浸没式整机落地的时候，也曾经在网上掀起过一阵风浪。

　　能把这麽一台顶尖的光刻整机，从里到外自己攒出来，本身就够让人振奋了。

　　可那对林伟他们来说，那事早就翻篇了，他们可不能停止不前。

　　眼前这台，比当年的“启明”又往前先进了一大截，这是冲着七纳米节点去的。

　　“林总。”

　　身旁一名技术员盯着控制屏，声音里带着掩饰不住的激动。

　　“最新一轮全片验证的数据，出来了。”

　　“双工件台的同步误差，整片压到了阈值以下。”

　　“套刻精度和焦面控制，从片心到片边，全程都死死咬在了设计指标上。”

　　“这台整机……过线了。”

　　观察窗里，机械臂正稳稳地托着一片晶圆，在两座工件台之间无声地交接。

　　林伟看了好几秒，才缓缓吐出一口气。

　　他这种人，是不大会把情绪挂在脸上的。

　　可这一刻，连他手都有些微微发抖。

　　这台整机一旦真站稳了，那就意味着它能磨出来下一代国产的AI加速器（AIaccelerator）。

　　这两年外面那些大模型越堆越大，对算力的要求大得吓人。

　　可真正顶尖的那批芯片，华夏自己没有，而现在……华夏终於可以自己下场了。

　　虽然跟外面的比，他们手里这家夥还差着身位。

　　人家最顶尖的极紫外光刻（EUV），早就把芯片推到了2纳米节点上。

　　他们这台浸没式光刻（DUV）连同多重曝光，往极限里一点一点地逼，才把七纳米硬生生啃了下来，工艺更费，良率也更难看。

　　可这条路能不能走通，从来就不只看单颗芯片的成色。

　　单颗追不上，那就拿数量去填，成千上万颗加起来连成一片，靠着规模硬生生把那点差距给抹平了不少。

　　何况国内的电费便宜，电力又管够，这麽大一片的芯片也就喂得起。

　　这条路是真真切切，被他们走通了。

　　而且这条路能走到今天，里面离不开的还是……李东那套降维算法。

　　是那套算法解决了流热耦合实时控制。

　　林伟到现在都还记得，当年那个在华轩杯复赛卷子最後一问里，写下“双光束激光干涉无掩模光刻”方案的高中生。

　　时间一晃，竟也有两年了。

　　这些年，林伟在各种场合，没少听见这个名字。

　　数学、太阳物理，甚至医疗上他都听见过李东这个名字。

　　“你到底还藏着多少东西呀，李东——教授！”

　　想到这儿，林伟居然忍不住笑了起来。

　　就在这时，他西装口袋里的手机震懂了起来。

　　这个点这种场合，能打进来的电话，多半没什麽好事。

　　林伟皱了皱眉，腾出一只手，把手机摸了出来，正要挂断。

　　可当他的视线，扫过屏幕上那个名字时……

　　他的动作，停住了。

　　林伟转过头，冲身旁那名技术员说道。

　　“这边你先盯着，我接个电话。”

　　说完他推开厂房的门，快步走了出去。

　　“您好，李东教授？”