第一卷：默认 第333章 挖人

(穿越小说 www.kk169.la)    第二天上午。

    棕榈滩国际机场。

    按照原定安排，陈默和陆静怡将从这里直接返回香港。

    车队刚刚驶进机场，陈默便接到了伊利亚的电话。

    “陈，你还没有离开美国吧？”

    “正在机场。”

    “先别走。”

    伊利亚的声音沙哑。

    陈默看了一眼时间。

    “出什么事了？”

    “下一代语言模型的第一次扩大训练失败了。”

    “模型结构有问题？”

    “不是模型。”

    电话另一端传来键盘敲击声。

    “昨天晚上，我们按照原方案将训练规模扩大到五百一十二张GPU。”

    “单机测试正常，接入的机器越多，训练效率反而越低。”

    “显存里堆满重复数据，大量GPU都在等待其他节点完成计算，机器之间传输参数的时间，甚至超过了真正用于训练的时间。”

    伊利亚停顿片刻。

    “最后系统在第七个小时失去同步，训练结果全部作废。”

    陈默没有立即说话。

    一台机器工作很快，不代表将几百台机器放在一起，速度便能增加几百倍。

    模型需要被拆分到不同GPU上。

    每一块GPU计算完自己的部分，还要与其他节点交换结果。

    数据如何分配。

    显存如何利用。

    什么时候通信。

    任何一个环节出现堵塞，价值数百万美元的GPU集群都会陷入等待。

    纸面算力再大，也无法转化成真正的训练能力。

    “现在的利用率多少？”

    “平均百分之三十二。”

    伊利亚回答。

    “最差的时候不到百分之二十。”

    OpenAI目前拥有两千多张GPU。

    如果始终保持这种效率，真正发挥作用的算力甚至不到账面规模的一半。

    未来将集群扩大四倍，问题只会更加严重。

    “上次会议结束以前，你说只剩下一个办法。”

    陈默想起马斯克推门时被打断的谈话。

    “就是这个？”

    “对。”

    伊利亚说道。

    “谷歌拥有比我们更多的机器、工程师和数据中心。”

    “只靠采购GPU，我们永远追不上他们。”

    “OpenAI必须建立自己的计算系统，让每一张GPU完成更多工作。”

    “我们需要真正理解CUDA、显存、通信与分布式系统的人。”

    “我已经让Sam在硅谷寻找合适的人选。”

    “不用找了。”陈默说道。

    伊利亚安静了两秒。

    “你有推荐？”

    “知道一个。”

    陈默挂断电话，看向坐在身旁的陆静怡。

    “让机组更改飞行计划。”

    “先去旧金山。”

    陆静怡显然已经从刚才的通话里听出了原因。

    “林启航？”

    陈默笑了笑。

    “还记得？”

    “在英伟达走廊里看了别人半分钟，让我把名字记下来。”

    陆静怡取出手机。

    ……

    湾流改变航线，重新飞往美国西海岸。

    飞机进入平飞状态以后，陈默没有让团队私下接触林启航，而是先拨通了黄任寻的电话。

    “陈先生？”

    黄任寻明显有些意外。

    “我刚看到猎鹰九号的新闻。”

    “你这趟美国之行似乎很精彩。”

    “还差最后一件事。”

    “与英伟达有关？”

    “与你的一名工程师有关。”

    电话里短暂安静下来。

    “谁？”

    “林启航。”

    黄任寻很快想起了这个名字。

    “所以你今天打电话，是准备从英伟达挖人？”

    “我准备邀请他加入OpenAI。”

    陈默没有兜圈子。

    “负责大规模GPU集群和分布式训练系统。”

    “他刚加入英伟达不久。”

    “CUDA内核和内存优化团队同样需要他。”

    “我知道。”

    陈默说道。

    “所以先给你打电话。如果只想把人带走，我可以让猎头直接联系。”

    黄任寻轻哼一声。

    “先买英伟达的股票，再来英伟达挖工程师。”

    “陈先生，你做投资的回报是不是太高了？”

    “OpenAI未来十八个月准备将GPU规模扩大到八千张以上。”

    陈默说道。

    “后面还会继续增加。”

    “林启航加入OpenAI，不会让英伟达少卖一张GPU。”

    “他如果能解决大规模训练效率，反而会让我们购买更多。”

    “你是在拿我的工程师，替我培养未来最大的客户？”

    “差不多。”

    黄任寻被气笑了，但他是商人，没有一个商人能够拒绝巨大的利益，所以他没有反驳。

    陈默继续说道：“OpenAI可以与英伟达成立联合计算系统实验室。第一批八千张GPU，由英伟达进入优先供应谈判。”

    黄任寻握着手机陷入思考，对于英伟达而言，大型人工智能模型仍然是一个很早的市场。

    绝大部分GPU收入依旧来自游戏和专业图形。

    OpenAI如果愿意用真实训练任务帮助英伟达测试大规模集群，那价值远不止一批硬件订单。

    更何况，陈默电话直接打到自己这里，按华国说法是先礼后兵，自己要不同意，隔壁AMD也不是吃素的。

    “你什么时候到旧金山？”

    “下午一点左右。”

    “三点来英伟达。”

    黄任寻说道。

    “我安排你们见面。”

    “他愿不愿意走，看你自己。”

    “足够了。”

    “还有。”

    黄任寻补充一句。

    “那八千张卡，一张都不能少。”穿越小说 www.kk169.la