亚马逊代表愣了一下。
“我们会尽最大努力避免这种情况。”
陈平淡淡说道:“所以,你不能保证。”
“没有任何一家企业能够替政府作出保证,但亚马逊拥有足够强大的游说能力,只要灵境接受美国的数据合规要求,国会就很难找到制裁你们的理由。”
听到这里,陈平笑了。
这句话,他连一个标点符号都不会相信!
资本的承诺,只在符合自身利益的时候有效。
今天亚马逊需要女娲,自然愿意帮助灵境说话,等美国本土公司开发出同等级别的大模型,或者美国政府下定决心打压灵境,亚马逊一定会毫不犹豫地翻脸!
指望一家美国企业帮助自己对抗美国政府?
这种想法未免太天真了。
不过,陈平并没有拒绝合作,因为数据本地化是女娲进入美国企业市场必须付出的代价。
右翼媒体可以不讲技术,却非常擅长煽动恐惧,只要女娲继续把美国用户的数据传回华夏,他们就能一直拿这件事情做文章。
普通用户可能不会在乎,大型企业却不敢冒险。
尤其是银行、医院和律师事务所。
这些机构受到严格监管,大量敏感资料原本就不能离开美国,假如灵境拒绝建设本地数据中心,等于主动放弃这些价值最高的企业客户。
“美国客户的数据可以存放在美国。”
陈平合上协议,亚马逊代表的眼睛立刻亮了起来。
“您同意了?”
“我同意数据本地化,但服务器的所有权必须属于灵境!”
亚马逊代表面露难色。
“这恐怕不符合亚马逊现有的合作模式。”
陈平不容置疑地说道:“那就修改合作模式!”
“亚马逊可以负责提供机房和云计算服务,灵境负责管理计算卡,没有得到灵境授权,你们不能接触女娲的模型参数!”
亚马逊代表继续试探道:“美国政府可能要求检查。”
“他们可以检查数据管理制度,但是不能检查核心模型!”
“如果国会坚持呢?”
陈平平静地说道:“那就停止服务!”
亚马逊代表盯着陈平,试图判断这是不是一种谈判手段。
陈平没有继续解释。
女娲采用的是闭源方案,真正重要的是模型架构和参数,只要核心权重没有交出去,美国本地存储的用户数据就无法伤及灵境的根本。
至于这些数据能不能用于后续训练,那又是另一个问题。
美国政府可以要求灵境隔离数据,却很难监管每一次模型更新究竟使用了哪些材料。
训练数据经过清洗和分词以后,早已不是用户最初输入的内容,想从几万亿个词元中判断某段材料来自哪一名用户,几乎不可能做到。
除非美国监管机构派人进入灵境的训练中心,监控整套数据处理流程。
陈平绝不会允许这种事情发生!
经过两天谈判,灵境与亚马逊达成初步合作协议。
双方将在俄勒冈州建设女娲美国数据中心,一期投资规模为37亿美元,其中灵境出资22亿美元,亚马逊承担剩余部分。
数据中心建成以后,所有美国企业客户的数据都会优先存放在当地。灵境还将聘请第三方机构进行合规审计,证明用户原始数据不会被直接传输到华夏。
协议公布后,右翼媒体的攻击力度果然明显下降。
几名原本准备支持ai限制法案的中间派议员也改变了态度。
他们公开表示,只要灵境遵守美国的数据法律,就不应该因为国籍受到额外歧视。
亚马逊股价当天上涨4.7%!
微软和甲骨文也迅速提出了新的合作方案。
资本市场普遍认为,女娲进入美国企业市场的最大障碍已经被扫除。
只有陈平知道,事情远没有这么简单。
美国现在愿意接受女娲,不是因为它突然变得宽容,而是因为女娲还没有强大到让美国感到无法承受!
目前的女娲1.0确实领先Gemini和文心一言。
它能写代码,也能分析文件,可它仍然会犯错,面对复杂项目时,女娲需要人类不断修正需求,还无法独立完成真正意义上的大型软件开发。
如果女娲已经表现出前世Claude 3.5 Sonnet那种级别的代码能力,局面一定会完全不同!
到了那个时候,一个普通人只需要使用自然语言提出要求,ai就能生成可以直接运行的程序,大量软件工程师都会受到正面冲击。
美国绝不可能容忍一家华夏公司控制这种生产力工具!
数据中心建在美国有用吗?
没用!
第三方审计有用吗?
同样没用!
美国政府真想封杀灵境,永远都能找到理由。
今天可以使用数据安全,明天可以使用算法偏见,后天还可以指控女娲威胁就业。
理由从来都不重要,实力才重要!
好在目前的硬件发展还没有达到那个阶段。
……
6月4日,陈平来到灵境ai总部,听取女娲2.0项目的最新汇报。
会议室前方的大屏幕上,显示着最新的算力测算结果。
女娲1.0参数规模:1700亿
训练计算卡:375736张
有效训练周期:119天
总耗电量:约4.1亿度
女娲2.0目标参数:1万亿
预计训练计算卡:140万张以上
按照现有训练方案,如果不能同时投入百万张高性能计算卡,完整训练周期至少需要四年零七个月!
看到最后一个数字,会议室里没有人说话。
四年零七个月!
这还是最理想的估算。
在测算模型里,计算卡不能出现大规模故障,通信网络不能发生中断,数据清洗也不能出现重大问题。
现实中根本不可能这么顺利。
只要训练过程中发生一次严重错误,部分环节就必须重新开始,最终耗费的时间,很可能超过六年!
陈平问道:“还有其他方案吗?”
梁文峰起身回答:“可以降低参数规模,如果把女娲2.0控制在五千亿参数以内,我们有希望在两年内完成训练。”
“性能会受到多大影响?”
“现在无法准确判断,参数不是决定性能的唯一因素,但降低一半参数,模型的知识容量肯定会受到影响。”
陈平继续问道:“稀疏架构能不能解决这个问题?”
“理论上可以。”
梁文峰调出另一份文件。
“我们正在研究混合专家模型,每次推理只激活一部分参数,可以大幅降低实际计算量,但目前最大的问题是训练不稳定。”
“专家模块之间容易失去平衡,部分模块会被频繁调用,其他模块则可能长期得不到足够训练。”
陈平盯着屏幕,没有立刻说话。
前世许多大模型都采用过类似思路,其中的道理并不复杂。
一个拥有万亿参数的模型,在处理法律问题时,没有必要调用所有与代码相关的知识,只让特定部分参与计算,确实能够显著节省算力。
真正困难的是怎么分配任务!
哪个专家模块应该被激活?
一次应该激活几个?
不同模块给出矛盾结果的时候,又该相信谁?
这些问题目前都没有成熟答案。
有人忍不住问道:“如果我们把全世界的计算卡都买过来呢?”
梁文峰摇了摇头。
“做不到!”
“目前全球适合大模型训练的高性能计算卡,理论存量不到100万张,其中相当一部分掌握在谷歌、微软和各国研究机构手中。”
“这些设备还承担着其他任务,不可能全部出售给灵境。”
“即使真的买到,我们也无法直接把它们组成一个训练集群。”
型号不同,通信协议也不同,如果强行混用,训练效率会大幅下降。
更加麻烦的是供电!
五十万张计算卡满负荷运行,再加上散热和其他配套设备,功率很可能超过一座中型城市!
灵境在黔省规划的数据中心尚未建成,对应的变电设施也需要时间建设。
巧妇难为无米之炊!
算法可以提前研发,人才也能挖掘,唯独算力没有办法凭空出现,这就是当前人工智能发展的天花板!
“继续研究稀疏架构。”
陈平很快作出决定。
“女娲2.0的万亿参数目标不变,正式训练时间可以适当推迟,我们先把数据中心和配套电力设施建起来!”
会议结束以后,陈平独自留在会议室。