“这两年的主流结构，RNN，LSTM，GRU编码器—解码器机器翻译范式，这些需要完全掌握吧？”
“嗯。”
周志云点了点头。
这个不难，他自己就是这方面的专家。
“首先你和我要达成一个共识，注意力是解决长依赖的核心。”
“注意力，嗯，我能理解，14年的Bahdanau加性注意力和15年的Luong乘性注意力，都是对RNN的补充……”
“不只是补充。”
岑言抬手打断了周志云的话。
抬手不是再见，而是老周你还得练。
“我简单扼要地说清，深度学习基础要完备，对于残差连接层归一化、权重初始化、Dropout、Adam优化器、Bleu评价指标全部都要熟练掌握。对于目前序列建模的路线、痛点要烂熟于心。对，自注意力，数学形式要有充足的推导能力。”
“比如说缩放点积注意力公式，比如说为什么多头能解耦不同语义特征。”
岑言像念经一样。
这要是换成一个别的学科的人，听到岑言这么念叨，可能都已经觉得头痛。
那紧箍咒猛猛收缩。
可这些话在周志云听来，那是一字一句都是信息量，一笔一画都是干货。
他的脑袋里有着疯狂的思考。
高手就是高手。
岑言这么简单地提出理论知识前提，周志云的大脑里就已经开始逐步摩挲起了岑言的基本思路。
“你的意思我大概明白了，那这样的话……”
周志云有些惊讶于岑言的思想。
虽然这样的思想，其实在想通之后，并不算难理解，甚至可以说，很方便。
但科学的进步就在于。
这样的思想，在被发掘出来之前，根本就没有人想通。
在这种时候他又要感慨岑言的天赋了。
岑言这样的天才来搞凝聚态物理学，简直是对计算机学界最大的浪费。
“正常来说，想要做下去，就必须要有先期足够的技术积累。”
“像这样的方向，其实我觉得只有谷歌能先做的成功。”
“因为他们在做GNMT的大规模落地，手上有着成套的翻译训练流水线、预处理脚本和评测流程。他们整个团队几乎亲手调过百万级句子的Seq2Seq+Attention大模型。”
说到这里，岑言表情严肃起来。
因为他既然决定和周志云讲这个路线，那就是有做的决心。
要做，那就是要在谷歌这头科技巨兽的面前虎口夺食。
虽然周志云很强，在国内外机器学习领域也算是颇有名气。
自己的大众声望更是旺。
可这不代表规模实力。
他们两个人就算再强，还能强得过人家一大群顶级专家吗？
更何况人家长期实践，工程落地，知道训练不稳定、收敛慢、长距效果差的真实工程痛点在哪，应该怎么调试？
甚至就现在站在这里。
他们俩也根本没有大规模分布式深度学习训练的经验。
想要快速上手，驾驭超大参数量模型训练，那也是需要一定时间的。
一篇论文的诞生从来都没那么简单。
特别是那种能够成为行业里程碑的论文。
当然了，造假的除外。
学生物医学的那帮人给我坐下，我没有在说你们。
真的没有。
周志云的眉头紧锁。
他已经开始深度考虑岑言所说的情况。
不管岑言提出的方向现不现实。
单单技术积累问题，就横在面前。
别说只是高校里的一个课题组，就算是高校的一整个系，在应用实践和工程落地上的经验，可能都没办法和谷歌一个团队打。
更何况，目前深度学习明显就是谷歌集中力量办大事的核心方向。
“抛开技术积累不谈，还有硬算力和硬件前提。”
岑言也不是只在提出问题。
他也在认真思考问题。
他很清楚，他是能够直接从自己的记忆图书馆里研究透整个算法模型脉络的方向。
但是那又怎么样？
没有办法做实验，没有办法调参，没有办法去对比不同模型之间的区别。
那理论也只能停留在理论。
谷歌的这篇论文之所以能够成为人工智能领域影响力最高的论文之一。
不仅是在于其理论方向的夯实。
真正定鼎的是谷歌那强大的工业工程基础，和全球推广能力。
某种程度上来说。
谷歌和马斯克的思路其实差不多。
他们会先奠定好一个领域的核心技术，然后把这一技术直接放开。
让大家进来学习，掌握，追捧。
这个领域的热度就会在短时间内被快速地堆高，全球的尖端生产力、研究力全都集中到这一领域之中。
而他们会拥有这个世界上，不说是全部最顶尖，但起码全都是一流的专家。
以最快的速度、最有创造性的方式去研究出这一领域的前沿成果。
这样就会让市场越做越大，而他们虽然会有一种被后人追赶的紧迫感，可同时他们也能够因此赚取到更多的利益。
新时代的财富积累，从来都不是靠垄断。
而是靠不断地讲故事、不断地展望前景、不断地筑高一座通天塔。
只要你站在塔上。
那你就能赢家通吃。
甚至不断会有后来者，在之后一直筑高你的通天塔。
“我们实验室现在专业计算卡也还可以，就是……”
“还可以是不行的，因为我们要做这个方向，不能用时间去换空间。”
岑言又打断了周志云。
也是打断了他的幻想。
“这个方向之后绝对不只是我们在做，要么我们就别碰，从头开始就别碰。”
岑言严肃地警告道。
“因为这个方向的投入，那根本就不是几百万几千万可以算的。”
“一旦大量的投入之后，我们的成果比别人慢，哪怕只是慢一步、慢一天、慢一个小时。”
“最终这个领域的解释权也不在我们手里。”
“所有的投入只能化为乌有。”
“人工智能领域不比其他领域，一旦落后，那就是一直落后。”
“哪怕在大众范畴、商业范畴，有短时间的超越，那也只不过是对方正在酝酿更有技术力的内容。”
“我们起码要有几十张NVIDIA P100显卡，就是4月份在GTC上首次发布的那款，首款搭载这显卡的系统，DGX-1也刚刚全面上市。既然想做，就要用最好的，这个钱省不了。”
“几十张吗？”
“最好是能有100张。”
周志云的脸色有些犯难。
要知道，一张P100的价格现在报价可是超过4万接近5万。
100张，那就是500万。
这还只是显卡的费用。
“没办法，如果我们有时间的话，至少是8块，这样才能在显存和浮点算力层面满足大模型堆叠6层Encoder和6层Decoder的需求。”
“但是我们现在没有时间。”
岑言低声说道。
“以我的观察来看，我们顶多也就还有半年的时间。”
“所以我们必须要分不同的组别，连续跑不间断训练，允许能够反复做Ablation实验，去对比不同模型版本。”
“所以我们需要有充足的备量，不能在算力和硬件上被卡住。”
周志云看着岑言。
岑言也看着他，但岑言的眼中只有绝对坚定的眼神。
似乎是在告诉他。
这件事必须这样办，如果不这样办的话，那就办不成。
周志云其实还是有些犹豫的。
单单显卡就要投入数百万，那其他方面的配套投入更是无法估量。
维护费用、电费等等。
对了。
千万不能小看电费。
要知道，在AI训练的过程中，最消耗的就是电了。