岑言追问道。
如果只有他自己一个人,那他不一定感兴趣,会来碰这篇AI领域的开山论文。
因为他是真的没有办法再挤出太多精力。
要知道,论文不是简单的论文。
论文只是在项目实践的过程中产出的附加物而已。
他想要写出这篇论文,就必须要抢在谷歌团队的前头,加班加点的干。
那可能就偏离了他目前的路线。
而且就算提出了Transformer架构,没有资本和巨头企业的支持和实践的话。
只停留于高校层面。
那也很难获得足够的利益,只不过成为供养别人的花泥而已。
“我有个大概的想法,但是现在的思路也不太清晰。”
周志云老老实实说道。
他有些好奇地打量着岑言。
“听你这话的意思,你也感兴趣?”
“要是你真想做这个的话,那我还真有思路。”
岑言看着周志云,既释怀又开心地笑了。
这饭都喂到自己嘴边了。
自己要是还不吃的话,那就真的是有点不识抬举了。
第293章 国资?还是外资?
“你有思路?!”
周志云眼前一亮,连忙抬手,用不太雅观的姿势狠狠地从中间拽了拽身下的椅子。
整个人前俯着凑近了岑言。
这个动作如果是周妍来做的话,那岑言或许还是会享受享受。
可如果对象是周志云的话.....
我曹!登!
岑言迅速猛缩。
咱能理解你的热情,但也太……
“哎,你离那么远干嘛?”
周志云不满。
“慢点慢点,就我们两个,都能听得到,实在不行,我们进休息室里聊。”
岑言敬谢不敏。
“你这小子,事真多。”
周志云白了他一眼,起身就往休息室里走。
其实他的心情也能理解,毕竟他们要聊的这个话题估计会很深入。
而且很多时候,一个学科创造性的东西,就是在两个大能的闲聊戏谈之间诞生的。
虽然晨星实验室的学生们并不是这个方向。
可总要防范于未然。
做人需谨慎啊。
不然有时候都不知道自己的毕业成果怎么就莫名其妙的被自己的博士同事给毁了。
两人一前一后进了休息室。
“快点,快点,急,把你的思路大概说一说。”
周志云连忙拽着岑言到沙发上坐下。
登,太暧昧了,别搞。
岑言清了清嗓子,正色道。
“老周,你也清楚现在的技术路线之争和前沿技术的区别,还是很鲜明的吧?”
“对。”
周志云点了点头。
“像AlphaGo出来之后,深度学习已经成了绝对主流。”
“像AlphaGo、决策系统这一类的深度强化学习现在热度很高,不过另外几个方向也非常热门。”
“GAN生成模型,主要做无监督学习、内容创作和数据模拟。NLP与机器翻译,主要是SyntaxNet,注意力机制和对话系统。端到端自动驾驶则是以CNN加激光雷达加路径规划为核心。”
“但这些都有通病,可解释性、泛化性和收敛性都太薄弱了,过度地依赖大数据和大算力,数据样本成为了核心资源,小样本学习几乎是空白的。”
“目前圈内的共识是认为AI在未来1到2年之内,视觉语音翻译将接近人类水平,并且可以全部商用。”
“自动驾驶也能进入路试和试点运营。”
“强化学习也能从游戏走向工业控制和优化,到时候直接代替生产。”
“这对于各行各业都是巨大的冲击。”
“从我个人的角度看来,这可能是人类的第三次工业革命。”
周志云停顿了一下。
“我不相信你没有感觉,AI的冲击会让很多行业都完成重构。”
岑言并没有着急回应周志云的焦虑。
他只是认可的点了点头。
AI的发展确实很快,但也没那么快。
“老周,咱们也算是专业人士,就不讨论那些外面大众喜欢讨论的东西。”
岑言微微笑着说道。
“从我们本身角度来看,你觉得这些需要依赖大量的数据和样本的AI,真的能够达到我们想象中的那种程度吗?”
周志云猛地一拍大腿。
“我就知道你的观点和我一样。”
“来吧,别卖关子了,说说打算怎么做。”
周志云急不可耐。
“打算怎么做,其实没那么重要。”
岑言抬眼看了周志云一眼。
“主要是我们有没有这个资源做成?”
“怎么就没有这个资源?我们学校的资源还不够吗?”
周志云不解地看着岑言。
因为他还不知道岑言想要做什么东西,只是简单的从目前主流的市场研究来看。
他自己实验室的设备就足够完成大部分研究需求了。
“不够,远远不够。”
岑言摇了摇头。
“想要做成功,你首先得想明白我们要做的目标到底是什么。”
“是抛弃循环结构,进行全并行训练,拥有更强长城依赖,效果目标要超越现有SOTA。”
“如果只是单纯的架构和技术点,那提出来很简单,可是后续呢?如何验证?如何说明?如何解读?如何被认可?”
岑言毫不客气地说道。
“我想做的东西,或者说我们想做的东西,其实看起来简单,实则很复杂。”
“想要做成,我们起码要先具备七个方面的条件。”
“哪七个?”
周志云的激动和兴奋微微冷却,理性开始重新占据了他的大脑。
作为备受瞩目的青壮年学者。
当焦虑被完全挤出,理性重新回归的时候,那他的水平就会回升到一个高度。
“我们先说理论前提。”
岑言伸出手指。
“这个路线的最终目标就是要推翻RNN,想要彻底推翻一个东西,那你首先得熟悉它。”
“这两年的主流结构,RNN,LSTM,GRU编码器—解码器机器翻译范式,这些需要完全掌握吧?”
“嗯。”
周志云点了点头。
这个不难,他自己就是这方面的专家。
“首先你和我要达成一个共识,注意力是解决长依赖的核心。”
“注意力,嗯,我能理解,14年的Bahdanau加性注意力和15年的Luong乘性注意力,都是对RNN的补充……”
“不只是补充。”
岑言抬手打断了周志云的话。
抬手不是再见,而是老周你还得练。
“我简单扼要地说清,深度学习基础要完备,对于残差连接层归一化、权重初始化、Dropout、Adam优化器、Bleu评价指标全部都要熟练掌握。对于目前序列建模的路线、痛点要烂熟于心。对,自注意力,数学形式要有充足的推导能力。”
“比如说缩放点积注意力公式,比如说为什么多头能解耦不同语义特征。”
岑言像念经一样。
这要是换成一个别的学科的人,听到岑言这么念叨,可能都已经觉得头痛。
那紧箍咒猛猛收缩。
可这些话在周志云听来,那是一字一句都是信息量,一笔一画都是干货。
他的脑袋里有着疯狂的思考。
高手就是高手。