那种感觉很微妙。
就好像自己是什么从外太空突破大气层猛然撞击地球表面的天外来物。
简单来说。
那眼神不像是在看个人。
“怎么了?你了解这方面吗?”
周志云缩了缩脖子。
一把年纪了,在这16岁的少年面前,竟然还产生着些许退缩的想法。
“不是,老周,你怎么想到这方面的?”
岑言是真没想到周志云会考虑这个。
因为这个思路就真正地导向了明年那一篇AI领域最具里程碑意义的论文。
《Attention Is All You Need》
由谷歌布莱恩团队在2017年发表的论文,他提出的Transformer架构,彻底抛弃了此前统治序列建模的RNN和LSTM,完全依赖自身的自注意力机制,成为后面所有大语言模型的基石,包括GPT、BERT、LLaMA等在内,直接开启了生成式AI时代。
“想到这方面会很奇怪吗?”
周志云挠了挠脑袋。
他觉得岑言这家伙有点奇怪。
“注意力机制不是在14年的时候就已经提出来了吗?只不过之前是用来解决RNN长序列遗忘问题,是RNN的补丁。”
“这个我知道,但你有没有大概的思路?”
岑言追问道。
如果只有他自己一个人,那他不一定感兴趣,会来碰这篇AI领域的开山论文。
因为他是真的没有办法再挤出太多精力。
要知道,论文不是简单的论文。
论文只是在项目实践的过程中产出的附加物而已。
他想要写出这篇论文,就必须要抢在谷歌团队的前头,加班加点的干。
那可能就偏离了他目前的路线。
而且就算提出了Transformer架构,没有资本和巨头企业的支持和实践的话。
只停留于高校层面。
那也很难获得足够的利益,只不过成为供养别人的花泥而已。
“我有个大概的想法,但是现在的思路也不太清晰。”
周志云老老实实说道。
他有些好奇地打量着岑言。
“听你这话的意思,你也感兴趣?”
“要是你真想做这个的话,那我还真有思路。”
岑言看着周志云,既释怀又开心地笑了。
这饭都喂到自己嘴边了。
自己要是还不吃的话,那就真的是有点不识抬举了。
第293章 国资?还是外资?
“你有思路?!”
周志云眼前一亮,连忙抬手,用不太雅观的姿势狠狠地从中间拽了拽身下的椅子。
整个人前俯着凑近了岑言。
这个动作如果是周妍来做的话,那岑言或许还是会享受享受。
可如果对象是周志云的话.....
我曹!登!
岑言迅速猛缩。
咱能理解你的热情,但也太……
“哎,你离那么远干嘛?”
周志云不满。
“慢点慢点,就我们两个,都能听得到,实在不行,我们进休息室里聊。”
岑言敬谢不敏。
“你这小子,事真多。”
周志云白了他一眼,起身就往休息室里走。
其实他的心情也能理解,毕竟他们要聊的这个话题估计会很深入。
而且很多时候,一个学科创造性的东西,就是在两个大能的闲聊戏谈之间诞生的。
虽然晨星实验室的学生们并不是这个方向。
可总要防范于未然。
做人需谨慎啊。
不然有时候都不知道自己的毕业成果怎么就莫名其妙的被自己的博士同事给毁了。
两人一前一后进了休息室。
“快点,快点,急,把你的思路大概说一说。”
周志云连忙拽着岑言到沙发上坐下。
登,太暧昧了,别搞。
岑言清了清嗓子,正色道。
“老周,你也清楚现在的技术路线之争和前沿技术的区别,还是很鲜明的吧?”
“对。”
周志云点了点头。
“像AlphaGo出来之后,深度学习已经成了绝对主流。”
“像AlphaGo、决策系统这一类的深度强化学习现在热度很高,不过另外几个方向也非常热门。”
“GAN生成模型,主要做无监督学习、内容创作和数据模拟。NLP与机器翻译,主要是SyntaxNet,注意力机制和对话系统。端到端自动驾驶则是以CNN加激光雷达加路径规划为核心。”
“但这些都有通病,可解释性、泛化性和收敛性都太薄弱了,过度地依赖大数据和大算力,数据样本成为了核心资源,小样本学习几乎是空白的。”
“目前圈内的共识是认为AI在未来1到2年之内,视觉语音翻译将接近人类水平,并且可以全部商用。”
“自动驾驶也能进入路试和试点运营。”
“强化学习也能从游戏走向工业控制和优化,到时候直接代替生产。”
“这对于各行各业都是巨大的冲击。”
“从我个人的角度看来,这可能是人类的第三次工业革命。”
周志云停顿了一下。
“我不相信你没有感觉,AI的冲击会让很多行业都完成重构。”
岑言并没有着急回应周志云的焦虑。
他只是认可的点了点头。
AI的发展确实很快,但也没那么快。
“老周,咱们也算是专业人士,就不讨论那些外面大众喜欢讨论的东西。”
岑言微微笑着说道。
“从我们本身角度来看,你觉得这些需要依赖大量的数据和样本的AI,真的能够达到我们想象中的那种程度吗?”
周志云猛地一拍大腿。
“我就知道你的观点和我一样。”
“来吧,别卖关子了,说说打算怎么做。”
周志云急不可耐。
“打算怎么做,其实没那么重要。”
岑言抬眼看了周志云一眼。
“主要是我们有没有这个资源做成?”
“怎么就没有这个资源?我们学校的资源还不够吗?”
周志云不解地看着岑言。
因为他还不知道岑言想要做什么东西,只是简单的从目前主流的市场研究来看。
他自己实验室的设备就足够完成大部分研究需求了。
“不够,远远不够。”
岑言摇了摇头。
“想要做成功,你首先得想明白我们要做的目标到底是什么。”
“是抛弃循环结构,进行全并行训练,拥有更强长城依赖,效果目标要超越现有SOTA。”
“如果只是单纯的架构和技术点,那提出来很简单,可是后续呢?如何验证?如何说明?如何解读?如何被认可?”
岑言毫不客气地说道。
“我想做的东西,或者说我们想做的东西,其实看起来简单,实则很复杂。”
“想要做成,我们起码要先具备七个方面的条件。”
“哪七个?”
周志云的激动和兴奋微微冷却,理性开始重新占据了他的大脑。
作为备受瞩目的青壮年学者。
当焦虑被完全挤出,理性重新回归的时候,那他的水平就会回升到一个高度。
“我们先说理论前提。”
岑言伸出手指。
“这个路线的最终目标就是要推翻RNN,想要彻底推翻一个东西,那你首先得熟悉它。”