虽然手头关于边界奇异集维数估计的推导被迫暂时中断,但米勒教授带来的无疑是个极其振奋的消息。
西北大学那边,网页图谱与知识网络的主体训练和批量评估已经跑完,只剩最后几项现场汇总与压轴验证,结果很快就要揭晓了。
接下来的时间里,李傲没有半分耽搁。
他迅速将桌面上散落的保密草稿纸整理归拢锁进抽屉,随即长身而起,快步走出了办公室。
推开大楼正门,李傲迎着校园里的微风快步赶到附近车站,随后转乘Metra北上,赶往埃文斯顿的西北大学。
……
李傲从小在芝加哥南区长大,这还是他第一次来到位于北郊埃文斯顿的西北大学。
走进校园,他顺着林荫道漫步,四下打量着周围的风景。
两座校园都紧邻密歇根湖畔,但这里的建筑与氛围,与海德公园芝加哥大学那种哥特式风格相比,却大相径庭。
只能说,各有千秋。
不过刚走了一段,李傲就发现了一个问题。
他虽然知道联合实验室在哪栋楼,却不清楚具体该往哪个方向走。
虽说他在西北大学也算有熟人,比如前阵子在联合项目里共事过的卡普兰教授,但为了这点小事特意打电话惊动项目组,显然没必要。
他索性迈步上前,打算找个路过的学生问问。
“同学你好,请问一下,计算机系的高性能科学计算实验室怎么走?”
李傲拦下了一个戴着黑框眼镜的高个男生。
可他话音刚落,就发现对方正愣愣地盯着自己,脸上写满了难以置信的惊喜。
“你是……Leo?!”
那男生显得异常激动,连声音都拔高了几分。
在得到肯定的答复后,男生一把拉住他,连珠炮似地说道:
“我的天,真的是你!我就是西北大学数学系的。你现在可是我们这届所有人眼里的超级偶像!没想到能在这见到活的‘数学神童’……那个,能顺便合个影吗?”
李傲听得一愣一愣的,一时间有些哭笑不得。
他着实没想到,自己刚进西北大学的校园,居然还能撞上粉丝。
看来前阵子美利坚那些主流媒体的轮番报道,动静确实闹得不小。
满足了这位热心同学的合影要求后,李傲顺便打听到了高性能科学计算实验室的具体方位,这才笑着向对方告别,转身朝着目的地赶去。
而那个数学系的男生还站在原地,捧着手机一脸兴奋。
直到李傲的身影消失在远处的拐角,他才依依不舍地收回目光。
等兴奋劲稍稍过去,他脑子里突然蹦出一个疑问。
“不对啊,Leo不是芝加哥大学数学系的天才吗?他大老远跑到我们西北大学的计算机系来干嘛?”
已经走到实验楼下的李傲,自然不会知道身后的数学系男生在纠结什么。
他刚迈步准备上楼,就迎面看到了一个熟悉的身影。
联合项目组的成员,同时也是米勒教授的博士生,艾文·里德。
“Leo!导师听说你马上到,特意让我下楼来接你。”艾文快步走上前,笑着打了个招呼。
李傲笑着点头:“谢了,艾文,还麻烦你专门下楼。”
两人本就是老相识。
在这次的图表示学习项目中,艾文更是彻底被李傲展现出的算法和统计学习水平所折服,因此彼此之间毫无隔阂。
在上楼的路上,艾文便主动聊起了这次扩展验证的最新进展。
“说真的,这回大家都得感谢你提出的那个不变量代理训练目标。”
艾文语气里带着浓浓的感叹,“在这之前,我真没想过无标注图结构的表示训练能这么顺利。”
……
第252章 这人必须挖(求订阅)
李傲静静听着艾文的话,心里倒也十分理解他为什么会这么感慨。
以往实验室做这类无监督图表示训练,可以说是处处踩雷。
像节点编号扰动、局部子图噪声、跨网络迁移失稳之类的问题层出不穷,稍微出点岔子,整个结构表示就会彻底失效。
只要中间任何一个环节出现一丁点误差,就意味着几十个小时的训练全部报废,只能推倒重来。
这不仅是在无端消耗资源,对项目成员的心理状态更是沉重的打击。
但这次不一样。
利用李傲改进的不变量代理训练目标,可以直接构造出无标注训练信号,等于在训练刚开始时就套上了一个稳定且完整的结构约束。
在逐步调整权重的过程中,初步的无监督图结构表示很顺利地就被训练了出来,直接跳过了过去最折磨人的试错阶段,进入稳定性验证环节。
李傲对此倒没有表现得太意外。
这个方案是他亲自推演出来的,能跑出这样的好结果,完全在他的意料之中。
说话间,两人已经推门走进了联合实验室。
李傲抬头看去,屋里除了面色有些紧绷的米勒教授外,卡普兰教授和其余几个项目成员也都围在主控台前。
看着这几位清一色顶着黑眼圈的模样,就知道他们最近怕是连续熬了好几个通宵。
“Leo来了?快,坐这儿!”
米勒教授一看到李傲,原本有些疲惫的双眼顿时亮了起来,整个人都打起了精神,连连招手示意李傲到自己身边的空位坐下。
“你来得正是时候,数据刚准备好,米勒刚才还念叨着怕你赶不上呢。”卡普兰教授在旁边笑着接话。
李傲也没有扭捏,大大方方地走过去坐下。这让围在旁边的其他博士生和博士后们看得满眼羡慕。
在他们的印象里,卡普兰教授平时严厉古板得近乎苛刻,谁能想到面对一个外校的本科生,竟然会展现出如此和蔼的一面。
不过羡慕归羡慕,倒没人心里觉得不平衡。
毕竟李傲的实力摆在那里。
要不是他一手重构了不变量训练目标,这个卡了半年的项目现在还在泥潭里打转,根本不可能推进得这么快。
在绝对的天才面前,有些时候确实不服不行。
米勒教授显然憋了一肚子的话,李傲刚一落座,他便指着屏幕上的曲线,迫不及待地介绍起来。
“我们采用你给的那个代理目标对网络进行了重新训练,过程非常顺利。新生成的图结构向量表现出了极高稳定性,其中在节点置换测试里,它的表示偏差已经降到了原始基线的五分之一!”
说到这里,米勒教授看向身侧:“卡普兰教授也同意我的看法。这一次,我们恐怕真的要见证一个里程碑式的突破了。”
李傲微微点头。
他心里清楚,自己改进的这套方案确实踩中了无监督图表示学习的一大痛点。
无论是应对大规模的网页图谱还是错综复杂的知识网络,最核心的难点都在于如何捕捉其中稳定存在的结构等价关系,并以此通过不变量约束引入能够让模型学习的结构正例。
然而,如果约束条件设计得不够精准,极容易引发表示塌缩或者节点编号泄漏,从而彻底废掉模型的结构迁移能力。
这也是该领域多年来难以攻克的高墙。
如果不是用不变量代理训练目标从数学层面上提前锁定了最完美的约束范围,单凭传统的特征工程和模型盲目试错,不知道还得填进去多少经费和时间。
收回思绪,大屏幕上的扩展验证已经进入了最后,也是最关键的压轴阶段。
实验室里鸦雀无声,所有人都屏息凝神地盯着不断刷新的控制台。
实验正在模拟最严苛的随机节点置换和跨网络迁移环境。
系统将在预先锁定的结构正例权重和局部区分权重下,检验那条象征着稳定可迁移的结构表示曲线能否顺利绘制出来。
这是见证奇迹的时刻。
成了,这个困扰行业已久的瓶颈就此打破。
败了,他们就得把整套逻辑推翻,重新去调整参数权重、构造新的目标函数。
“随机节点置换一百轮测试完毕!”
“报告,表示稳定性曲线完成基本重合!”
“……”
“局部子图模式区分度显著上升,确认没有出现表示塌缩!”
“跨知识网络任务完成,迁移优势非常明显!稳定的结构表示平台已经出来了!”
随着最后一项核心数据响彻房间,压抑已久的实验室里爆发出一阵压低声音的惊呼。
即便都是见惯了数据的学术精英,此时脸上也都遏制不住地涌现出狂喜。
唯独米勒教授强行按捺着心头的激荡,转头对主控台沉声下达了最后一道指令:
“立刻调取原始不变量约束分支的对照结果,我们要排除偶然性,确认效果是不是由新目标函数本身带来的。”
“收到,基线分支结果已完成比对。原始不变量约束下,稳定结构表示曲线无法维持,核心指标全部退回基线水平!”
在确凿的对比数据面前,米勒教授终于不再克制。
他长舒了一口气,撑着桌面霍然起身,声音浑厚地吐出一个字:
“好!”
说罢,他高高抬起双手,带头用力鼓掌。
这意味着他们团队耗费数年心血的研究,终于在今天迎来了重大突破。
借助李傲亲手构建的不变量代理训练目标,困扰学术界已久的一个巨大难题被彻底攻克。
他们成功在无标注网页图谱和知识网络上,训练出了稳定可迁移,且具备极强抗节点编号置换能力的无监督图结构表示。
掌声雷动中,米勒教授的目光再次落在了身边的少年身上。
在这一刻,他脑海中那个想要把对方挖到自己门下的念头,疯狂地滋长起来。
能在这么短的时间内,以如此惊人的灵感创新完成训练目标的改造,甚至直接跑出了稳定的结构表示结果。
这种级别的计算机天赋和数学底蕴,要是只扔在理论数学的研究里,那简直就是对天才资源的极度浪费!
诚然,国际数学界有菲尔兹奖,物理学界有诺贝尔奖,可他们计算机科学领域,同样有着至高无上的图灵奖。
想到这,米勒教授眼神逐渐坚定。这样的人物,他说什么也得去跟数学系物理系狠狠争上一争。
就算退一万步,至少也得拿下一个联合培养的方案!
大不了,自己亲自去请西北大学那位人工智能方向的巨擘、图灵奖得主莱斯利·瓦利安特教授出来站台做说客。
……
第253章 当面抢人(求订阅)
脑海中思绪万千,米勒教授此时已经顾不上为成功训练出稳定结构表示而欣喜。
他满脑子想的,都是怎么把李傲引到计算机这条“正道”上来。