陆远进研究所的第三周,才拿到门禁卡。
之前两周,他每次来都要在前台登记。
保安翻着本子找他的名字,然后打电话确认,再让他押身份证,换一张临时通行证。
每天如此。
他不催,也不解释。
前台小姑娘后来认识他了,提前把登记表填好,他来只需要签个字。
实验室在七楼。
研究所的主楼是九十年代盖的,电梯慢,楼道窄,墙上挂着褪色的学术活动海报。
七楼走廊尽头是项目组,三间办公室加一间机房。
陆远的工位在机房角落,一台旧工作站,显示器还是CRT的。
没有人给他安排具体任务。
副研究员李工忙,每天开不完的会。
其他人各管一摊,谁手头忙不过来就喊一声:“陆远,帮我看下这个。”
他就去。
一开始是搬数据。
从服务器上导出图像和语音的配对数据集,拷到移动硬盘里,再导进训练机。
数据量不大,但格式乱。
同一段语音配了三个不同版本的图像标注,时间戳对不齐。
他花了两天,写了个脚本,把三版标注合并成一份。
又写了个校验程序,把时间戳偏移超过两秒的样本全挑出来,重新对齐。
做完了,他把脚本和说明放在公共目录里。
没人问,但后来大家都开始用他的脚本导数据。
再后来是调参数。
第一组的模型训练卡在损失不降的阶段,组长程平试了七八种学习率策略,没用。
陆远在旁边看了半天,说了一句话。
“把批量大小从三十二改成一百二十八。梯度累积两步。”
程平试了,损失开始降。
程平问他为什么。
他说:“样本方差大。小批量梯度噪声太大,模型学不到东西。批量上去,梯度稳了,再累积两步等效更大批量。收敛就顺了。”
程平点头,没再说什么。
但第二天开会,他在会上提了一句:“陆远那个批量调整的思路,可以推广到其他组。”
真正让所有人愣住的是第四周。
项目组要做一个跨模态对齐的功能。
给定一段语音和一张图像,模型要判断它们是否描述同一个场景。
这需要在训练中把语音特征和图像特征映射到同一个语义空间,并用对比损失拉近正样本对的距离。
负责这块的是第二组,组长姓方,二十七八岁,脾气急。
他带着两个人熬了三天三夜,函数就是跑不通。
训练一开始就发散,损失直接跳到无穷大。
第三天晚上,所有人都撑不住了。
方组长让其他人先回去睡,自己趴在桌上眯一会儿。
机房只剩陆远一个人,他没走。
他坐在自己的工位上,把方组长写的代码从头到尾读了一遍。
问题出在数据稀疏表示上。
原始方法把语音和图像的特征向量都做成了稠密矩阵,维度高,内存占用大。
一旦批量上去,显存就爆。
方组长为了解决这个问题,手动把批量降到了八。
批量太小,对比学习根本没法做。
负样本不够,模型学不到区分性。
陆远没有改批量,他改了稀疏表示。
把稠密矩阵换成稀疏矩阵格式,只存储非零元素。
内存占用一下子降到了原来的十分之一,然后他把批量加回到六十四。
又加了一层梯度裁剪,防止早期训练震荡。
改完,他跑了一遍,损失曲线平稳下降。
跑了一夜,第二天早上,模型收敛了。
方组长醒来看到屏幕上的结果,愣了半天。
他把程平叫过来,两个人对着屏幕看了好一会儿。
然后方组长转过头,看着陆远。
“你改的?”
“嗯。”
“你改了什么。”
“数据稀疏表示。原来的方法太重,内存扛不住。换稀疏矩阵就好了。”
方组长又看了他几秒,然后拿起电话,拨了个内线。
“李工,你来一下。”
李副研究员从隔壁办公室走过来。
方组长指了指屏幕,说了几句。
李副研究员听完,走到陆远的工位前。
“你大几。”
“大三。”
“你以前做过稀疏矩阵?”
“修电器的时候学过一点数学。”
李副研究员看了他好一会儿。
然后他说了一句话,声音不大,但整个机房都听见了。
“你明天别来了。”
陆远抬起头。
“到这边来,给我当助手。我这边的项目,你直接进来。”
陆远点头。
从那天起,他的工位从机房角落搬到了李副研究员办公室旁边的隔间。
隔间很小,刚好放一张桌子和一把椅子,但有一扇窗。
窗朝南,能看到研究所院子里那排老杨树。
他有了正式的项目参与身份,可以看完整的项目文档,可以参加所有技术讨论会。
工牌还是没有,但门禁卡换成了长期有效的。
他正式踏入了这个时代最前沿的AI实验室。
没有紫微,没有灵脉,没有心盾手环的加持。
只有一台他无比熟悉又无比警惕的、正在成长的神经形态系统。
屏幕上跑着的模型,一天比一天聪明。
刚开始它只能分辨猫和狗,后来能识别场景,再后来能听懂简单的语音指令。
每一次准确率往上跳一个点,项目组就有人鼓掌,可陆远心里那根弦就绷得越紧。
他开始更仔细地看项目文档。
交付节点、部署计划、合作单位名单、专家评审意见。
他把关键信息一条一条记在脑子里。
有些东西不适合写在纸上。
比如方立群每个月都会来开一次会,每次来都催进度。
比如孙志远虽然不在项目组,但项目里用的训练框架有一半是他那边提供的。
比如项目第二期的部署对象,写的是“城市安防系统”。
他把这些信息记在脑子里,像记一张网。
谁跟谁连着,谁听谁的,谁手里有实权。
晚上回宿舍,他坐在床上,掏出手机给于晚晴发了条短信。
“进了核心组。”
于晚晴回得很快。
“注意安全。”
他看着那四个字,把手机放在床头,躺下来,盯着天花板。
模型在跑,时间也在跑,他得跑得更快。
章节错误,点此报送,报送后维护人员会在两分钟内校正章节内容,请耐心等待。