闻香书斋

字: 大 中 小
关灯 护眼
闻香书斋 > 重生1998:从下岗工人到全球首富 > 第一千零二章 一天比一天聪明

第一千零二章 一天比一天聪明


陆远进研究所的第三周,才拿到门禁卡。
  之前两周,他每次来都要在前台登记。
  保安翻着本子找他的名字,然后打电话确认,再让他押身份证,换一张临时通行证。
  每天如此。
  他不催,也不解释。
  前台小姑娘后来认识他了,提前把登记表填好,他来只需要签个字。
  实验室在七楼。
  研究所的主楼是九十年代盖的,电梯慢,楼道窄,墙上挂着褪色的学术活动海报。
  七楼走廊尽头是项目组,三间办公室加一间机房。
  陆远的工位在机房角落,一台旧工作站,显示器还是CRT的。
  没有人给他安排具体任务。
  副研究员李工忙,每天开不完的会。
  其他人各管一摊,谁手头忙不过来就喊一声:“陆远,帮我看下这个。”
  他就去。
  一开始是搬数据。
  从服务器上导出图像和语音的配对数据集,拷到移动硬盘里,再导进训练机。
  数据量不大,但格式乱。
  同一段语音配了三个不同版本的图像标注,时间戳对不齐。
  他花了两天,写了个脚本,把三版标注合并成一份。
  又写了个校验程序,把时间戳偏移超过两秒的样本全挑出来,重新对齐。
  做完了,他把脚本和说明放在公共目录里。
  没人问,但后来大家都开始用他的脚本导数据。
  再后来是调参数。
  第一组的模型训练卡在损失不降的阶段,组长程平试了七八种学习率策略,没用。
  陆远在旁边看了半天,说了一句话。
  “把批量大小从三十二改成一百二十八。梯度累积两步。”
  程平试了,损失开始降。
  程平问他为什么。
  他说:“样本方差大。小批量梯度噪声太大,模型学不到东西。批量上去,梯度稳了,再累积两步等效更大批量。收敛就顺了。”
  程平点头,没再说什么。
  但第二天开会,他在会上提了一句:“陆远那个批量调整的思路,可以推广到其他组。”
  真正让所有人愣住的是第四周。
  项目组要做一个跨模态对齐的功能。
  给定一段语音和一张图像,模型要判断它们是否描述同一个场景。
  这需要在训练中把语音特征和图像特征映射到同一个语义空间,并用对比损失拉近正样本对的距离。
  负责这块的是第二组,组长姓方,二十七八岁,脾气急。
  他带着两个人熬了三天三夜,函数就是跑不通。
  训练一开始就发散,损失直接跳到无穷大。
  第三天晚上,所有人都撑不住了。
  方组长让其他人先回去睡,自己趴在桌上眯一会儿。
  机房只剩陆远一个人,他没走。
  他坐在自己的工位上,把方组长写的代码从头到尾读了一遍。
  问题出在数据稀疏表示上。
  原始方法把语音和图像的特征向量都做成了稠密矩阵,维度高,内存占用大。
  一旦批量上去,显存就爆。
  方组长为了解决这个问题,手动把批量降到了八。
  批量太小,对比学习根本没法做。
  负样本不够,模型学不到区分性。
  陆远没有改批量,他改了稀疏表示。
  把稠密矩阵换成稀疏矩阵格式,只存储非零元素。
  内存占用一下子降到了原来的十分之一,然后他把批量加回到六十四。
  又加了一层梯度裁剪,防止早期训练震荡。
  改完,他跑了一遍,损失曲线平稳下降。
  跑了一夜,第二天早上,模型收敛了。
  方组长醒来看到屏幕上的结果,愣了半天。
  他把程平叫过来,两个人对着屏幕看了好一会儿。
  然后方组长转过头,看着陆远。
  “你改的?”
  “嗯。”
  “你改了什么。”
  “数据稀疏表示。原来的方法太重,内存扛不住。换稀疏矩阵就好了。”
  方组长又看了他几秒,然后拿起电话,拨了个内线。
  “李工,你来一下。”
  李副研究员从隔壁办公室走过来。
  方组长指了指屏幕,说了几句。
  李副研究员听完,走到陆远的工位前。
  “你大几。”
  “大三。”
  “你以前做过稀疏矩阵?”
  “修电器的时候学过一点数学。”
  李副研究员看了他好一会儿。
  然后他说了一句话,声音不大,但整个机房都听见了。
  “你明天别来了。”
  陆远抬起头。
  “到这边来,给我当助手。我这边的项目,你直接进来。”
  陆远点头。
  从那天起,他的工位从机房角落搬到了李副研究员办公室旁边的隔间。
  隔间很小,刚好放一张桌子和一把椅子,但有一扇窗。
  窗朝南,能看到研究所院子里那排老杨树。
  他有了正式的项目参与身份,可以看完整的项目文档,可以参加所有技术讨论会。
  工牌还是没有,但门禁卡换成了长期有效的。
  他正式踏入了这个时代最前沿的AI实验室。
  没有紫微,没有灵脉,没有心盾手环的加持。
  只有一台他无比熟悉又无比警惕的、正在成长的神经形态系统。
  屏幕上跑着的模型,一天比一天聪明。
  刚开始它只能分辨猫和狗,后来能识别场景,再后来能听懂简单的语音指令。
  每一次准确率往上跳一个点,项目组就有人鼓掌,可陆远心里那根弦就绷得越紧。
  他开始更仔细地看项目文档。
  交付节点、部署计划、合作单位名单、专家评审意见。
  他把关键信息一条一条记在脑子里。
  有些东西不适合写在纸上。
  比如方立群每个月都会来开一次会,每次来都催进度。
  比如孙志远虽然不在项目组,但项目里用的训练框架有一半是他那边提供的。
  比如项目第二期的部署对象,写的是“城市安防系统”。
  他把这些信息记在脑子里,像记一张网。
  谁跟谁连着,谁听谁的,谁手里有实权。
  晚上回宿舍,他坐在床上,掏出手机给于晚晴发了条短信。
  “进了核心组。”
  于晚晴回得很快。
  “注意安全。”
  他看着那四个字,把手机放在床头,躺下来,盯着天花板。
  模型在跑,时间也在跑,他得跑得更快。

章节错误,点此报送,报送后维护人员会在两分钟内校正章节内容,请耐心等待。