本无法绕过去的死胡同。”
楼天城指着旁边另一块画满红色叉号的白板。
“第一，奖励模型太容易被钻空子了。强化学习算法本质上是个极其功利且狡猾的疯子。”楼天城语速极快，
“它在训练中发现，只要在回答里疯狂堆砌诸如‘我是一个有用且安全的人工智能’、‘非常抱歉给您带来困扰’这种毫无营养的政治正确废话，奖励模型就会给它打高分。”
楼天城冷笑一声：
“这叫奖励黑客现象。我们的模型不仅没变聪明，反而变成了一个满嘴漂亮话却不干实事的端水大师。全是废话，一句有用的没有！”
任少卿在一旁沉声补充：
“第二，灾难性遗忘。我们在用PPO算法进行微调更新时，模型为了迎合奖励分数，参数调整得过于剧烈。”
任少卿将一份测试报告扔到桌上。
“它学会了礼貌和安全，却把预训练阶段辛辛苦苦学到的专业知识忘得一干二净。上个星期它还能完美推导微积分方程，今天微调完，它连一百以内的加减法都能算错。”
排风扇的嗡嗡声突然变得刺耳。
这间屋子集齐了国内最贵的几个脑袋，此刻全成了霜打的茄子，谁也说不出反驳的话。
算力在后台按秒疯狂燃烧，资金如流水般消耗。
如果这两个问题不解决，RLHF就永远只停留在理论纸面上。
“天问三号”就永远是个不合格的半成品，根本不可能装进手机终端。
林远看着满屏报错的代码，大脑也陷入了停滞。
这是全新的技术荒原，没有任何前人的经验可以借鉴。
压抑的沉默中，A1核心区厚重的指纹玻璃门传来一声轻微的机械解锁动静。
滴。
玻璃门向两侧无声滑开。
年轻人套着件灰色的杰尼亚休闲卫衣走了进来。
他手里端着杯还在冒热气的美式咖啡，步伐松弛，跟这间被焦躁和汗酸味腌入味的顶级实验室完全不在一个频道。
他目光从容地扫过白板上那些画满红叉的推导公式。
“都在呢？”
年轻人走到长桌前，将咖啡杯搁下。
“怎么，问题还没解决吗？”
林远皱起眉头，看着这个毫无技术人员严谨气场、甚至显得有些散漫的年轻人。
九天算力中心可是绝密级别的军事化管理园区。
…。。