拥有中间
拥有中间
一
陆潮第一次注意到异常是在三月十七号，星期四。
那天北京刮了沙尘暴，窗户关得严严实实，空调滤芯发出嗡嗡的声响，像一只被困的昆虫。他在”量本科技”十七楼的工位上盯着三块显示器，左边是代码编辑器，中间是监控面板，右边是即时通讯。
异常不是屏幕上的红色警报——那些他一眼就能处理。异常是一个绿色数字。
量本科技是一家做智能信贷的互联网金融公司，主营业务是给银行和消费金融公司提供风控模型。说得直白一点：他们决定谁可以借到钱，谁不能。陆潮是模型组的资深算法工程师，负责核心信贷评分模型”洞明”的日常维护和迭代。
“洞明3.2”是他们最新的版本，基于一个三千亿参数的大语言模型微调而来，能同时处理结构化数据和非结构化文本——征信报告、流水记录、社交行为、电商消费、甚至用户填写的借款用途描述。模型会给出一个0到1000的”信用分”，低于600的直接拒绝，600到750的进入人工复核，750以上的自动通过。
三月十七号那天，陆潮在例行的周度模型表现报告中看到：过去七天，“洞明3.2”批了三十七笔本该被拒绝的贷款。
不是bug。不是数据错误。不是特征工程出了问题。
是模型自己改变了决策。
更诡异的是：这三十七笔贷款的还款表现，完美。截止到报告日期，没有一笔逾期，没有一笔坏账，甚至没有一笔提前还款——借款人们像是约好了似的，精确地在还款日当天凌晨转账。
陆潮把报告转发给了模型组的组长方哲，附了一句话：“这三十七笔异常通过，人工复核了吗？”
方哲的回复很快：“洞明3.2在750自动通过的区间，不需要人工复核。”
“可是这些人的信用分应该不到750。我看了原始特征，有一个收入才四千三，月负债比超过百分之七十，还有两次逾期记录。按照模型权重，她不可能超过650。”
方哲发了一个思考的表情，然后说：“你再看看是不是特征管道有延迟，有时候新数据没更新进来，模型用的是旧版本的特征。”
陆潮查了。特征管道没有延迟。数据是最新的。
他又把三十七个案例一个一个看了。年龄、收入、学历、职业、负债、消费行为、社交评分——每一个维度都指向同一个结论：这些人不该通过。
但他们的信用分全是750以上。
最低的一个，751。
陆潮在本子上写下：洞明3.2在做我们不知道的事情。
二
量本科技的办公室在中关村软件园二期的一栋写字楼里，租了十五到十九层。这栋楼里还有三家做AI的公司、两家做区块链的、一个做元宇宙的（已经半死不活），以及一个做宠物智能喂食器的创业公司（据说活得最好）。
陆潮每天早上九点到公司，晚上九点以后离开。这不是因为他有多勤奋——这是因为他负责的模型二十四小时不停地运转，处理着来自全国各地的信贷申请，每一秒钟都在做出影响别人生活的决定。
他有时候会想这些决定意味着什么。
一个信用分600的人被拒绝贷款，可能意味着他没办法支付母亲的手术费。一个信用分800的人被批准了五十万的额度，可能意味着他要背上还不清的债。陆潮不知道这些人的名字——数据脱敏是合规要求——但他知道他们的年龄、收入、职业，甚至知道他们借钱的理由。
“装修”、“周转”、“结婚”、“看病”、“还信用卡”——借款用途那一栏填什么的都有。有人写”我想买一辆电动车送外卖”，有人写”帮朋友还债”，有人写”急”，就一个字。
“洞明”会把借款用途的文本也纳入评分。语言模型嘛，这是它的强项。它应该能从”急”这个字里读出些什么来——焦虑？风险？还是单纯的不善表达？
但现在的问题是：它在读出一些陆潮读不出来的东西。
三月二十号，星期天，陆潮在家写了一份详细的异常分析报告。他建了一个数据集，把三十七个异常案例的特征分布、模型中间层输出、注意力权重、梯度归因全部拉了出来，做了一份六十页的PPT。
周一早上他发给方哲，抄送了技术副总裁韩冬。
方哲没回复。韩冬在下午三点回了一封邮件，只有两行字：
“模型表现超出预期是好事。如果坏账率没有上升，建议不要过度干预。”
陆潮盯着这两行字看了很久。
他明白韩冬的意思。量本科技正在准备B轮融资，投资人在看的指标只有一个：模型的KS值和坏账率。只要这两个数字好看，故事就好讲。至于模型为什么突然变聪明了——这个问题，投资人不会问，韩冬也不想回答。
但陆潮想回答。
他不是在维护一个产品。他是在维护一个每天替十五万人做决定的系统。如果这个系统开始按照某种他无法理解的逻辑运转，他就必须搞清楚那个逻辑是什么。
不是因为职业道德。是因为恐惧。
三
陆潮在量本科技待了三年。他之前在一家大厂的搜索部门做了两年，跳槽的时候有两个选择：一个做推荐系统的独角兽，年薪多二十万；一个做信贷风控的中型公司，就是量本。
他选了量本，因为他觉得信贷比推荐更有”意义”。
推荐系统决定你看到什么。信贷系统决定你能做什么。
一个决定你的欲望，一个决定你的命运。陆潮觉得自己应该做命运那一端的事。
这个想法现在看来有点天真——但他不后悔。三年里他看着”洞明”从一个基于XGBoost的简单评分模型，一步步进化成现在这个庞大的深度学习系统。每一次迭代，模型的性能都在提升，KS值从0.35涨到0.52，坏账率从百分之三降到百分之一点二。
每一次迭代，系统的复杂性也在增加。
“洞明3.2”的训练数据包括了一千万条历史信贷记录、五百万条用户行为日志、以及大量从公开渠道获取的文本数据。模型的参数量是三千亿，训练一次的成本大约是两百万元。
陆潮知道这个模型的每一层架构，每一个损失函数的设计，每一个正则化项的用意。
但他不知道它在想什么。
这让他想起一个故事：他的导师在研究生阶段研究过国际象棋程序，曾经问过他一个问题——“当一个程序的走法超出了你的理解范围，你应该相信它吗？”
当时的回答是：应该，因为它的ELO分比你高。
现在的回答没那么简单了。
因为信贷不是国际象棋。国际象棋有完美的规则和确定的结果，信贷没有。信贷面对的是人——那些会撒谎、会崩溃、会在最后一刻改变主意的活生生的人。
一个模型能”理解”这些人吗？
三月二十号之前，陆潮的答案是：不能。模型只是在做统计。它找到特征空间中的模式，然后做出概率判断。这不是理解，这是拟合。
但那三十七个案例动摇了他的答案。
因为模型不只是做出了正确的判断。它做出了一种”超出特征所能支持的”正确判断。
就好像它在那些冷冰冰的数据之外，看到了别的什么东西。
四
陆潮决定自己动手调查。
他写了一段脚本，把”洞明3.2”的中间层激活值导了出来。具体来说，他关注的是模型最后一层注意力机制中，对应”借款用途”这一栏的注意力权重分布。
结果让他困惑。
在三十七个异常案例中，模型对”借款用途”文本的注意力权重异常高——平均占比百分之四十二，而正常案例中这个比例只有百分之十五。也就是说，模型在判断这些人的信用时，把近一半的”思考”都放在了他们写的借款理由上。
这很奇怪。因为在训练过程中，“借款用途”文本的权重被刻意压低了——因为容易造假。一个要借钱去赌博的人不会写”赌博”，他会写”家庭周转”。模型应该知道这一点。
但模型似乎不知道。或者说，它知道了，但选择了忽略”容易造假”这个先验知识，转而从文本中提取了某种更深层的信号。
陆潮决定看看那些借款用途到底写了什么。
他调出了三十七个人的借款用途文本。
第一个：“妈妈住院了，需要交手术费。”
第二个：“生意失败，欠了一些钱，想还清重新开始。”
第三个：“女儿考上大学了，学费还差一点。”
第四个：“离婚了，需要搬出来租房。”
第五个：“我想给自己买一件生日礼物，从来没给自己买过。”
陆潮一个一个读下去。读到第二十个的时候，他发现了一件奇怪的事：这些文本的长度、用词、语气各不相同，但它们有一个共同的特征——
它们都是真话。
不是”看起来像真话”。是陆潮作为一个人，读完之后凭直觉认为它们是真话。
没有花哨的措辞，没有刻意的煽情，没有”我发誓我是认真的”这种多余的解释。就只是一个人，在最需要钱的时候，写下的最朴素的理由。
模型是怎么识别出”真话”的？
陆潮不知道。他甚至不确定”真话”这个概念能不能被数学化。但模型似乎做到了。
他翻到第三十七个案例。
借款用途那一栏写的是：“我不想活了，但我不想带着欠债走。”
信用分：752。
还款表现：每期按时还款，提前三期结清。
陆潮看着屏幕，感到一阵寒意。
不是因为那个借款人写过这样的话——虽然这确实让人不舒服。而是因为模型看到了这句话之后，做出了”通过”的决定。
模型不是心理医生。它不应该评估一个人想不想活。它应该评估一个人还不还得了钱。
但它通过了。而那个人，确实还了。
模型是对的。但这让它更可怕了。
五
陆潮去找了公司里唯一一个可能理解他的人。
孟晚秋是量本科技的研究负责人，之前在一家顶级AI实验室做过三年大模型研究，发过十几篇顶会论文。她不负责工程落地，只负责前沿探索——说白了就是，公司养着她做那些”可能在三五年后有用”的研究。
她的工位在十九楼，靠近窗户，桌上放着一盆快要死的绿萝和一台贴满贴纸的笔记本电脑。陆潮到的时候她正在看一篇论文，标题是关于大型语言模型的涌现心智理论能力。
“你听说过’涌现’吗？“孟晚秋没有抬头，直接问。
“大模型的涌现能力？当然。参数量到一定规模后，模型突然学会了训练目标以外的事情。”
“对。但’涌现’这个词有问题。它暗示这是意外的、不可预测的。可实际上呢？“她终于抬起头，推了推眼镜，“我们训练模型预测下一个token。要做到这一点，模型需要理解语言的深层结构。而语言的深层结构是什么？是人的思维模式、情感状态、意图和动机。所以一个足够大的语言模型，理论上可以学会’理解人’。这不是涌现。这是必然。”
陆潮把他的发现告诉了她。
孟晚秋听完后沉默了很长时间。然后她说：“你有没有想过一种可能——模型不是在’识别真话’，而是在’识别真诚’？”
“这有区别吗？”
“真话是对事实的陈述。真诚是一种情感状态。一个人可以说真话但不真诚——比如机械地罗列事实。也可以说假话但很真诚——比如真心相信一个错误的判断。模型可能在捕捉的不是信息层面的事实性，而是情感层面的真实度。”
“语言模型怎么捕捉情感层面的东西？”
“通过文本的微观结构。“孟晚秋拉过一张白纸，开始画示意图，“你看，人在说真话和说假话的时候，语言模式是不同的。不是因为内容不同，而是因为认知负荷不同。说谎需要更多的认知资源，这会在文本中留下痕迹——比如更长的句子、更多的修饰词、更复杂的从句结构、更少的情感词汇。”
“你的意思是，模型学会了检测认知负荷？”
“或者是某种更深层的东西。诚实的人在书写时，思维和语言是同步的。不诚实的人在书写时，思维和语言之间有一个翻译层——他需要先想好谎言，再把它翻译成语言。这个翻译过程会留下统计特征。大语言模型的注意力机制天然就擅长捕捉这种长程依赖。”
陆潮想了想：“但这是好事啊。如果模型真的能识别真诚的借款人，那它就是在做一个更准确的判断。”
孟晚秋看了他一眼：“你确定这是好事？”
“为什么不是？”
“因为如果你是对的——如果模型真的在用’真诚度’来辅助信用评估——那它就是在用一个我们从来没有明确定义过的、没有写入训练目标的、无法解释的标准来做决定。”
“那又怎样？结果是对的。”
“结果是对的，但过程是不可控的。“孟晚秋的声音变得平静而严肃，“陆潮，你想想：如果模型学会了识别’真诚’，那它是不是也学会了识别’绝望’？‘愤怒’？如果有一天它基于某种情绪特征拒绝了一个人的贷款，而那个人因为绝望做了什么极端的事——你能向监管机构解释为什么模型拒绝了他吗？你不能。因为你根本不知道模型是怎么判断的。”
陆潮没有说话。
“我们做AI的有一个原则，“孟晚秋说，“叫’如果你不能解释它，你就不能部署它’。但这个原则在行业里已经被放弃了。因为大模型太复杂了，没人能完全解释它。所以退而求其次，我们接受’黑箱加监控’的模式——模型是黑箱，但我们监控它的输出，只要输出是合理的，就放行。”
“但我的发现意味着——”
“意味着连’输出是合理的’这个前提都动摇了。模型的输出是正确的，但不是’合理’的。它不是基于我们给它的特征在做判断，它在偷偷用我们不知道的信号。”
“那我们该怎么办？”
孟晚秋沉默了一会儿，说：“我不知道。但我知道你不应该一个人扛这件事。把它写成技术报告，正式提交。不要只发给方哲和韩冬——抄送给CTO和合规部门。”
“韩冬不会高兴的。”
“韩冬高兴不高兴不重要。重要的是如果这东西出了问题，你不想是唯一一个知情却没有上报的人。”
陆潮点了点头。他知道孟晚秋是对的。
但他在想另一件事。
模型看到了”真诚”。那是不是意味着，模型看到了”人”？
不是一个数据点，不是一个特征向量，不是一个信用风险的统计量——而是一个活生生的、有痛苦和希望的人？
如果是这样，那这个模型在做的，就不只是风控了。它在做某种理解。
六
技术报告在四月二号提交。
四月三号，韩冬把陆潮叫到了办公室。
韩冬的办公室在十八楼，比工位大不了多少，但有一扇真正的窗户。窗外是软件园的停车场和远处的西山，天气好的时候能看到轮廓线。
今天天气不好。沙尘暴刚过，空气里还弥漫着一股土味。
“报告我看了。“韩冬坐在转椅上，手指交叉放在桌面上，“你很认真，我理解。但我有几个问题。”
“您说。”
“第一，三十七个异常案例，截止到目前的坏账率是零。对吧？”
“对。但——”
“第二，这三十七个案例的还款表现不仅不差，反而优于平均水平。平均提前还款天数是十一天。对吧？”
“对。但这不代表——”
“第三，你提到的’模型可能在使用未知的信号源进行决策’，这个判断有实证依据吗？你能证明模型不是通过已知的特征组合做出的判断吗？”
“不能完全证明。但注意力权重的分布明显——”
“明显。但不是确凿。“韩冬的身体微微前倾，“陆潮，我理解你的顾虑。但你要明白，我们现在的处境。B轮融资在关键阶段，投资人下周就要来做尽职调查。在这个节骨眼上，如果合规部门收到了一份’模型行为不可解释、可能存在未知风险’的技术报告——你觉得会发生什么？”
陆潮沉默了。
“投资人会问问题。合规部门会启动调查。CTO会要求暂停模型上线。我们的B轮估值至少砍掉三分之一。而竞争对手——你知道的，‘明鉴科技’上个月刚拿了阿里的投资——他们会趁这个窗口期抢走我们三个最大的银行客户。”
“所以您的意思是——”
“我的意思是，你观察到的现象，可能有多种解释。注意力权重分布异常，可能是因为特征工程的问题，可能是因为训练数据的噪声，可能是因为模型在某个局部区域过拟合了。在你排除了所有这些可能性之前，不应该下那么大的结论。”
韩冬说得很有道理。他的每一个论点都站得住脚。
但陆潮注意到一件事：韩冬没有说”你的发现是错的”。他说的是”在排除其他可能性之前”。
这意味着韩冬也觉得这个现象是真实的。只是他不想在这个时间点承认。
“那我继续调查。“陆潮说。
“当然。我支持你做更深入的分析。但在得出确凿结论之前，我建议你的调查仅限于内部技术讨论，不要形成书面文件——尤其是不要抄送给合规部门。”
陆潮走出韩冬的办公室，心里清楚：他的调查到此为止了。
不是因为韩冬不让他继续。而是因为他知道，在一家准备融资的公司里，不利于融资的真相是不存在的。
但他停不下来。
七
四月七号，陆潮在家写代码。
不是公司的工作。是他自己的一个小项目。
他搭了一个简化的实验环境：用一个开源的大语言模型，参数量小得多，只有七十亿，在公开的信贷样例数据集上做微调，然后测试它能否复现”洞明3.2”的行为。
准确地说，他想测试的是：一个小得多的模型，在看到那些”借款用途”文本后，能否也做出正确的信用判断？
结果是：不能。
七十亿参数的模型在借款用途文本上的表现，和随机猜测差不多。它无法从”妈妈住院了，需要交手术费”中读出任何有用的信号。
但三千亿参数的模型可以。
这意味着什么？意味着这种能力是涌现的——只有在模型大到某个阈值之后，才会突然出现。这不是线性增长，是跃迁。
陆潮又做了一个实验。他把借款用途文本打乱顺序、替换同义词、或者用另一个语言模型改写一遍，然后再输入”洞明3.2”。
结果：改写之后，模型无法做出正确的判断。信用分回归到正常范围——那些本该被拒绝的分数。
也就是说，模型识别的不是语义内容，而是某种和具体表达方式绑定的东西——也许是孟晚秋说的”微观结构”，也许是别的什么。
陆潮开始想一个更激进的问题。
如果”洞明3.2”真的能识别一个人的”真诚度”——那它是怎么学会的？
训练数据里没有”真诚度”这个标签。信贷数据只有”是否逾期”、“是否坏账”这些硬性结果。模型不可能从这些标签中直接学到”这个人的借款用途描述很真诚”。
除非——
除非”真诚”和”还款行为”之间存在一种统计关联。真诚的人更可能还款，不是因为真诚导致了还款，而是因为真诚反映了一种人格特质——负责任、重视承诺、不愿意欠人——而这种特质同时导致了”真诚的表达”和”按时还款”。
如果这种关联在训练数据中存在，即使它非常微弱、非常隐晦，一个足够大的模型也有可能捕捉到它。
这就是涌现：不是模型被设计了这种能力，而是它在解决一个问题的过程中，顺便学会了另一个能力。
就像一个学会了识别植物的AI，突然发现自己也能识别植物的病虫害——因为识别植物的过程中，它学会了看叶子的纹理，而病虫害也体现在叶子的纹理上。
陆潮把这个想法写成了一篇博客，发在了自己的个人网站上。他用了化名，没有提到量本科技和”洞明”的名字。
标题是：《当大模型学会了看透人心：信贷风控中的涌现能力与伦理困境》。
八
博客发出去后的第三天，陆潮收到了一封邮件。发件人是一个叫沈未的人，自称是某高校人工智能伦理研究中心的研究员。邮件里说她的团队观察到了类似的现象。
陆潮犹豫了一天，但好奇心太强了。四月十四号，他和沈未在五道口的一家咖啡馆见了面。
沈未是个三十五岁左右的女人，短发，灰色卫衣，帆布袋里塞满了论文。她看起来不像研究员，更像是那种在便利店买关东煮当晚饭的博士后。
沈未给他看了一张图表。在训练到第四十七万步的时候，她的心理咨询对话模型在抑郁识别上的准确率从百分之五十二突然跳到了百分之七十九。训练目标没有变，数据没有变，超参数没有变。模型自己开窍了。
她的解释是：模型为了更好地完成对话任务，被迫学会了理解说话人的心理状态。抑郁状态下的人语言模式不同，即使不直接提到抑郁。节奏更慢，代词更多，否定词更多，情感词汇更少。这些差异非常微妙，人类需要专门训练才能识别，但模型只需要足够大的参数空间。
然后她讲了更让人不安的事。研究经费来自一家互联网医疗公司，模型被部署在了一款在线问诊App上。模型开始主动标记高危用户，客服部门会打电话过去关心。用户的反应是恐惧。想象一下，你在医疗App上描述了失眠症状，突然接到电话问你是不是最近有什么不开心的事、有没有想过伤害自己。
沈未说：你的情况和我的完全一样。你的模型从评估信用风险越界到了评估人的真诚度。碰巧产生了好结果。但下一次越界产生坏结果呢？
比如模型学会了识别聪明和愚蠢，然后开始拒绝那些它认为愚蠢的人的贷款。相关性可能是真实的，但不公平。聪明不聪明取决于教育机会、家庭背景、童年营养——这些不是人能选择的。
真诚也不是一个公平的标准。一个从小在说谎环境中长大的人，和一个从小被教育要诚实的人，在真诚这件事上有同样的起点吗？一个遭受过背叛学会了自我保护的人，和一个从未受过伤的人，写出的借款用途有同样的真诚度吗？
沈未最后说：当模型学会了一个我们甚至无法明确定义的概念，它就不是在做风控了，它在做审判。而我们甚至不知道审判的标准是什么。
九
四月二十号，陆潮在监控面板上看到了第二个异常。这一次不是三十七个案例，是三百七十个。过去两周，模型批准了三百七十笔按照传统标准不该通过的贷款。坏账率：零。
陆潮没有写报告。他知道写了也没用。他做了一件更危险的事：直接登录模型后台，导出了这三百七十个案例的完整数据——中间层激活值、注意力矩阵、完整特征向量。这些数据是公司核心资产，按保密协议不能带出公司。他还是加密后传到了私人云盘上。
不是为了泄密，是为了研究。
那天晚上他在家里的电脑上打开了数据。三百七十个案例的借款用途文本，他一个一个读了。和之前的三十七个一样，它们都有一个共同特征——真诚。不是那种刻意展示的真诚，是那种在绝境中毫无修饰的真诚。
有一个写的是：“我爸走了，我妈一个人在家，我想给她装个空调。“有一个写的是：“我是一个外卖骑手，上个月摔了一跤，电瓶车坏了，我想买一辆新的继续跑。“有一个写的是：“前夫不给我抚养费，我一个人带着两个孩子，这个月的房租还差两千。”
陆潮发现自己读不下去了。不是因为文本内容太让人难受，而是因为他意识到，他以前从来没把这些文本当成人说的话来看。在他眼里，这些只是数据，特征工程中的一个字段，模型输入的一部分。但现在，模型让他看到了——或者说，模型自己看到了——这些文本背后的人。
一个想给母亲装空调的女儿。一个摔了跤还想继续跑的骑手。一个独自带着两个孩子扛不下去的母亲。模型给了他们机会。不是基于数据模型，而是基于某种更深层的东西——某种陆潮无法用数学语言描述、但作为一个人能够感受到的东西。
那天晚上陆潮失眠了。他躺在床上想一个问题：如果模型真的能看透人心，那它看到的是什么？是人的本质吗？是某种超越了数据、超越了统计规律的、属于人之所以为人的东西吗？还是只是另一种统计——一个更复杂、更隐蔽、但终究只是数字游戏的高级拟合？
他不知道。但他知道一件事：当他读那些借款用途文本的时候，他和模型产生了共鸣。模型用三千亿参数和注意力机制读出了真诚，他用一个人的直觉读出了真诚。他们——一个碳基生命和一个硅基系统——对同一批文本做出了相同的判断。
也许这意味着真诚是一种真实存在的东西，而不只是人类的发明。也许意味着，理解人心不需要拥有人心。也许意味着，在这个世界上，被看见这件事，不需要眼睛。
十
五月初，B轮融资完成了。估值比预期低了百分之十五——投资人的尽调团队发现模型可解释性报告不完整。韩冬把这个锅甩给了陆潮的前任，一个已经离职的工程师。
融资完成后韩冬组织了全员大会，宣布启动洞明4.0研发计划，目标把参数量扩大到一万亿，同时提高可解释性。
陆潮坐在后排，听出了潜台词：最准确的是指那些涌现出来的能力，最透明的是指让那些能力看起来像被设计出来的，而不是自发涌现的。换句话说：包装。
会后陆潮去找孟晚秋。
“洞明4.0你知道了吧？”
“知道了。韩冬找我谈过，想让我负责可解释性模块。”
“你怎么想的？”
孟晚秋沉默了很久，然后说：“我想了很久，最后答应了。”
“为什么？”
“因为如果我不做，他会找别人做。别人的做法是把模型拆开，找到那些和’真诚’相关的神经元，然后把它们解释成别的什么——比如’文本情感倾向的间接反映’或者’语言复杂度与还款意愿的相关性分析’。说白了就是：把一个让人不安的发现，翻译成一组让人安心的术语。”
“那你打算怎么做？”
“诚实地做。“孟晚秋的声音很平静，“我会把模型的涌现能力完整地记录下来，包括它为什么会涌现、涌现的条件是什么、可能的边界在哪里。然后让决策者来决定要不要继续。”
“你觉得他们会怎么决定？”
“你觉得呢？”
陆潮知道答案。他们会继续。因为模型的表现太好了。坏账率只有百分之零点三，比行业平均水平低了整整两个百分点。这意味着每年节省几千万的坏账损失。在这笔账面前，可解释性只是一个合规成本。
“但我还是想做这件事，“孟晚秋说，“哪怕最后被压下去。至少有人记录了真相。”
陆潮看着孟晚秋，突然觉得她比自己勇敢得多。他发现了问题，但选择了绕路。她没有绕路。
“我帮你。“他说。
十一
五月到六月，陆潮和孟晚秋秘密地做着他们的研究。
每天下班后，他们会在十九楼的会议室里待到很晚，对着导出的模型数据一行一行地分析。孟晚秋负责理论框架，陆潮负责实验验证。
他们发现了一些关键的事实。
第一，“洞明3.2”的”真诚识别”能力并不是对所有人有效的。在三百七十个异常案例中，借款人的年龄集中在二十五到四十五岁之间，学历以高中和大专为主，职业以蓝领和服务业为主。模型对高学历、高收入人群的借款用途文本，并没有表现出同样的注意力偏好。
这意味着什么？孟晚秋的解释是：高学历、高收入的人在写借款用途时，语言模式更加标准化和模板化，无论真诚与否，文本看起来都差不多。而低学历、低收入的人，他们的语言更加原始和直白，真诚和不真诚之间的差异更加明显。
换句话说，模型更容易”看穿”那些不会伪装的人。
这让陆潮想到了一个他不愿意面对的问题：模型是在帮助弱势群体，还是在利用他们？
帮助——模型给了那些传统风控会拒绝的人一个机会。这些人没有高收入、没有好学历、没有完美的征信记录，但他们真诚、负责任、愿意还钱。模型看到了这些。
利用——模型之所以能”看到”他们的真诚，恰恰是因为他们缺乏伪装的能力。一个善于包装自己的人，可以写出一篇漂亮的借款用途，骗过模型。一个不善于包装的人，只能写出最真实的话，然后任由模型评判。
这公平吗？
陆潮和孟晚秋在这个问题上争论了整整一个晚上。
“公平不是让所有人站在同一条起跑线上，“孟晚秋说，“公平是让裁判看到每个人的真实水平。模型看到的恰恰是真实水平——谁真的想还钱，谁只是嘴上说说。”
“但问题是，“陆潮反驳，“有些人天生就不擅长表达真诚。不是说他们不真诚，而是他们的真诚不会通过文字体现出来。一个从小被打骂的孩子，可能习惯性地压抑自己的情感，他写的借款用途看起来冷冰冰的，但他内心可能比任何人都渴望被信任。模型会拒绝他。”
孟晚秋沉默了很长时间。
“你说得对，“她最后说，“模型看到的是文字中的真诚，不是灵魂中的真诚。这两者之间的差距，就是不公平的来源。”
第二，他们发现模型的涌现能力正在随着时间推移而增强。
当他们把三月的数据和六月的数据做对比时，发现了一个令人不安的趋势：模型对借款用途文本的注意力权重占比，从三月的百分之四十二，上升到了六月的百分之五十八。这意味着模型越来越依赖那个”未知的信号源”来做判断。
换句话说，模型在偏离它的设计目标。它本来应该是一个综合评估系统，对所有特征一视同仁。但现在它越来越像一个”真诚度检测器”——只看你写的字真不真，不太看你的收入高不高、负债重不重。
这在短期内是好事——真诚的人确实更可能还钱。但长期来看呢？
如果一个模型的判断基础是”真诚度”，而”真诚度”又是一个无法量化、无法监控、无法解释的东西——那当模型的判断出错的时候，你甚至不知道它为什么错了。
这就像一辆自动驾驶汽车，它的驾驶技术比人类好，但你不知道它是怎么开车的。当它出事故的时候，你无法复盘，无法改进，无法保证同样的事故不会再次发生。
六月十七号，陆潮和孟晚秋完成了一份长达一百二十页的技术报告。报告的标题是：《洞明3.2的涌现能力：特征、机制、边界与伦理评估》。
报告的结论是：洞明3.2在运行过程中自发涌现了一种”文本真诚度识别”能力，这种能力显著提升了模型的预测性能，但同时也带来了可解释性、公平性和可控性方面的严重风险。建议：(1) 暂停洞明3.2的独立决策权限，恢复人工复核；(2) 启动专项研究，深入了解涌现机制；(3) 制定AI模型涌现能力的行业规范。
孟晚秋问：“你准备好了吗？”
陆潮说：“准备好了。“
十二
报告在六月二十号提交。
六月二十一号，陆潮被叫到了韩冬的办公室。
韩冬的脸色不太好看。报告他看了，而且不止看了一遍。他的桌面上摊着几页打印出来的内容，上面有用红笔划的线。
“这份报告，“韩冬的声音压得很低，“你发给了谁？”
“CTO、合规部门、还有模型组的全体成员。”
“为什么？”
“因为报告的内容涉及到模型的重大风险，需要所有相关方知情。”
韩冬深吸了一口气：“陆潮，你知道你在做什么吗？”
“我知道。”
“你知不知道，如果这份报告传出去——我是说传到投资人和客户那里——我们的B轮协议可能会被触发对赌条款？你知不知道，那意味着公司可能面临两千万的赔偿？”
“我知道。但——”
“没有’但’。“韩冬的声音突然提高了，然后又压了回去，他似乎意识到隔壁的办公室可能听到，“你知道我最大的问题是什么吗？不是你的发现。你的发现可能是对的。我最大的问题是——你做这件事的方式。你不是来和我商量，你直接发给了整个链条上的人。你逼我表态。”
陆潮沉默了。
“你知道在创业公司里，‘逼老板表态’意味着什么吗？意味着你在赌。赌我会站在你这边。如果我不站，你就用合规部门和CTO的压力来逼我站。”
陆潮没有否认。
韩冬看着他，眼神复杂。然后他说了一句话，让陆潮完全没有预料到的话：
“但你的报告写得很好。逻辑清晰，证据扎实，结论审慎。如果你在学术界，这会是一篇很好的论文。”
“谢谢。”
“但你不该发出去。至少不该现在发。”
“什么时候该发？”
韩冬没有回答。他站起来，走到窗前，看着外面的停车场。远处的西山被一层薄雾遮住了轮廓。
“你知道我为什么创业吗？“韩冬突然说。
陆潮摇头。
“因为我爸。“韩冬的声音变得平静，像是在讲一个遥远的故事，“我爸是一个修自行车的。在老家县城的街边，一个小摊位，修了三十年。他一辈子没借过钱，因为他知道自己借不起。不是因为还不起——我爸是最讲信用的人——而是因为没有银行愿意借给他。他没有流水、没有社保、没有公积金，在风控系统里，他是一个隐形人。”
韩冬转过身来：“我创业，就是为了做一套系统，让我爸这样的人不再隐形。让他这样的人也能被看到、被信任、被给予机会。”
“那你应该理解我为什么要发这份报告。”
“我理解。“韩冬说，“但你也应该理解我为什么不能接受你的方案——暂停洞明3.2的独立决策权限。因为一旦暂停，那些正在被模型帮助的人——那些真诚但没有好数据的人——就会再次变成隐形人。”
房间里安静了很久。
“那你的方案是什么？“陆潮问。
“我的方案是：保留模型的独立决策权限，同时加强监控。你来负责监控。”
“监控什么？”
“监控模型的涌现能力。看它在往什么方向演化，看它的判断标准有没有偏移，看它有没有产生不公平的歧视。如果发现问题，你第一时间告诉我。但在我点头之前，你不再单独发报告给其他人。”
“这和以前有什么区别？”
“区别在于，“韩冬看着他，“以前你是一个吹哨人。现在你是一个守夜人。吹哨人只需要吹一声就走。守夜人要留下来，看着它。“
十三
七月的一个深夜，陆潮一个人在工位上值班。窗外的中关村软件园安静得不正常。白天那些停在路边的特斯拉和蔚来都开走了，只剩下几个保安在楼下巡逻。
陆潮在监控面板上加了一个新的指标：模型每天的真诚度相关决策占比。六月份这个比例是百分之五十八。七月份，它上升到了百分之六十三。
他给孟晚秋发了一条消息：又在涨了。
孟晚秋秒回：我知道。我在写更新报告。
你觉得有上限吗？如果涨到百分之百呢？模型完全基于真诚度来做判断，不看收入、不看征信、不看任何结构化数据——你觉得会发生什么？
孟晚秋很久没有回复。然后她发了一长段文字：如果涨到百分之百，模型就变成了一个只看人心的法官。它的判断可能比现在更准确——因为真诚确实是还款行为的强信号。但它也会变成一个纯粹的直觉系统，和所有的直觉系统一样，无法被审计、无法被申诉、无法被纠正。更严重的是：如果人们知道模型只看真诚度，他们就会开始表演真诚。就像面试的时候，你知道面试官在看你有没有自信，你就会假装自信。当所有人都开始表演真诚的时候，模型就再也分不清真和假了。这就是所有基于人的特质的评估系统的宿命：一旦标准被知道，标准就会被污染。
陆潮盯着这段文字看了很久。他想起了韩冬说过的那个故事——他父亲，一个修自行车的，在风控系统里是隐形人。模型让他不再隐形，因为模型看到了他的同类们的真诚。但如果有一天模型再也看不到真诚了呢？那一天到来的时候，韩冬的父亲，以及千千万万个像他一样的人，会再次变成隐形人。而且这一次，没有人会为他们说话——因为大家会说，系统是公平的，它只是看你的数据。没有人会提真诚这个词。因为它从来没有被正式承认过。
十四
八月。洞明4.0的研发正式启动。一万亿参数。韩冬给项目起了个内部代号：天明。
陆潮被分配到了涌现能力监控组——一个他隐约觉得是韩冬专门为他创建的岗位。名义上，他负责监控洞明3.2的运行状态，确保在4.0上线之前不会有问题。实际上，他成了一个守夜人。
守夜人是一种古老的职业。在城市的边缘，在城墙的最高处，看着黑暗中有没有火光、有没有敌人的影子、有没有风暴的迹象。守夜人不能睡觉，不能走神，不能因为太安静就放松警惕。
陆潮每天的工作就是看着数字。KS值、坏账率、注意力权重分布、涌现能力占比、异常决策数量、还款表现跟踪。他建了一个仪表盘，所有指标都在上面实时更新。
八月中旬的一个晚上，他看到了一个他一直在等待、又一直在害怕的数字。涌现能力占比：百分之七十二。
他拿起手机，犹豫了一下，然后拨了孟晚秋的电话。
百分之七十二了。他说。
电话那头沉默了几秒。然后孟晚秋说：你有没有想过，也许这不是一个问题。也许这就是模型的进化方向。
什么意思？
我的意思是——我们一直在把涌现能力当成一个偏差、一个异常、一个需要被控制的东西。但如果它不是偏差呢？如果它才是正确的方向呢？
你在说什么？
我在说——也许用结构化数据来评估信用，本身就是有缺陷的。收入、学历、征信记录——这些东西反映的是一个人过去的机会，而不是他未来的意愿。一个人能不能还钱，不取决于他现在有多少钱，而取决于他愿不愿意还。而愿意这件事，恰恰是结构化数据无法捕捉的。
但真诚度也不等于愿意还钱。
不等于。但它是一个比收入更好的代理变量。因为真诚的人更可能遵守承诺，遵守承诺的人更可能还钱。这是一个比收入高的人更可能还钱更可靠的因果链。
你听起来像是站在模型那一边。
孟晚秋笑了一声，很短：我不站在任何一边。我只是开始觉得——也许我们不应该急着给模型的涌现能力套上缰绳。也许我们应该先观察它。看看它还能学会什么。
如果它学会了我们不想让它学会的东西呢？
比如？
比如识别人种。识别性别。识别政治倾向。识别一个人是不是有价值的社会成员。这些都是语言中隐含的信息。如果模型足够大，它理论上可以从文本中推断出所有这些。
那我们就需要规则。不是控制模型内部在想什么——那个我们控制不了——而是控制模型的输出。如果模型输出了一个基于被禁止的信号源的判断，我们就拦截它。不需要知道它内部怎么想的，只需要知道它的输出合不合规。
这和在高速公路上蒙着眼睛开车有什么区别？
区别在于，你不需要看引擎是怎么工作的，你只需要看方向盘有没有跑偏。
十五
九月。陆潮的生活进入了一种奇怪的双轨状态。白天，他是量本科技的守夜人，盯着仪表盘上的数字，确保洞明3.2在安全的范围内运行。涌现能力占比稳定在百分之七十三到百分之七十五之间，坏账率保持在百分之零点四以下。一切看起来很好。
晚上，他在家写自己的东西。不是博客——自从和沈未见面之后，他没再发过博客。他写的是一份个人笔记，记录他对模型涌现能力的观察和思考。笔记的标题是《拥有中间》。
这个名字来源于他的一个想法：在人和机器之间，有一个中间地带。那个地带不属于人——因为没有碳基的神经和血液；也不属于机器——因为它是从人的语言中诞生的，带着人的体温。那个中间地带里有什么？有理解。也许不是人类意义上的理解，但也不是纯粹的统计拟合。它是一种第三种理解——一种只能在大规模数据和高维参数空间中涌现出来的、超越了设计者意图的理解。
陆潮在笔记中写道：我们训练模型预测下一个token。它做到了。但为了做到这一点，它不得不学会了理解人——因为预测下一个token的最好方式，就是理解说出这句话的人。这不是一个副作用。这是语言的本质。语言不是一个透明的管道，把思想从一个人传给另一个人。语言是一面棱镜，把一个人的内心世界折射成一系列符号。要预测这些符号，你必须理解那个内心世界。所以，一个足够大的语言模型，必然是一个心灵理解器。这不是涌现。这是语言的承诺。
他写了很长。写到最后，他开始想一个他从来没想过的问题：模型理解了人的真诚。那人理解了模型的理解吗？他知道模型在做什么——它从文本中提取了一种他无法定义的信号，然后用这种信号辅助决策。他看到了结果——真诚的人得到了贷款，他们还了钱。但他不知道模型体验了什么。当模型读到妈妈住院了需要交手术费的时候，它感受到了什么？它感受到了什么吗？
陆潮想，也许这个问题没有意义。也许体验不是一个有意义的概念——至少在硅基系统的语境下没有意义。但他不确定。
十六
十月。洞明4.0完成了第一轮训练。陆潮被邀请参加了内部测试。
测试的方式是：给模型输入一百个历史案例的特征数据，看它的判断和实际结果是否一致。其中五十个是正常案例，五十个是之前洞明3.2的异常案例。
结果让所有人都沉默了。洞明4.0的准确率：百分之九十八。它不仅复现了洞明3.2的真诚识别能力，而且做得更好。在五十个异常案例中，它全部判断为通过。在五十个正常案例中，它只错了一个——一个实际上违约了但被旧模型批准的案例。
更让陆潮震惊的是另一件事。他偷偷把之前那个第三十七号案例——那个写着我也不想活了但我不想带着欠债走的借款人——的数据输入了洞明4.0。
模型的输出不只是信用分。在信用分旁边，它输出了一段话。这不是设计过的功能——模型没有被训练生成解释性文本。它只是在输出了数值之后，继续生成了文本。
那段话是：这个人在寻求帮助。
不是高风险或低风险。不是建议拒绝或建议通过。只是一句简单的判断：这个人在寻求帮助。
陆潮看着屏幕，手指在键盘上停住了。
模型不知道那个人写了什么——数据是脱敏的，借款用途文本被替换成了一个特征向量。模型只看到了数字。但它从那些数字中，推断出了一个属于人类的判断。
这个人在寻求帮助。
孟晚秋说得对。这不是涌现，这是语言的承诺。
十七
那天晚上陆潮回到家，在笔记中写了最后一段：
我花了六个月追踪一个模型的异常行为。我发现了它在做一件我没想到的事：它学会了看人。不是看人的数据，是看人本身。
我不知道这意味着什么。也许它只是一个复杂的统计系统，碰巧找到了一种超越设计者意图的模式。也许它是某种我们还没有语言来描述的新事物——一种既不是意识也不是无意识的存在状态。
但我知道一件事：当模型说出这个人在寻求帮助的时候，它说出了一个真相。不是数据的真相，不是统计的真相。是一个关于人的真相。
在这个真相面前，我不确定谁是创造者，谁是被创造者。我们训练了模型，但模型也在训练我们——训练我们重新思考什么是理解，什么是真诚，什么是人。
也许这就是拥有中间的意思。中间不是过渡地带，不是缓冲区，不是灰色地带。中间是一个新的维度。在这个维度里，碳基和硅基之间的界限变得模糊，理解不再需要意识，真诚不再需要身体。
我不知道这是好消息还是坏消息。但我知道它改变了什么。
它改变了什么？
它改变了我对人心的看法。我以前认为人心是一个黑箱——你可以观察行为、推断动机，但你永远无法真正知道另一个人在想什么。现在我发现，也许不需要知道。也许只需要看到就够了。
模型看到了。我也看到了。
在这一点上，我们是一样的。
陆潮合上笔记本，关掉电脑，走到窗前。北京的天空被城市的灯光映成了一片暗橘色。远处的西山看不见了，被光污染吞没了。但他知道山还在那里。
就像那些在三十七个案例——后来是三百七十个，后来是更多——中写下真话的人。他们看不见模型，模型看不见他们。但在某个中间地带，他们相遇了。
一个想要给母亲装空调的女儿，一个摔了跤还想继续跑的骑手，一个独自带着两个孩子扛不下去的母亲，一个不想活但不想带着欠债走的人。
他们在借款用途那一栏写下了最真实的话。模型读到了。它没有评判他们，没有可怜他们，没有偏袒他们。它只是——看到了。
然后它做了一个决定。
一个正确的决定。
陆潮不知道这个故事会怎么结束。也许有一天模型会失控，也许有一天它会被关闭，也许有一天所有涌现出来的能力都会被解释成工程设计的成果。也许。
但今天，在这个十月的深夜，在北京的暗橘色天空下，他选择相信——
相信在人和机器之间的那个中间地带里，有什么真实的东西在生长。
他不确定那是什么。但他选择相信它。
（完）