2024 年初发表的一篇论文测试了 11 个主流大模型在心理诊疗摘要任务上的表现。跑分冠军 MentalLlama 在自动评测中遥遥领先，但人类专家的盲审结论却是：这些模型在临床敏感维度上集体失灵，尤其对自杀风险和疗效评估几乎无能为力。
ROUGE-1 拿到 30.86 ，是胜利还是笑话
在 MentalCLOUDS 数据集（ 191 场心理咨询对话）的竞技场上， MentalLlama 以 ROUGE-1 F1 值 30.86 的成绩登顶。这个数字乍看很美——比第二名高出几个点，在"症状与病史"摘要子任务上一骑绝尘。但任何盯着这一行数字超过十秒的人都会发现一个尴尬的事实： ROUGE-2 只有 5.46 ， ROUGE-L 仅 19.4 。这不是"碾压式胜利"，而是一场集体低分竞赛中的相对领跑，所谓"领先"，不过是矮子里拔将军罢了。
更值得玩味的是研究者的实验设计。他们用 ROUGE 和 BERTScore 这类 n-gram 重叠和语义相似度指标作为自动评分标尺，得出"领域微调模型显著优于通用模型"的结论。 Mistral 这个未经心理领域微调的通用模型，甚至能跟精调过的 MentalBART 掰手腕。听起来像是一个"专业训练有用"的标准 AI 成功故事，对吧？是的你没看错，幽默不？当一项技术的核心证据建立在"30 分比 25 分强"这种微弱差距上时，我们讨论的早已不是性能差距，而是测量噪声本身。
自动评测的尺子在心理诊疗这个领域，从一开始就是歪的。 ROUGE 系列指标本质上是"答案与标准答案有多少词重合"，它无法判断一段摘要是否抓住了来访者那句"我最近总是失眠"背后的绝望底色，更无法分辨模型是在复述还是在理解。当裁判看不懂比赛，冠军的含金量就约等于零。
专家一上场， AI 就露馅
研究者没有止步于跑分。他们邀请人类专家对模型输出进行盲审，结果与自动评测的"乐观叙事"完全撕裂。在"机会成本"和"感知疗效"这两个临床最关键的维度上，几乎所有模型都交出不及格答卷。
什么是机会成本？简单说就是：在咨询师选择 A 干预方式时，放弃了哪些可能的 B 、 C 、 D 路径。这个判断需要临床经验、对来访者人格结构的理解、以及对疗法理论框架的掌握。 AI 在"区分咨询组件"这一基础任务上就已经左支右绌——它搞不清一段对话究竟属于"症状探索"还是"反思性陈述"，遑论在此基础上做治疗决策的利弊权衡。
更刺眼的盲点在于自杀风险识别和疗效技术评估。研究者明确写道，模型在"管理病史和检查方面表现出色，但面对治疗性对话这类技术性、敏感性内容时捉襟见肘"。换句话说，AI 擅长的是结构化信息的搬运，最不擅长的恰恰是心理治疗的核心战场——人与人在绝望中的对话本身。 这就像一个医学影像 AI 能精准测量肿瘤直径，却告诉医生"看不出这是良性还是恶性"——技术上完成了任务，临床上毫无用处。
研究者还披露了一个反直觉的发现：模型经常搞混不同的咨询组件，在生成摘要时把"病史采集"和"反思性陈述"的内容混为一谈。这种组件级别的混乱，意味着任何下游的临床决策都建立在沙地上。
趋势里的真相：通用模型的反超信号
研究里还埋了一个容易被忽视的彩蛋：未经过心理领域微调的通用模型 Mistral ，在多个指标上与精调模型打得有来有回。这违反了"专用模型必胜"的 AI 行业信条，却恰恰揭示了趋势的本质。
短期看，领域微调带来的是机械性的指标提升；长期看，通用模型的能力天花板正在以更陡的斜率被抬高。本研究测试的全部是开源、 7B 参数以下的模型——研究者坦承这是硬伤。 GPT-4 、 Claude 、 Gemini 这些闭源巨头尚未被纳入基准测试，当这些底座足够强的模型下场时，今天的"领域精调优势"很可能被碾压成历史注脚。
而这场能力竞赛的波及面，远不止心理诊疗一个领域。这包括并不限于：教育辅导、法律咨询、医疗问诊、政务热线、危机干预、儿童保护、家庭调解、临终关怀、灾后心理重建。看静止的跑分表是弱者的自我安慰，技术代际更替带来的能力斜率，才是决定 AI 能否进入高风险领域的真正底牌。 在心理诊疗这片最考验"理解"深度的战场上，跑分王座的更迭速度将远比我们想象的更快——而真正的王者，或许根本不会出生在心理咨询这个垂直赛道上。
本文基于 arXiv:2402.19052 （ Exploring the Efficacy of Large Language Models in Summarizing Mental Health Counseling Sessions: A Benchmark Study ）