可信聚合始于可溯源：智能体社会科学的瓶颈已从能力转向问责

1　引言

过去一段时期，语言模型与智能体以肉眼可见的速度进入社会科学家的工作台：读文献、起草案、贴标注、写初稿，流水线上原本由研究助理承担的环节，正在被可以几乎无限扩容的模型接管。提速是真实的；但另一面同样真实——工具越强，输出越难逐条拆开看。当一篇论文里的每一个标注、每一次数据清洗都由模型代劳，「这个结论是怎么来的」就不再是不言自明的问题，而是一个必须被制度性回答的问题。近期两项研究恰好从工具与教育两端把这个问题摆上桌面：一项追问代码书驱动的语言模型内容分析究竟是否可靠，另一项追问健康人工智能的未来从业者是否学过追问数据的来路。两问殊途同归，指向同一件事：智能体进入社会科学之后，信任链必须从个人的隐性习惯，变成项目的显性制度。否则，提速能力与验证能力之间的剪刀差只会越张越大，研究的产出规模与研究的可信程度将不再同步。

2　领域进展评述

2.1　分数背后的失败模式：自动内容分析的真实可靠性

计算社会科学长期依赖人工编码员按代码书标注文本，代码书的职责是把这个领域的理论概念转译为可操作的标注方案。语言模型出现之后，这套流程遇到的第一个诱惑是用模型替掉人工：预测性能的总体得分常常不低，成本更低，规模还能任意放大。表象确实诱人，问题也恰恰藏在这层表象里。Senger 等人的研究冲着这层表象而去：他们没有停留在总体分数，而是把代码书驱动的语言模型标注当作可能出错的分析对象，展开大规模的失败模式考察——在先前工作所报告的强预测性能之下，这些系统能否在不同条件下稳定产出与理论概念一致的标注。这项工作的立意可以概括为一句话：高分与可靠不是同一回事。总体得分擅长概括平均表现，而社会科学的结论依赖的是逐条标注的可信；平均数无论多漂亮，都兜不住个别条件下塌陷的失败。这一转向把评估从排名竞赛重新拉回标注质量的语义层面，也把代码书重新推到台前：模型再强，它读的仍是人写下的代码书；代码书里的模糊与缺口，会以失败的形式原样回流到结论里。对依赖自动标注的下游研究而言，这意味着每一份亮眼评测报告都需要追问一句：逐条核对过吗，失败模式翻过吗。

2.2　数据来源教育：临床智能体敲响的上游警钟

Giancotti 等人把镜头转向另一个部位：培养人的体系。他们研究的起点是临床领域反复被验证的事实——部署后的临床智能系统出现故障，原因常可上溯至训练数据的生成方式。数据从哪里来、以何种方式清洗和标注，这些上游决策会在模型上线很久之后反噬下游。顺着这条因果链，他们提出一个此前少有人正面回答的问题：训练健康人工智能劳动力的教育项目，是否在课堂上教授数据来源的审查？为此，他们对美国高校公开的课程文本作横断面分析，把「数据来源素养」从一种圈内默契，变成可以逐项检验的对象。这项工作的价值不在于给出一个非黑即白的答案，而在于提供了一个检查表式的提问框架：一个从业者走出校门时，会不会本能地问——这批数据的来路是什么，谁在什么条件下生成的它，它的缺口将以何种方式进入下游结论。这道问题意识一旦缺席，下游再精细的模型评估，也只是在受污染的地基上反复测量精度。对社会科学而言，这一警告尤其贴切：分析对象本就复杂，若连训练数据自己的出处都说不清，任何关于社会的断言都多了一层说不清的地基。

2.3　从单一工具到社会化协同：可审计性作为公共品

把两项研究放进同一坐标系，可以看见它们恰好覆盖智能体研究流水线的两端。一端是物：模型替人完成的每一项标注，其可靠性需要独立于总体分数的检验；另一端是人：研究者与从业者需要被系统地教会追问数据来源。这两件事原本常被视为各自领域内的技术细节，实则是同一枚硬币的两面——一个依赖智能体的社会科学，若只有能力评估而没有问责结构，协作规模越大，不可验证的输出累积得越快，错误也传播得越体面。当前相当多的实践仍停留在论文脚注式的自觉：来源写在脚注里，失败归因靠口头经验，逐条追踪依赖研究者个人美德。两项研究共同的推进在于，它们把这种“凭自觉”的问题改造成可考察、可比较、可补课的公共问题。一旦问题成为公共的，改进就不再取决于个别人的良知，而取决于整个共同体的协作标准。

3　方法论意涵

socienceAI实验室认为，这两项进展的价值一半在结论，一半在方法论姿势：不给模型的表现贴一枚分数了事，而是追问失败藏在哪里；不假设从业者天然具备来源意识，而是把培养体系本身当作考察对象。这与我们的基本立场相合：智能体的价值在于增强而非替代研究者的判断，社会化协同智能的关键不在个体能力涌现，而在分工之后的可信聚合。分工把研究流水线切成了选样、标注、清洗、写作、评估的段块，每一段都可以由模型完成得很漂亮，但漂亮不等于可信——不可验证的协同只是噪声放大器。评价任何智能体系统，第一个问题不应是它跑得多快、得分多高，而应是：它的信任链是否可审计，失败是否可归因，知识是否可溯源。由此可推出两条可操作的要求。其一，逐条可核验的标注记录应当成为自动内容分析的出厂配置，而不是事后补丁；模型给出的每一个标签，理论上都应能被独立复核，失败案例应能被集中清点。其二，来源意识不能依赖个人悟性，它必须被写进培养方案的必修部分，正如研究伦理之于实验科学：不是高分者的选修兴趣，而是从业者的底线训练。

4　挑战与展望

现实的阻力至少有三层。先说评估惯性：排行榜文化根深蒂固，总体分数易于传播、便于比较，而逐条核验成本沉、又产不出光鲜的结果，激励结构天然偏向前者。再说教育滞后：健康智能领域把数据来源的考察推进到课程层面已属少数，社会科学自身训练体系对「模型代劳之后如何问责」的回应更加迟缓；等到新一代研究者习惯了把判断外包给模型，再补这一课，代价会更高。最后是基础设施缺位：来源记录、失败归因、逐条追溯，如今大多依赖研究者自觉与项目脚注，缺少类似版本控制之于软件工程的那种默认约束。好在拼图的碎片并未缺席，缺的是把散落的碎片收敛成默认标准的合力。这两项研究各自贡献了一角：一个给出工具侧的失败坐标系，一个给出教育侧的检查表。

socienceAI实验室认为，尽管阻力具体而顽固，方向是清晰的：这两项工作把原本悬在空气里的疑虑，变成了可以逐项检验的对象——这本身就让可信聚合更近了一步。缺的那块拼图也随之显形：把来源与失败归因做成智能体流水线的显性构件——每一次自动标注挂上来源指针，每一次异常输出能定位到条件与环节，每一条训练与清洗决策留下可回溯的痕迹。哪一天这些约束成为默认而非美德，社会科学才真正配得上流水线上的机器帮手。在那之前，宁可慢一些，也要让每一条由智能体产出的证据，经得起回看。

参考文献

1. [1] Giancotti R, Santucci F, Anjum A, 等. Data Provenance and Ethics in the Curricula of U.S. Health AI Education Programs[EB/OL]. arXiv:2610.39606 (2026-10-29)[2026-10-07]. https://arxiv.org/abs/2610.39606
2. [2] Senger E, Campbell Y, van der Goot R, Plank B. High Scores, Hidden Failures: Evaluating Codebook-Based LLM Content Analysis[EB/OL]. arXiv:2610.35179 (2026-10-26)[2026-10-07]. https://arxiv.org/abs/2610.35179