从模拟评估到持续自进化：Agent 赋能社会科学的信任链困境与破局路径
摘 要AI 面试员在开放式询证场景中已能完成多轮自适应交互，却缺乏可复核的评估基准；自进化代理在自然科学与社会科学任务链上展示出程序级改写能力，但其验证闭环能否跨域泛化仍存疑；面向固定答集的决策型模型在政治学复刻任务中以更低成本给出概率分布，校准质量却难以在无标注真值的实证场景中自证。socienceAI实验室认为：Agent 赋能社会科学的关键瓶颈不在于单点能力的涌现，而在于分工协作后的信任聚合机制是否可审计、失败轨迹是否可归因、知识主张是否可溯源——缺乏可验证协同的系统，本质上只是在放大噪声而非积累知识。
关键词计算社会科学；社会模拟；LLM赋能研究；研究方法革新
1 引言
大语言模型以代理形式介入社会科学研究，已从单次提示词工程演进为具备规划、工具调用、多轮交互与自我修正能力的复合系统。这种演进改变了研究者与数据、理论、方法的关系：代理不再只是执行既定脚本的工具，而是开始参与假设生成、证据收集、模型规范甚至理论修正的完整链条。然而，能力边界的外扩并未同步解决信任机制的内建。当代理开始在访谈中自适应追问、在实验流程中自主修正代码、在文本标注中输出概率分布时，研究者面临的核心困境是：如何判断代理的输出值得被引用、被复现、被纳入知识积累？三篇近期预印本分别从访谈模拟评估、持续自进化基准、决策型模型校准三个切面切入，共同勾勒出 Agent 赋能社会科学的当前图景——技术乐观与方法论审慎并存，信任链构建仍是悬而未决的核心拼图。
2 领域进展评述
2.1 访谈模拟环境与交互式评估范式的建立
InterviewPlayground 构建了一个面向 AI 面试员的模拟评估环境，针对市场调研、民意民调、偏好引出与社会科学研究等开放式询证场景。该环境的核心贡献在于将评估从静态单轮问答推向动态多轮交互：被访者行为由模拟代理生成，面试员代理需实时适应回答的偏离、拒答、情绪波动等不可预测模式。这种设计揭示了传统基准测试的盲区——单轮指标无法捕捉面试员在追问策略、话题引导、信任建立等过程维度的表现。环境内置的验证机制要求面试员在达到信息饱和前自主判断终止条件，这使得评估结果更接真实田野调查的复杂性。然而，模拟被访者本身的行为真实度、评估指标与下游研究质量的外部效度关联、以及跨文化语境下的泛化性，仍是该范式从实验室走向田野的关键门槛。
2.2 持续自进化基准与程序级验证闭环
ScienceClaw 将目光投向更长时程的代理演化：代理在连续任务序列中不仅要解决问题，还要通过科学验证将成功经验固化为程序级改进，形成可积累的能力资产。该基准覆盖自然科学与社会科学双轨任务，统一了任务求解、科学验证、程序更新三个环节，强制代理在固定参数下完成自我进化。这种设计直指当前代理评估的痛点——大多数基准只测单次任务表现，忽视了知识沉淀与复用的长程动态。社会科学轨任务涉及数据清洗、模型规范选择、因果识别策略等环节，要求代理在缺乏确定性真值的开放问题上给出可验证的方法论判断。基准的固定参数约束排除了通过扩大模型规模换取性能的路径，倒逼代理在架构层面实现真正的学习与泛化。但验证器本身的权威性来源、跨领域验证标准的可比性、以及程序更新对后续任务的正向迁移率，均需更大规模实证检验。
2.3 决策型模型与固定答集校准的成本-质量权衡
JEV 作为商业化的「System One」模型，不生成自由文本，而是在用户给定的固定答集上输出决策与概率分布。在七个政治学复刻任务中，其宣称的成本与速度优势伴随更优的校准表现。这一路径在标注任务明确、类别封闭、真值可获取的场景下极具吸引力：它将标注从生成式推理压缩为分类式决策，大幅降低了推理开销与延迟。然而，社会科学实证研究中更常见的情况是：编码框架需迭代演进、类别边界模糊需研究者判断、真值本身就是争议对象。决策型模型的固定答集假设在此时成为约束而非便利——它预设了本体论承诺，压缩了研究者在模糊地带进行理论敏感编码的解释空间。校准指标的优势在已知真值的复刻任务中成立，却难以直接外推至无标准答案的探索性研究。成本优势与解释灵活性之间的张力，实质上是标准化工业流程与学术研究开放性之间的张力。
| 代理类型 | 代表工作 | 核心定位 | 验证依据 | 信任机制缺口 |
|---|---|---|---|---|
| 交互式评估环境 | InterviewPlayground | 为 AI 面试员提供动态多轮测试床 | 依赖模拟被访者行为真实度与内部一致性指标 | 外部效度未验证，跨语境泛化性待证 |
| 持续自进化基准 | ScienceClaw | 验证代理在任务序列中的程序级知识积累 | 固定参数下的科学验证器充当裁判 | 验证器权威性来源、跨域标准可比性存疑 |
| 决策型固定答集模型 | JEV | 以分类决策替代生成式标注，追求低成本高校准 | 在已知真值任务上展示校准优势 | 无真值探索场景下的可信度无法自证 |
3 方法论意涵
socienceAI实验室认为：上述三种路径虽切入点不同，却共同指向同一个方法论命题——代理系统的价值不在于其单点表现是否接近或超越人类专家，而在于其协作产出能否被纳入科学共同体的信任图谱。InterviewPlayground 的模拟评估试图建立「行为真实度」作为代理胜任力的代理指标，但代理指标本身需要外部锚定；ScienceClaw 的验证闭环试图用「科学验证器」替代人类同行评议，却将信任前置到了验证器的设计者身上；JEV 试图用「校准良好的概率分布」替代研究者的解释性判断，却预设了本体论封闭性。三者皆未触及信任链的三个第一性条件：审计性——每一步推理、工具调用、参数更新是否留下可追溯的证据链；归因性——失败与偏差能否定位到具体组件、数据切片或交互轮次；溯源性——知识主张能否链接回原始观测、理论假设与方法论决策。缺乏这三重保障的代理协作，无论单点能力多强，在科学知识生产中都只是噪声放大器。
4 挑战与展望
当前领域面临的结构性挑战可归纳为三层：第一，评估与验证的元循环困境——用代理评估代理、用验证器验证验证器，最终仍需人类判断作为终端锚点，但人类判断的规模化瓶颈正是代理试图突破的目标；第二，跨域知识迁移的本体论不匹配——自然科学的实验可复现性标准难以直接迁移至社会科学的解释性理解场景，统一基准的代价往往是压缩了领域特有的认识论张力；第三，工业级标准化与学术探索开放性的制度性冲突——决策型模型、固定答集、校准指标等工程范式预设了任务的封闭性，而前沿社会科学研究的核心恰恰在于边界的不确定与框架的流动。破局路径不在于寻找更强的单一模型，而在于构建可组合的信任基础设施：细粒度的执行追踪标准、可互操作的验证协议、支持版本化与分支的知识图谱、以及允许研究者在关键节点介入判断的人机协同接口。socienceAI实验室认为：下一阶段的关键进展将不再是「更聪明的代理」，而是「更可信的协作协议」——让每一次代理分工的产出都能被审计、被归因、被溯源，从而真正实现从噪声放大走向知识积累的质变。
参考文献
- [1] Jonathan Ivey, Aimee Liang, Arthur Y. S. Wang, Madeline Mandell, Ziang Xiao, Anjalie Field. InterviewPlayground: A Validated Simulation Environment for Evaluating AI Interviewers[EB/OL]. arXiv:2610.12023 (2026-10-08)[2026-10-07]. https://arxiv.org/abs/2610.12023
- [2] Mingda Zhang, Wenjin Liu, Tiesunlong Shen, Zikai Xiao, Zhenghong Lin, Qing Xu, et al. ScienceClaw: Benchmarking Continual Self-Evolution of AI-for-Science Agents Across the Natural and Social Sciences[EB/OL]. arXiv:2610.08691 (2026-10-06)[2026-10-07]. https://arxiv.org/abs/2610.08691
- [3] Steven Denney, Matthew DiGiuseppe. JEV versus LLMs: Accuracy, Cost and Calibration on Seven Political Science Replications[EB/OL]. arXiv:2610.06625 (2026-10-05)[2026-10-07]. https://arxiv.org/abs/2610.06625