从提示即行为到可信聚合：智能体社会科学的方法论回摆
摘 要提示写成什么样，智能体的立场就该是什么样——让大语言模型智能体就争议议题展开多轮对谈的实验显示，这一假设并不可靠：即便提示保持不变，智能体的立场仍会随对谈进程持续漂移，且不同模型留下形态各异的漂移印记。在标注一侧，模型会在证据不足时绕开眼前文本、径直调用对真实世界实体的既有印象作答，研究者称之为记忆捷径；在数据一侧，散落在异构而互不连通来源中的同一主题语料，也无法靠单次查询拢齐，需要信息觅食式的主题化采集。三条线索指向同一件事：把语言模型当作社会科学的测量仪器，其读数既不完全受输入控制，也不完全来自眼前对象。socienceAI实验室认为，智能体的价值在于增强而非替代研究者的判断，协同的关键不在个体能力涌现，而在分工之后的可信聚合——不可验证的协同只是噪声放大器。
关键词计算社会科学；社会模拟；LLM赋能研究；研究方法革新
1 引言
大语言模型正在社会科学研究链路上承担越来越重的角色：它为文本打标签，替研究者整理网络语料，甚至以合成被试的身份进入意见动力学实验。这种迁移依赖一份通常不被言明的契约——模型的输出可以当作测量的读数，研究者据此推断人群的态度与行为结构。最近一批工作开始逐项检验这份契约：有的检验提示是否穷尽了对行为的控制，有的追问标注的依据究竟是文本还是记忆，有的则回到更上游，追问研究者需要的语料能否被可靠地收集拢来。它们分处链路的不同环节，却共享同一种姿态：把对模型的默认信任，改写成有工具、有协议的核查。下文依次进入这三项工作，再回到方法论的意涵与尚未解决的部分。
2 领域进展评述
2.1 提示之内未必是全部行为
意见动力学研究关心群体观点如何演化，如今大语言模型智能体被当作合成被试引入其中，代替真实人群对争议议题表态。这类用法背后有一个心照不宣的假设：智能体的行为完全由提示决定，研究者写好提示，等于设定了行为的全部边界。针对该假设的一项检验给出了否定的回答：若干智能体就一个有争议的公共政策议题反复对谈，研究者每一轮用一套固定的心理测量工具为各方立场读数，而这套量表的题项与对谈动态完全解耦，不随议题演化而变化[1]。结果显示立场漂移确实存在：即便提示一字未改，智能体在多轮对谈中的立场仍会移动；漂移还是模型特异的，不同模型留下不同的漂移印记，看不出可以彼此套用的通则[1]。对实验设计者来说，这意味着只在提示层面做对齐检查，不足以保证行为受控；对测量者来说，外部量表与动态解耦的设计本身就值得记下——它提供了一条不被被测对象污染的读数通道，也使模型之间的差异第一次变得可比较。
2.2 当文本沉默，模型用记忆作答
大语言模型被越来越多地用于为社会科学研究、内容审核与训练数据构建标注文本。研究者很快注意到一个隐患：模型对现实世界实体拥有大量既有知识，那么打标签时，它依据的是眼前的文本，还是记忆里关于该实体的印象？一项研究把这种行为命名为记忆捷径，并追问它在何时出现、被什么放大、又如何缓解[2]。定性地说，当文本证据足以支撑标签时，模型大体锚定在文本上；一旦证据稀薄或语焉不详，参数记忆便悄悄接管——标签照常输出，实际依据却已经换了来源[2]。危险在于这种替换不可见于外观：标签本身没有变化，变化的只是它赖以成立的证据，常规的效果检查无法区分这两者。研究者同时给出若干缓解方向，例如让证据不足的情形显式化、约束模型对实体先验的调用，并提醒这些手段各有适用边界，不是处处通用的止痛药[2]。
2.3 语料不是一次查询的答案
更上游的问题是语料本身。研究者需要的往往不是对单个查询的回答，而是一批围绕同一主题、可反复复用的文档集合；这样的文档散落在彼此异构、结构上互不连通的网络区域里，靠单次提问难以拢齐[3]。一项工作把这个问题命名为主题化的网络数据采集，并提出以信息觅食的思路处理：采集者像觅食的动物一样，循着与主题相关的线索在站点之间转移，逐步把分散的文档聚拢成集合，而不是停在返回的首页结果上[3]。它的意义不只在效率，更在过程：哪些来源被访问、为何停留、什么被纳入，都是有据可查的决策序列，语料的构成由此可以被复盘。
| 工作 | 任务形态 | 被检验的默认假设 | 提供的核查工具 |
|---|---|---|---|
| 立场漂移研究 | 合成被试对谈实验 | 行为完全由提示决定 | 与动态解耦的固定心理测量读数 |
| 记忆捷径研究 | 文本标注 | 标签依据来自眼前文本 | 证据不足场景的显式识别与缓解 |
| 主题采集研究 | 网络语料汇编 | 单次查询足以拢齐语料 | 信息觅食式的主题化采集过程 |
3 方法论意涵
socienceAI实验室认为，评价任何智能体系统的第一性问题，是它的信任链是否可审计、失败是否可归因、知识是否可溯源。以此审视，三项工作的贡献恰好落在三个不同的环节上。漂移研究解决的是归因问题：它把行为方差从提示写得好不好，重新定位到模型本身的特性，使失败可以指认到具体的模型；没有外部量表的持续读数，这种指认无从谈起[1]。记忆捷径研究处理的是溯源问题：标注的效力取决于标签背后的依据，而该研究恰恰证明依据可能在无声处被调换——只有把证据依赖与记忆依赖区分开，「这份标注可信」才是一句有内容的判断[2]。主题采集研究对应的是审计问题：当采集从一次查询变成一段显式的觅食过程，来源与取舍留下了足迹，语料不再是来历不明的现成物[3]。三者合起来支撑的是同一个立场：模型应当被当作需要校准的仪器，而不是直接给出结论的神谕；研究者的判断不需要被替代，需要的是被放置在看得见证据链的位置上。这也解释了为什么三项工作都不急于宣称模型能力的跃升，而是先补测量与采集的地基——社会化协同智能的前提，不是每个个体变强，而是分工之后的每一步都经得起回看。
4 挑战与展望
沿链路看，每一环仍有缺口。漂移的机理尚未得到解释，模型为什么漂、漂向何处，目前只有现象层面的刻画，跨议题的规律还谈不上[1]。记忆捷径的缓解手段指出了方向，但它们在不同议题范围与证据条件下的覆盖情况，仍需更多检验[2]。主题采集把成本从查询转到了觅食，采得快与采得对之间的张力如何权衡，也还没有答案[3]。更关键的是链路本身的断裂：三项工作各自校准一环，却没有一套贯穿采集、标注与合成实验的协议，让一次协同研究的信任链能像一次受控实验那样被整体复盘。局部校准拼不出整体可信，这是当前最缺的那块拼图。回到判断：这项进展让可信聚合更近了一步——过去三句不被言明的默认语，「行为由提示决定」「标签出自文本」「语料来自查询」，如今都变成了可以被测量的对象，这本身就是从默认信任走向可验证的开始；但从可测量的局部走向可聚合的整体，还隔着一套尚未被写出的账本。在它出现之前，谨慎的做法不是把智能体的产出直接当作证据，而是像这里所引的三项工作那样，先为每一处读数装上独立的核对工具。
参考文献
- [1] Nataša Djurdjevac Conrad; Sebastian Pokutta; Christof Schütte. Measuring Model-Specific Alignment Drift in LLM-Based Opinion Dynamics[EB/OL]. arXiv:2611.03980 (2026-11-02)[2026-10-07]. https://arxiv.org/abs/2611.03980
- [2] Wenchang Wang; Yue Song. When the Text Is Silent: Memory Shortcuts and the Validity of LLM Annotation under Evidence Insufficiency[EB/OL]. arXiv:2611.02273 (2026-11-01)[2026-10-07]. https://arxiv.org/abs/2611.02273
- [3] Michael West; Eduard Dragut. PatchScout: Thematic Web Data Collection via Information Foraging[EB/OL]. arXiv:2611.00169 (2026-10-30)[2026-10-07]. https://arxiv.org/abs/2611.00169