以前，我写过一篇文章：为什么教育机构无法转向主动学习的七个假设。

在那篇文章里，我提出了一个问题：主动学习和个别最优化学习的想法明明很早就存在，为什么教育机构却没有大幅转向这些方向。其中一个假设是，学习效果本身很难测量，或者很难测出主动学习和被动学习到底哪一个更好。另一个假设是，教师可能无法适应主动学习，或者教师资源很难确保。

这次，我做了一项接近这个问题后续的研究。

Agent-Based Theory Testing: Bloom’s 2-Sigma Problem (GitHub)

Can LLM Agents Test Social-Science Theory? (zenode)

主要处理的主题是，能否使用 LLM 智能体来建立一个检验社会科学理论的实验台。在这个前提下，我选择的题材是 Benjamin Bloom 的 2 sigma 问题。粗略地说，这是一个很有名的主张：带有 1 对 1 tutoring 的完全掌握学习，会比传统的集体授课产生大得多的学习效果。

我从一开始就不认为 LLM 能够原样再现并检验人类社会。通过这种尝试来调查 LLM 智能体的可能性和限制，也是这项研究的目的之一。我想做的是，建立一个小的实验场，在那里安全地尝试教育理论，并确认这个实验场能测什么、不能测什么。

在这个意义上，几年前只能先放下假设的问题，或者原本以为需要花几年通过实践慢慢验证的问题，这次能够稍微往前推进了一步。这也让我再次感到，一场强力的技术革新正在进行中。

结果有些意外

一开始，我期待 1 对 1 的个别指导会显示出相当强的优势。既然题材是 Bloom 的 2 sigma 问题，这个预期也很自然。谈到 AI tutor 时，「每个人都有一位自己的老师」这种想象也很强。

但是，在这次 LLM 智能体实验中，个别指导并没有明确胜出。

我使用了一个名为 Zarn Tokens 的人工规则领域，也就是这次新做的游戏，并在 7 个世代中不断重做实验。早期实验中，确实出现过讨论或某些授课形式看起来很强的结果。但其中包含很多交络，也就是会扭曲结果的其他因素。前提知识没有充分对齐。多个学习者读的是同一次生成出来的对话。不同授课形式下可用于学习的机会和 token 量不同。评分器也不能很好处理自由记述回答，等等。

把这些偏差逐步处理后，最终实验中，教育条件之间的差距缩小到 10 个百分点。另一方面，学习者认知 profile 之间的差距达到了 38 个百分点。也就是说，在这个实验环境中，比起授课形式，学习者具有什么样的记忆限制和认知倾向看起来更重要。

这并不是「对人类来说个别指导也不太有效」的结论。这里的对象不是人类，而是 LLM 智能体；任务也是人工设计的规则领域。如果误读这一点，就会误解这项研究的意义。

另外，也可能正是通过个别指导，学习者的性质或状态会被改变。也许 2 sigma 问题的本质部分反而在这里。

不过，至少可以说，测试教育理论时，貌似合理的效果检验很容易做出来，但直接使用那个结果是危险的。另一方面，通过这个过程，我们可以获得许多线索：影响结果的可能不只是授课形式本身，还包括前提知识、评价方法、样本独立性、学习机会差异、学习者性质等因素。

学习效果仍然很难测量

以前的文章里，我也写过学习效果很难测量。这次研究让这一点变得更加具体。

例如，某种授课形式之后分数上升了，那到底是授课形式的效果吗？还是因为前提知识刚好对齐了？因为对话质量刚好很好？因为学习者本来就适合这种形式？还是因为评分方法对那种回答形式更有利？

在人类研究中这很难，在 LLM 智能体研究中也同样困难。甚至还有另一种危险：因为所有日志都保留下来，条件也看起来能被清楚分开，所以更容易产生「已经测到了」的感觉。

这次研究中最重要的，恐怕不是判定个别指导和集体授课谁赢了。而是必须持续怀疑，自己的每一个实验到底测到了什么。

1 对 1 并不会自动变好

另一个有趣的点是，个别指导似乎对教师侧的准备和知识水平要求更高。

在集体授课中，教师可以把一段相对完整的说明设计成课程并传达出去。当然，好的集体授课并不简单。但至少有一个核心任务：设计说明，并把它传达出去。

而在个别指导中，教师需要当场看出每个学习者的误解，适当地改写表达，补充信息，并持续确认理解。如果教师无法诊断学习者到底哪里不懂，即使花 1 对 1 的时间，也不一定有意义。甚至可能强化错误理解。

也就是说，并不是「1 对 1 就会自动变好」。要真正发挥 1 对 1 的作用，教师侧的设计能力和诊断能力非常重要。这也适用于 AI tutor。只返回个别化回答是不够的。系统必须检测学习者的误解，决定以什么顺序介入，决定哪些部分要让学习者自己思考。

这一点也和我在实际工作中的经验非常吻合。

这和此前文章中的假设相连：教师能否适应主动学习，教师资源是否足够。主动学习和个别最优化不只是减少教师工作量。某些情况下，它们会大幅改变教师所需的能力。

不要只看形式，要看设计、诊断和介入

总的来说，通过这次实验，我对主动学习的看法比以前稍微变了。

对于 LLM 的可能性和现阶段的限制，我也获得了更实践性的感觉。

主动学习和个别最优化学习，并不是可以替代传统学习的魔法形式。问题并不只是单纯改变形式。重要的是，设计出能让学习者之间的差异变得可见的学习过程，然后让教师和系统能够根据这些差异进行诊断和介入。

这样想的话，教育机构无法转向主动学习，并不只是因为没有理解新的理念。为了处理学习者差异，测量、教师的诊断技能、授课设计、评价、成本，都必须一起改变。只改变形式，意义不大。

这是一个地味的结论。个别指导还是集体授课，主动学习还是被动学习，这样的对立更容易理解。但实际上，比起采用哪种形式，更重要的是在那种形式中诊断什么、如何介入、以及把什么判断为学习。我其实还挺喜欢这个地味的结论。