以前、なぜ教育機関は能動的学習に転換できないのかの７つの仮説という記事を書いた。

この記事では、能動的学習や個別最適化学習の考え方は昔からあるのに、なぜ教育機関はそちらに大きく転換してこなかったのか、という問いを立てた。そこで挙げた仮説のひとつが、そもそも学習効果を測るのが難しい、または能動的学習と受動的学習のどちらが良いか測定できない、というものだった。もうひとつは、教師が能動的学習に適応できない、または教師リソースの確保が難しい、というものだった。

今回、その続きに近い研究をした。

Agent-Based Theory Testing: Bloom’s 2-Sigma Problem (GitHub)

Can LLM Agents Test Social-Science Theory? (zenode)

主に取り組んだテーマは、LLMエージェントを使って社会科学の理論を検証する実験台を作れるのか、というものだ。そのうえで、題材として選んだのは、ベンジャミン・ブルームの「2シグマ問題」だった。雑に言うと、1対1のチュータリングつきの完全習得学習は、従来型の集団指導よりも大きな学習効果を出す、という有名な主張である。

LLMが人間社会をそのまま再現できて検証できるということは最初から思っていなかったが、こうした取り組みを通じてLLMエージェントの限界と可能性を調査するのも目的だった。今回やりたかったのは、教育理論を安全に試すための小さな実験場を作り、その実験場の中で何が測れて、何が測れないのかを確認することだった。

その上で、数年前仮説を置くところで止まっていた問いを、少し前に進められた（または数年がかりで実践を通じて検証しようと思っていた）ことは、強力な技術革新が進行中であるということを改めて実感させるものだったと思う。

結果は少し意外

当初は、1対1の個別指導がかなり強く出ることを期待していた。ブルームの2シグマ問題を題材にしているので、当然といえば当然である。AIチューターの話をするときにも、「一人ひとりに先生がつくようになる」というイメージは強い。

しかしながら、今回のLLMエージェント実験では、個別指導が明確に強い、とはならなかった。

合成的なルール領域である Zarn Tokens （今回つくった新しいゲーム）を使い、7世代にわたって実験を作り直した。最初のほうの実験では、ディスカッションや特定の授業形式が強そうに見える結果も出た。ただ、そこにはいろいろな交絡（結果を歪める別要因）があった。前提知識を十分に揃えられていない。1回だけ生成された会話を複数の学習者が読んでいる。授業形式によって、学習に使える機会やトークン量が違う。採点器が自由記述をうまく扱えていない⋯などなど。

そうしたズレを潰していくと、最終的な実験では、教育条件間の差は10ポイントまで縮んだ。一方で、学習者の認知プロファイル間の差は38ポイントあった。つまり、この実験環境では、授業形式の違いよりも、学ぶ側がどのような記憶制約や認知的クセを持っているかのほうが大きく見えた。

これは「人間でも個別指導になってもあまり効かない」という結論ではないことは留意したい。今回の実験対象は人間ではなくLLMエージェントであり、扱った課題も人工的なルール領域である。ここを取り違えると、研究の意味を間違えることになる。

（また、個別指導になることで、学習者の性質に働きかえる可能性もある！むしろ2シグマ問題の本質的な部分はここなのかも知れない 🤔）

ただし、少なくとも次のことは言えると思う。教育理論を実験しようとすると、もっともらしい効果検証は簡単にできるが、その結果をそのまま使うことは危うい。そして、そうしたことを通じて、授業形式そのものではなく、前提知識、評価方法、サンプルの独立性、学習機会の差、学習者の性質といった、多くの示唆(要因の影響)を得られるということだと思う。

学習効果を測ることはやはり難しい

以前の記事でも、学習効果の測定は難しいと書いた。今回の研究では、この点がかなり具体的に見えた。

たとえば、ある授業形式のあとに点数が上がったとして、それは授業形式のおかげなのか。前提知識がたまたま揃っていたからなのか。会話の質がたまたま良かったからなのか。学習者がもともとその形式に合っていたからなのか。採点方法がその回答形式に有利だったからなのか。

人間を対象にした研究でも難しいが、LLMエージェントを対象にしても難しい。むしろ、全部のログが残り、条件を綺麗に分けられるように見えるぶん、測れている気になりやすい危険がある。

今回の研究で一番大事だったのは、おそらく個別指導と集団指導の勝敗ではない。自分たちの、それぞれの実験が何を測ってしまっているのかを、疑い続ける必要があったことだと思う。

1対1は自動的に良いわけではない

もうひとつ面白かったのは、個別指導型のほうが先生側に求められる準備や知識のレベルが高そうだ、という点である。

集団授業では、ある程度まとまった説明を講座として設計して届ければ成立する。もちろん良い集団授業を作るのは簡単ではないが、少なくとも「説明を設計して伝える」という中心的な仕事がある。

一方で個別指導では、学習者ごとの誤解をその場で見抜き、適切に言い換え、補足し、確認する必要がある。学習者が何を分かっていないのかを診断できなければ、1対1で時間を使っても、あまり意味がない。むしろ、誤った理解をそのまま強化してしまう可能性もある。

つまり、「1対1なら自動的に良くなる」というより、1対1を本当に活かすには、先生側の設計力や診断力がかなり重要になる。これはAIチューターにも当てはまる。個別化された応答を返すだけでは足りない。学習者の誤解をどう検出し、どの順番で介入し、どこまでを本人に考えさせるのか、という設計が必要になる。

（そしてこのことは実務としてあたっている経験でもとても納得のある示唆！）

ここは、以前の記事で書いた「教師が能動的学習に適応できない、または教師のリソース確保が難しい」という仮説とつながっている。能動的学習や個別最適化は、教師の仕事を減らすだけではない。場合によっては、教師に求められる能力をかなり変える。

形式ではなく、設計、診断、介入の問題として考える

総じて、この実験を通じて、能動的学習の考え方は以前より少し変わった。

（LLMの可能性と現時点での限界についてもより実践的な感覚を得た）

能動的学習や個別最適化学習は、従来型学習を置き換える魔法の形式ではない。ただ単純に形式を変えればいいという話ではない。大事なのは、学習者ごとの差を見えるように設計し、その違いに応じて教師やシステムがどれだけ診断し、介入できるかだと思う。

そう考えると、教育機関が能動的学習に転換できない理由は、「新しい理念を理解していないから」だけではない。学習者差を扱うための測定、教師の診断スキル、授業設計、評価、コストをまとめて変えないといけない。形式だけを変えても、あまり意味がない。

これは地味な結論である。個別指導か集団授業か、能動的学習か受動的学習か、という対立のほうが分かりやすい。しかし実際には、どの形式を採るかよりも、その形式の中で何を診断し、どう介入し、何をもって学習したと判断するのかのほうが重要なのだと思う。私はこの地味な結論は割と気に入っている。