コラム：「正解」のない方法選択との向き合い方

初めて本格的な研究に取り組むとき、多くの学生は「完璧な研究方法」を探そうとします。先行研究を読み漁り、「この手法なら間違いない」と確信できる方法を見つけたい——そんな気持ちで研究に入ってくるのは、とても自然なことです。教科書やトップカンファレンスの論文をめくれば、「正しい評価方法」がどこかに書かれているはずだ、と信じている時期は誰にでもあります。

ここで一度立ち止まって考えてほしいのは、 完璧な方法はそもそも存在しない ということです。どの方法にも長所と短所があります。大事なのは、その選択の理由を自分の言葉で説明できること——この認識が、方法選択における大きな転換点になります。

システムを作ったあとの「どう評価するか」問題

教育・学習支援システム研究の研究室でよく見る場面を、ひとつ書きます。

学生が新しい学習支援システムを作る、あるいは創作支援ツールを作る、あるいは何らかのインタラクティブなプロトタイプを作る。形になったので、次は評価です。ここで多くの学生がまず考えるのが、 コントロール実験 です。「提案システムあり群」と「ベースライン群」に被験者を分け、タスクの正答率や所要時間を比較する。p値を出して有意差を主張する。この形が「ちゃんとした評価」だ、と信じて疑わない時期があります。

ところが、いざ設計に取りかかってみると、あちこちで違和感が立ち上がってきます。30分のラボ実験で測れる効果は、本当に自分が作りたかった効果なのか。「学習が深まる」とか「創作の幅が広がる」といった、自分がシステムに込めた価値は、正答率や所要時間ではうまく捕まえられないのではないか。被験者は数十人いるけれど、彼らはそのシステムを「研究室で言われて触っただけ」で、自然な使い方とはほど遠い。

そこで方向転換を考え始めます。たとえばフィールドへ持ち出して数週間使ってもらい、ログと事後インタビューで「実際にどう使われたか」「使ってみて何が変わったか」を見る、というやり方です。質的なケーススタディに近づきます。

ところが今度は、別の不安が立ち上がってきます。「サンプル数が10人ちょっとで、論文として通るのか」「ログだけだとなぜそう使ったのかが見えない」「定量的な比較がないと“主観的“に見えるのでは」——コントロール実験への憧れが、判断を曇らせるわけです。

「定量だから上、定性だから下」は誤解

こういう場面で大事なのは、 コントロール実験もフィールドスタディも、それぞれ異なる種類の問いに答える道具 だ、と一段ずらして見ることです。「定量だから上、定性だから下」という上下関係はありません。

あなたが本当に知りたいのが「タスク達成までの時間」なら、ラボでのコントロール実験が筋に合っています。ところが、あなたが知りたいのが「人がそのシステムをどう自分の活動に組み込んでいくか」「どんな新しい使い方を発明するか」「長期的にどんな変化が起こるか」だとしたら、30分のラボ実験ではそもそも測れません。

そこに「コントロール実験への憧れ」を持ち込むのは、論理的にずれています。「方法に正解はないが、問いに対する適切さはある」——この感覚が腑に落ちると、方法選択の景色がぐっと変わります。

限界も含めて引き受ける

このときに必要なのは、「どの方法が一番いいか」を問う代わりに、「この問いには、どのアプローチが最も適しているか」と問い直すことです。

そして、選んだ方法の限界も素直に認めつつ、その限界をどう補うかまで含めて設計する。フィールドスタディに振り切るなら、サンプル数の少なさは自覚したうえで、ログと観察とインタビューを組み合わせて多面的に裏取りする。逆にコントロール実験を選ぶなら、ラボで測れる範囲の限界を考察にきちんと書き込む。ここまでやれると、一段強い研究になります。

適切に選ばれた方法は、しばしば期待以上の洞察をもたらします。フィールドで聞こえてくる「自分はこう使うようになった」「最初は違うつもりだったけど、こう変わった」といった被験者の言葉は、ラボの数値では絶対に表現できないけれど、システムの本当の価値に直接届く言葉です。こういう瞬間に出会えるのは、問いと方法が噛み合っているからこそ、です。

道具として方法を見る

研究方法は、結局のところ道具です。ハンマーではネジは回せませんが、ハンマーには釘を打つという素晴らしい機能がある。 あなたの研究という「仕事」に対して、どの道具が最も合うかを見極める目を養うこと ——そこが、研究者としての腕の見せどころになっていきます。

そして、いったん選んだら、その道具の限界も含めて引き受ける。ここまで腹を括れたら、方法選択の迷いは大きく減るはずです。