実験・調査を実施する
設計が固まっても、そのままでは人を相手に回せません。 参加者が部屋に入ってから出るまでに何が起きるかを決め、小さく試して手順を直し、日程を組んで、実際にデータを取る。 この章は、実験・調査を設計する で組み立てた設計を、実施できる形にするまでの話です。
研究は、他者の協力があって初めて成り立ちます。 参加者の時間、プライバシー、尊厳を尊重し、研究による利益とリスクを慎重に評価することは、研究者の基本的な責務です。 形式的なインフォームドコンセントだけ取って終わりにするのと、参加者一人ひとりの理解を確認して進めるのとでは、研究の質も信頼関係もまったく変わります。 倫理審査の申請、説明文書と同意書の中身、匿名化の仕組み、謝礼の扱いといった実務は 研究倫理と盗用 にまとめました。 人を対象にするなら、この章の手順を組む前にそちらを通ってください。
手続きと教示文を作る
参加者が部屋に入ってから出るまでの流れを、時系列で一枚に書き出してください。 到着、同意の説明と署名、事前アンケート、練習、本試行、事後アンケート、インタビュー、謝礼、退室。 それぞれに何分かかるかも書き入れる。 これが手続きで、論文の方法セクションにほぼそのまま載ります。
このとき一番手を抜かれやすいのが、教示文です。 教示文は参加者に何をしてもらうかを伝える文章であり、条件間で揃っていなければならない入力でもあります。 実験者が口頭で説明していると、回を重ねるうちに言い方が変わります。 最初の参加者には丁寧に説明したのに、10人目には要点だけ、ということが普通に起きる。 だから、読み上げる原稿を作るか、画面に表示して読んでもらう形にして、全員に同じものが届くようにします。
教示文に入れるのは、このあたりです。
- 何をする課題なのか、どう操作するのか
- どこまでやったら終わりなのか（時間か、問題数か）
- 速さと正確さのどちらを優先してほしいのか
- 分からないことがあったときにどうすればいいか
- 途中でやめても不利益がないこと
三つ目を落とす人が多いのですが、これを言わないと参加者ごとに勝手な方針で取り組むことになり、所要時間のばらつきが跳ね上がります。
実験の目的をどこまで伝えるかも、決めておく必要があります。 「このシステムのほうが優れているかを調べています」と伝えてしまうと、参加者はその期待に沿った振る舞いをしがちです。 目的を伏せる場合も、嘘をつくのではなく、「二つの操作方法を比較しています」のように、正確だが誘導しない言い方を選びます。 どこまで伏せてよいかは倫理審査でも見られる点なので、事前に整理しておいてください。 伏せた場合は、終わったあとに研究の目的とデータの使い道を説明する時間を手続きに入れておくこと。 参加者は、自分が何に協力したのかを知る立場にあります。
そして、本試行の前に練習試行を入れて、操作に慣れた状態から測り始めること。 操作を覚える過程まで測ってしまうと、それは学習曲線を測っているだけになります。
実験者側にも台本を用意しておくと安心です。 参加者から来そうな質問――「これで合っていますか」「もう一度やり直していいですか」――への答えを先に決めておいて、誰が実験者をやっても同じ対応になるようにする。 その場で判断すると、対応が人によって、回によってずれます。
パイロットスタディで確かめること
本格的な実施の前に、小規模な予備調査――パイロットスタディ――を必ずやってください。 研究室のメンバーや友人に数名頼んで、本番とまったく同じ手順を通してもらいます。 僕の指導した学生で、パイロットなしで本実験に突入し、半分終わったところで設計の致命的な欠陥に気づいて泣きそうになっていた子がいました。 「準備に時間をかけすぎている」と焦らず、ここに時間を使うこと。 本研究の質と効率が、ここで決まります。
パイロットで確かめるのは、次のようなことです。
所要時間。 一人あたり何分かかるかが分かって初めて、一日に何人回せるか、募集のときに何分と伝えるかが決まります。 たいてい、見積もりより長くかかります。
教示が伝わるか。 読んだ人が「で、何をすればいいんですか」と聞き返してきたら、その教示文は失敗しています。 終わったあとに「何をする課題だと思いましたか」と聞いてみると、ずれが見つかります。
課題の難易度。 全員が満点になるようでも、全員が手も足も出ないようでも、条件間の差は出ません。 正答率が極端に偏っていたら、課題そのものを調整する必要があります。
データが想定した形で取れているか。 ログが記録されているか、欠損がないか、時刻が揃っているか。 そして、パイロットのデータで分析を最後まで通してみること。 これが一番大事です。 本番のデータが集まってから「この形式では予定していた分析ができない」と気づくと、取り直しになります。
機材と環境。 アプリが落ちないか、ネットワークが途切れないか、部屋の明るさや音が回ごとに変わらないか。
参加者の負担。 疲れた、飽きた、という反応が出るなら、課題を減らすか休憩を入れる。 疲労の影響が条件の効果と混ざってしまうと、あとから分離できません。
パイロットで手順を変えたら、変えたあとの手順でもう一度小さく回す。 そこまでやって、ようやく本番です。
なお、パイロットも人を対象にしたデータ取得なので、倫理審査の扱いを先に確認しておいてください（研究倫理と盗用）。
期間を見積もる
実験や調査は、実施そのものより前後の工程に時間を取られます。 卒業研究の計画を立てるときは、少なくとも次を別々に数えてください。
- 設計を固め、課題と尺度を決める
- 研究倫理審査の申請書を書き、審査を受ける
- パイロットを回し、手順を直す
- 参加者を募集し、日程を組む
- 実施する
- データを整形し、分析する
このうち見落とされやすいのが倫理審査です。 人を対象にする研究では、多くの機関で事前の審査と承認が要ります。 申請から承認まで一か月以上かかることもあり、承認が下りる前に取ったデータは使えません。 逆算の仕方と申請の中身は 研究倫理と盗用 に書いたので、設計が固まった時点で読んでください。
募集と実施も、カレンダー上は長く伸びます。 一人1時間の実験を30人分やるのは作業時間としては30時間ですが、参加者の都合に合わせて予約を埋めていくと、数週間に散らばるのが普通です。 そして、ほぼ必ず予定より遅れます。 予備の期間を持たずに組んだ計画は、最初のつまずきで破綻します。
実施中の記録と、想定外が起きたとき
本番が始まったら、回ごとに記録を取ってください。 実施日時、参加者ID、条件、課題の提示順、実験者が誰だったか、使った機材や部屋。 これだけで、あとから「このデータだけ様子がおかしい」となったときに原因を追えます。 記録の残し方そのものは 研究倫理と盗用 のデータ管理に書きました。
そして、想定外は必ず起きます。 アプリが途中で落ちた、参加者が教示を読み違えていた、隣の部屋の工事がうるさかった、実験者が手順を一つ飛ばした。 こういうときにやってはいけないのは、その場で黙って処理して、記録に残さないことです。 起きたこととその場の対応を、その回の記録にそのまま書いておく。 判断はあとでできますが、書き残していない出来事は二度と戻ってきません。
そのデータを分析に含めるかどうかは、できるだけ事前に基準を決めておきます。 「機器の不具合で課題が最後まで完了しなかった回は除外する」といった形で、実施を始める前に書いておく。 結果を見てから除外を決めると、自分では公正なつもりでも、都合のいいデータだけが残る方向に判断が傾きます。 除外した回は、件数と理由を論文に書きます。
途中で手順を変えたくなったときは、一度止めて指導教員に相談してください。 変えると、前半と後半のデータが別の条件で取られたものになります。 どうしても変える場合は、変更の前後で分けて記録し、混ぜないこと。 そもそも承認済みの計画を変えるなら、多くの機関で変更申請が要ります。
最後に、その日取ったデータはその日のうちにバックアップを取ってください。 参加者の協力で得たデータは、取り直しがきかないと思っておいたほうがいいです。