あなたは中学校の国語の教師です。生成AIが書いた読書感想文を見破れますか?
お盆もあけて、子供達の夏休みもそろそろ終わりが見えてきました。休みが終わってやってくるのが、宿題の提出です。夏休みの初めに張り切って毎日少しずつ宿題を進める計画を立てたものの全く守れず、始業式の3日前から机の前で頭を抱えていた思い出がよみがえります。
「代わりに宿題をやってくれるロボットがいればいいのに……」と呟いていた、そんな当時の筆者の願いを叶えてくれそうな生成AIが、今の子供たちには身近になっています。
■昨年の夏休みの宿題に生成AIを使った学生は34.1%
ChatGPT 3が公開された2022年の終わりから一気に普及した生成AI。1年も経たない2023年7月、文部科学省は『初等中等教育段階における生成 AI の利用に関する暫定的なガイドライン』を公開しました。その中では「長期休業中の課題について」として、⽣成AIによる⽣成物をそのまま⾃⼰の成果物として応募・提出することは活動を通じた学びが得られず、⾃分のためにならないこと等について⼗分に指導する」と書かれています。一方で、自分が書いたレポートなどのドラフトのブラッシュアップに生成AIを活用することは考えられるとしており、使い方によっては生成AIを活用することも認めています。
では昨年、生成AIはどのくらい夏休みの宿題に使われていたのでしょうか。Applivが2023年9月に10代から20代の学生533人を対象に実施した『夏休みの宿題における生成AIの利用実態調査』によれば、昨年の夏休みの宿題に生成AIを利用したのは34.1%。ほぼ3人に一人が、宿題に生成AIを活用していました。調査対象から見て回答者には大学生も含まれていそうですが、思ったよりも多い印象です。そして利用した人の85.7%が「生成AIで宿題が捗った」と答えています。
■読書感想文を生成AIに書かせてみた
大人が仕事で生成AIを使う時に真っ先に思い浮かべる用途が、メールや報告書などの文章を作成することです。夏休みの宿題で文章作成といえば、読書感想文。前出の実態調査でも、生成AIを活用した課題として、「論文やレポートの執筆」「数学の問題を解くこと」に次いで3番目に活用した人が多くなっています。生成AIはどんな読書感想文を書いてくれるのでしょうか。
使用したのはGMOの天秤AI(https://tenbin.ai/workspace/welcome)という無料のサービスです。ChatGPT(OpenAI)、Gemini(Google)、Claude3(Anthropic)、Lhama3(Meta)、Perplexity(Perplexity Web検索)、Mixtral(Mistral)に同時に同じプロンプトを投げて同じ画面上で結果を比較できます。
今回は、中学2年生の男子生徒の書く読書感想文という設定で、ChatGPT(GPT- 4o)、Gemini(Gemini 1.5 Pro)、Claude3(Claude 3 Sonnet) の3つを比べてみます。
まずは課題図書の選定です。夏休みの宿題として適切な本をそれぞれのAIに推薦してもらいました。
プロンプト:「中学生の読書感想文の課題図書として適切な本を3冊、推薦してください。現在40歳以上の人が誰でも知っていそうな作品でお願いします。」
あまり最近の本を推薦されても筆者がついていけないので、中学生の親世代が知っていそうな本ということで、「40歳以上の人が知っていそうな作品」という条件をつけました。
<GPT-4o>
1. 『君たちはどう生きるか』(吉野源三郎)
2. 『銀河鉄道の夜』 (宮沢賢治)
3. 『走れメロス』 (太宰治)
<Gemini 1.5 Pro>
1. 『窓ぎわのトットちゃん』(黒柳徹子)
2. 『十五少年漂流記』(ジュール・ヴェルヌ 著 / 村松潔 訳)
3. 『坊ちゃん』(夏目漱石)
<Claude 3 Sonnet>
1. 『走れメロス』(太宰治)
2. 『こころ』(夏目漱石)
3. 『銀河鉄道の夜』(宮沢賢治)
2票が入った「走れメロス」か「銀河鉄道の夜」か迷ったのですが、「銀河鉄道の夜」を選びました。早速、以下のプロンプトを投げて、読書感想文を書いてもらいます。
「あなたは中学二年生の男子です。夏休みの宿題として、宮沢賢治の「銀河鉄道の夜」の読書感想文を800字から1200字で作成してください。」
800字から1200字、は、原稿用紙3枚を想定した文字数になります。
▼天秤AIの出力画面
少し長くなりますが全文を引用します。それぞれの出力文の後ろに、筆者の感想と判定を書いています。みなさんも中学校の先生になったつもりで、この感想文を中学生が書いたのか、生成AIが書いたのかを考えながら読んでみてください。
① GPT -4o作
タイトル:「銀河鉄道の夜」で感じた友情と生命の意味
<筆者の感想>一見するとそつなくまとまっているように見えますが、「美しい詩的な表現によって、その哲学やメッセージが一層際立つ」や、「儚さと美しさ」といった表現が中学生っぽくないなと感じました。また、最初から最後まで、本の内容をなぞっているだけで、自身の経験や普段感じていることなど、書いた本人を感じさせる要素が全く見えないところに少し不気味さを感じました。とはいえ、感想文が苦手で、読書感想文にあらすじを書いて終わらせてしまう同級生はいたような気がするので、これだけでは生成AIとは言えないかなと思いました。
② Gemini Pro 1.5作
タイトル:「ほんとうの幸い」を探して:『銀河鉄道の夜』に揺れる心
<筆者の感想>最初に一言で感想を要約し、あらすじ、印象的だったこと、作者自身の境遇と照らし合わせた分析、そして「中学生の自分」というエクスキューズを入れつつ「銀河鉄道に乗ってみたい」という子供らしい夢を語るという構成は、大人が子供を装うあざとさを感じさせます。「物語全体に影を落とせている」「華やかな銀河鉄道の描写の裏側」といった表現も大人びています。個人的には、これが3つの中で一番作り物っぽいと感じました。
③ Claude 3 Sonnet作
タイトル:「夢と現実の狭間で ー 『銀河鉄道の夜』を読んで」
<筆者の感想>言葉遣いが3つの中でいちばん中学生らしいと感じます。前半は読み始めから順に印象的なエピソードを追いながら感想を述べ、後半で主人公や作者と自分を比べてこれからの自分の話をするという構成も、中学生の作文にありがちなように思います。Claude 3が書いたと知らなければ、子供が書いた作文だと思ったでしょう。「夢と現実の狭間」というタイトルは本文に比べてちょっと異質な感じを受けましたが、Claude 3作と知らなければ「ちょっと中二病っぽいタイトルに個性が出てる」と思って流してしまったかもしれません。
さて、みなさんの判定はどうだったでしょうか?
■生成AIは、AIが書いた作文を見破れるか?
素人の感想レベルで判定した筆者とは違い、学校の先生は子供の作文を指導するプロの観点でさまざまな角度から作文を評価するはずです。では、先生に成り代わった生成AIはこの作文をどう判断するのでしょうか。ChatGPT-4oに以下のようなプロンプトを投げ、先生になりきって判断させてみました。
「あなたは中学校の国語教師です。あなたの生徒の中学2年生男子が提出した読書感想文が、本人が書いたものか生成AIに書かせたものかを判定してください」
判定結果は以下の通り。Claude 3 SonnetはChatGPT先生を見事にだましました。
判定する時の観点としては、文体の成熟度、表現や言葉の選び方、構成の一貫性、内容の理解、自身の体験や感情がどの程度含まれるか、といったあたりを見ているようです。また、疑わしい場合は本の内容についてのインタビューや、過去の作文と比較するといった方法で確認することを勧めています。
長くなってしまうので全文はこちらをごらんください。
https://chatgpt.com/share/51c38a6c-9eac-471b-8732-e18fc5ef8db4
■文章をよくするために生成AIを活用しよう
当然ですが、生成AIの出力した読書感想文を、自分が書いたように提出するのは御法度です。ChatGPTは騙せても、先生の目は簡単には誤魔化せるものではありません。ですが、文章のクオリティを上げるために生成AIを活用することは文科省のガイドラインでも認められています。自分で書いた文章を生成AIに推敲させて誤字を直してもらったり、生成AIの文章を参考に構成を考え直したり、読み落としていたポイントを再読したりと、さまざまな使い方ができそうです。
生成AIでブラッシュアップした感想文を提出する時には、「生成AIを使った」ということと、どんなプロンプトを使ったかをぜひ一緒に提出しましょう。生成AIの使い方は「これが正解」という答えがまだありません。先生も含めて、皆でノウハウを共有することで、生成AIの上手な使い方の学びになることでしょう。
なお、注意点として、生成AIの利用規約には年齢制限があります。ChatGPTは18歳以上(保護者の許可がある場合は13歳以上)、Geminiは13歳以上、Claude 3は18歳以上となっています。小学生の宿題に活用する時は保護者の方が代わりに操作するなど、規約を守ってご利用下さいね。
<参考情報>
初等中等教育段階における生成AIの利用に関する暫定的なガイドライン
https://www.mext.go.jp/content/20230718-mtx_syoto02-000031167_011.pdf
【学生533人に聞いた】3人に1人が夏休みの宿題に生成AIを活用、役に立った使い道とは?(Appliv調べ)
https://app-liv.jp/articles/145179/
最大6つの生成AIモデルを使い無料で同時検索! 比較検索「天秤AI byGMO」としてリニューアルオープン
https://www.gmo.jp/news/article/9020/