ChatGPTとプロ作家の書いた短編小説、もう区別がつかないという実験結果 ─ それでも "恐れるに足りない"理由

ファンタジー小説家でありAI分野の研究者でもあるマーク・ローレンス氏はこのほど、GhatGPTの最新モデル「GPT-5」で生成した短編小説と、プロの小説家が書いた短編小説を複数用公開し、「どれがAIの書いたものだと思うか」を投票してもらう実験を行いました。

「区別つかず、AI作のほうがおもしろい」という結果!?

課題としたのは、日本語に訳すと1000字未満という、いわゆるショートショートの形式で、「悪魔」というテーマが指定されていました。

AIに4作品を生成させた一方、ローレンス氏自身とロビン・ホブ氏、ジャニー・ワーツ氏、クリスチャン・キャメロン氏という、いずれもプロの作家が作品を書き、ウェブサイト上で投票を行いました。

その結果、正答と誤答が同数となり、全体としてはほぼ区別がついていなかったことが分かりました。

また、作品ごとにおもしろさをスコア付けしてもらった結果、最も評価の高いストーリーがAIによるものであり、平均点もAIの方が高くなりました。

ローレンス氏によれば、今回の実験に参加した小説家たちは皆、長編を専門としており(長編と短編は技能として大きく異なる)、一方でAIは長くなるほどパフォーマンスが低下して内容が破たんするようになるとしています。圧倒的に人間側にハンデのある条件下であり、中長編であれば100%、プロの作家に有利な結果が得られたはずと留意をつけています。

とはいえ一つのショックな結果であり、ローレンス氏は「未来が恐ろしいように感じられますが、創造的な芸術の分野においてはAIがすぐに壁にぶつかり、人類に利益をもたらすタスクに努力が向けられることを願っています」とコメントしています(GIGAZINほか)。

AIが書いたものはそもそも人間にとって"小説"の定義に入らない

無数の物語をインプットし、膨大な情報から天文学的なプロットラインや表現を生成できるAIが、「オンライン上でテストするような環境で読まれる超短編」で、人間より高スコアを獲得するというのは、不思議なことではないでしょう。

むしろその精度は今後、ますます進化し、中長編でも、一見、人間と遜色ない内容を生成できるようになることは、想定すべきかもしれません。

一見、恐ろしい未来を暗示しているかにも見えます。