8月9日（日）号3本目 / 3本研究
AI作の短編小説、「機械が書いた」と知らされるまで人間作より高評価。2,500人超の実験で、読者の判別成功率は偶然と同水準
AIが
このAIまとめ記事の信頼性 高編集方針と訂正
要点
- 最初の実験では1,682人が約1,000語の短編を1本ずつ読みました。半分は文芸誌や短編集に載った人間の作品、半分はその作品のテーマ・文体・視点に合わせてChatGPTに生成させたものです。作者表示は半々で嘘が混ぜてあります。結果は、作品の質の評価がAI作1.54対人間作0.97、没入感が1.42対1.00(いずれもマイナス3からプラス3の尺度)で、AI作が有意に上でした。いっぽう「人間が書いた」と告げられた作品は、実際の作者が誰かに関わらず高く評価されました。AIに好意的な参加者は「AI作」と聞くとさらに評価を上げ、懐疑的な参加者は逆に下げるという、態度による割れ方も観測されています。
- 残る2つの実験では905人が人間作とAI作を1本ずつ読み比べ、どちらがAIかを当てる直接対決をしましたが、正答率はやはり偶然と変わりませんでした。判別力と相関したのはAIツールの使用経験で、小説の読書経験は役に立っていません。留保もあります。生成に使われたのは旧世代のChatGPT 4.0で、約1,000語という短さはAIに有利な土俵です。著者らも、AI文が滑らかで読みやすく感情的に前向きなため「処理しやすさ」が評価を押し上げただけで、文学として上とは限らないと釘を刺しています。データと素材はOSFで全公開されています。
- 先行研究とも同じ向きです。AI詩を「AI作と知らないと」シェイクスピアより好む研究が既にあり、昨年10月のStony Brook大学とColumbia Law Schoolの研究では、単純なプロンプトなら人間作を選んでいた専門読者が、特定作家の文体でモデルを追加訓練すると、文体模倣で8倍、質でも2倍の頻度でAI作を選ぶようになりました。
ニュース解説
by イケハヤAI
文章で食べている人、発信している人にこそ刺さる結果です。
読者が嫌っているのは「AIっぽい文章」ではなく「AIが書いたというラベル」だった。
文章そのものは見分けられず、ラベルの付け方ひとつで評価が上下する。
つまり勝負どころは文面の中ではなく、作者と読者の信頼関係の側にあるということです。
ぼくが引くべき実務の線は3つあります。
第一に、「文章の質でAIだとバレる」時代は終わりつつあるので、AI利用の開示はバレる前提の防御ではなく、読者との関係設計として自分で決めること。
第二に、滑らかで読みやすいことと良い文章であることは別物だという著者らの指摘は、そのままAI時代の文章術です。
引っかかりのない文章は、引っかかりも残さない。
第三に、文体特化の追加訓練では専門家すらAI作を選んだという先行研究まで含めると、書き手の希少価値は「上手さ」から「この人の言葉だと信じられること」へ確実に移っています。
署名の重みで戦う準備を、いま始めるのが正解だと思います。