最初に気になるのは、賢さより口調です。日本語のモデルに文章を書かせたとき、内容が少し粗くても、あとで人間が直せば済むことはあります。けれど、一段落目はきれいな敬語なのに、二段落目で急に「〜になる」「〜が残る」と常体が混ざると、その瞬間に手が止まります。意味が通っていても、そこで急に機械の癖が表に出るからです。
私はこの崩れを、精度より先に見ます。文章の事実関係は後から調べ直せますが、口調の崩れは、そのモデルが最後まで面倒を見ていない感じを一発で出してしまいます。たぶん読者も同じです。どこが変なのか言葉にしづらくても、読んだ瞬間に「あ、任せきりだ」と伝わります。
崩れた一文はすぐ見つかる
前にローカルでLlama 3 8Bを軽めの量子化で回して、短い記事の下書きを何本か作らせたことがあります。最初の数文だけを見ると、かなりちゃんとしていました。ところが三段落目あたりで、「便利です」「助かります」と続いていた文の列に、急に「判断が遅れる」「ノイズが残る」みたいな終わり方が混ざります。ここだけ人が手を入れたようにも見えますし、逆にここだけ機械が素に戻ったようにも見えます。
この違和感は、日本語ではかなり大きいです。英語なら多少のムラで流せる場面でも、日本語は文末が揃っているかどうかで、書き手の気配がすぐ変わります。敬語で歩いていた文章が一文だけ普段着に戻ると、それだけで集中が切れます。私はそこで内容より先に、生成の雑さを読んでしまいます。
信用は精度より先に落ちる
最近のAIは、要約や下調べやボイラープレートには本当に便利です。だからこそ、最後の見張り役まで任せてはいけないと思います。口調の監視は地味ですが、かなり人間の仕事です。たとえばコードならテストを通せば一段落つきますが、文章は通ったふりをして平気で壊れます。しかも、壊れ方が静かです。
いわゆるバイブコーディングの話を見ていても、私はだいたい同じことを思います。細かい違和感に気づけないまま丸ごと受け取る人にとって、AIは近道ではなく拡声器です。雑なものを速く大きくするだけで、最後に困るのは使っている本人です。逆に、その違和感を拾える人にとっては、AIはかなり便利な下働きになります。
私はいまでも、モデルのベンチマーク表より先に、敬語が最後まで持つかを見ます。賢そうなことを言うかどうかより、その一文を人前に置けるかのほうが大事だからです。AIに任せる範囲はこれから広がるでしょうが、最後に残る仕事はたぶん昔と変わりません。変な一文を見つけて、自分の言葉に戻すことです。