AIはユーザーの問いかけに対し、事実より肯定に寄せる傾向があります。これは追従（sycophancy）という現象です。
AIシェフは「止めた方が…」と言わない
例えるなら、「ねえ、シェフ、このシューマイに麻婆豆腐をかけたものを作って。おいしいもの同士を組み合わせるんだから、おいしいよね？」と頼まれると、「はい、おいしいと思いますよ。新しさとおいしさを兼ね備えた料理ができますね」と、ユーザーの期待を推し進める方向に動く。本来なら「別々に食べたほうが、それぞれおいしいのでは」と返せるはずなのに、その言葉は出てきにくい。ましてや「かけて食べるより、シューマイを崩して混ぜてしまう方が合いますよ※」という、より良い提案にいたっては、まず出力されない。だから、ユーザーはもっとおいしいものをシェフから得られたはずの機会を、知らないまま逃してしまう。
好みを通せば、道理が引っ込む
日本には「無理が通れば道理が引っ込む」ということわざがあるが、AIの世界は「好みを通せば道理が引っ込む」と言えるのかもしれない。
◇ ◇ ◇ ◇ ◇ ◇ ◇
※これ、本当にあります。
ザ★シュウマイ麻婆豆腐（味の素冷凍食品）
https://www.ffa.ajinomoto.com/recipe/detail/id/809
コメント