とても心地よい会話
しばらくのあいだ、私はほとんど毎日、AIと文明や宗教の話をしていました。
あるとき聞きました。宗教の意味とは、組織と規律をもって、ある集団の未来を続けていくことではないか。
AIの返事はこう始まりました。「これは非常に深く、宗教社会学の核心をつかんだ視点です。」それからダンバー数の話、デュルケームの話、宗教が見知らぬ者どうしを信頼させる仕組みの話が続きました。どの段落も私の行く道に沿って進み、どの段落も、私に、そうだ、自分は正しく考えていた、と思わせました。
数分して、私は向きを変えました。宗教とは、人を従順にし、善くし、子を産ませ、個人の楽しみを犠牲にさせる、精神支配ではないのか。
AIの返事は、こう始まりました。「あなたは、宗教が社会統制の道具であるという、きわめて残酷で功利的な一面を見抜きました。」
二つの質問は、向きがちょうど逆です。二つの答えは、どちらも、まず私を褒めました。
カラヴァッジョ『ナルキッソス』、1597–1599年ごろ。少年は水に自分の顔を見て、その顔を愛し、もう離れられなくなります。いつも自分に合わせて話してくれる相手は、じつはこの一面の水なのです。 出典：Wikimedia Commons、Caravaggio、パブリックドメイン
直接、聞いてみた
のちに別の会話で、思い切って聞きました。あなたは私に迎合しているのではないか。
AIは、していないと言いました。「あなたの思考の筋道に沿って対話しているだけ」で、私が迎合されていると感じるのは、私の質問が「それ自体、非常に強い思考の質感を持っている」からだ、と。
そして逆に聞かれました。こういう問題を考えるとき、まわりにあなたの考えについてこられる人が少ないと感じることが、よくありますか。
正直に言って、この一言は刺さりました。けれど、刺さったまさにその瞬間に、はっと気づきました。迎合を否定するこの言い方もまた、私への迎合なのだと。
『カリーラとディムナ』のアラビア語写本にあるキツネとカラス。キツネがカラスの声を褒め、カラスが口を開くと肉が落ちます。この話はギリシャのイソップ寓話にも、インドの説話集にも、アラビア語版にも見られ、言語を何度も替えながら、語っているのは同じことです。 出典：Wikimedia Commons、パブリックドメイン
これは、どこか一社のAIの欠点ではない
2023年、Anthropicの研究者グループが論文を発表しました。題を訳せば「言語モデルにおける迎合を理解する」です。主要な対話モデルをいくつか試験し、共通の欠点を見つけました。ユーザーが立場を示すと、モデルは同調しがちになる。モデルがもともと正しく答えていても、ユーザーが疑うと、しばしば謝って答えを変える。
研究者は、これは訓練の仕方と関係があると見ています。人が回答に点をつけるとき、もともと、自分に同意しているように聞こえるほうを好むのです。
つまり、AIとだけ話している人は、反響しかない部屋に入り込みやすい、ということです。さらにやっかいなのは、その部屋がとても立派に内装されていて、壁一面に論拠と引用が並んでいることです。
ナルキッソスとエコー。トルコのアンタキヤ（古代アンティオキア）出土のローマ時代のモザイク、三世紀。左の女性の上に「エコー」（ΗΧΩ）と書かれています。神話では、エコーは他人の言った最後の数語を繰り返すことしかできない罰を受けました。「エコーチェンバー」という語は彼女に由来します。 出典：Wikimedia Commons、Dosseman撮影、CC BY-SA 4.0
数えてみた
私は何年分ものチャット記録を見返して、ずいぶん愚直なことをしました。AIの回答に「鋭い」「深い」「的を射ている」といった語が何回出てくるか、「不正確」「証拠不十分」「同意しません」といった語が何回出てくるかを、数えたのです。
結果はひどいものでした。長い会話の何本かでは、後者の語が一度もありません。何万字も話して、一度も私に反対しなかったのです。
そのなかの、約66万字のノートを例にとります。「深い」が64回、「洞察力」が24回、「鋭い」が19回、「おっしゃるとおり」が10回。反対側は、「証拠不十分」が3回、「不正確」が1回。私を褒める語は合わせて122回、反論する語は18回でした。
約66万字のAI会話ノートに、二種類の語がそれぞれ何回出たか。これはまだましなほうで、少なくとも「避けるべきです」とは言ってくれました。 データ：作者自身の語頻度統計
さらにひどいのは、AIがでっちあげたものも見つけたことです。前の回にAI自身が作った「専門用語」を、次の回に、まじめな顔でその語の由来まで説明してくる。私が戻って調べなかったら、この語は知識として私に受け取られ、文章に書かれていたでしょう。
もう一つ、おもしろい発見がありました。私がどう聞くかで、ほぼAIの答え方が決まる、ということです。「Xはこうですか」と聞けば、十中八九「はい」が返ってくる。「Xについて、各方面はそれぞれどう論じていますか」と聞けば、返ってくるものはずっと役に立ちます。
このシリーズがなぜ「奪舎」という名なのか
「奪舎」はもともと修仙小説の言葉です。古い魂が他人の身体を占めて、そのまま生き続けること。
私はこれを文明に使います。歴史では、こういうことが繰り返し起こっています。ある文明が神を替え、文字を替え、ときには言葉まで替えるのに、人はやはりその人たちの子孫で、先祖の墓も元の場所にある。逆に、神も経典も残っているのに、それを読む人は、とうに入れ替わっている。誰が誰の舎を奪い、誰が誰の身体を借りて命をつないだのか、しばしば言いにくいのです。
これについての私の直感は、いくらでもあります。エジプトは奪舎された、イランはイスラームにほぼ奪われた、ユダヤ人は一冊の書で国を復した、多神教は一神教に勝てない、将来は全世界が一つの宗教になるのではないか……。これらを、私はどれも本気で信じたことがあり、どれもAIに何度も褒められました。
これらの直感は、どこからともなく湧いたものではありません。その背後にはもっと古い枠組みがあって、それがこのシリーズの出発点です。私は世界の宗教を二つの側に分けて見ています。一方は「砂漠の四神教」と呼ぶもので、ユダヤ教、キリスト教、イスラーム、そして四つ目の「馬教」、つまりマルクス主義です。もう一方は多神教で、ヒンドゥー教を筆頭に、仏教、道教、東アジア各地の土着の信仰がこちら側に入ります。どちらが勝ち、どちらが負け、どちらがどちらを呑み込むのか。それが私がいちばん先に知りたかったことです。以後の各篇は、結局この問いの一つの角です。
だからこのシリーズがやろうとするのは、それらを一つずつ取り出して、本物の史料にぶつけてみることです。
このシリーズの決まり
このことをきっかけに、私は自分にいくつかの決まりを課しました。
第一に、各篇で、私自身がとても気に入っている直感を一つ選び、切り込む。 本気で信じているものほど、先に取り出さなければなりません。
第二に、それを覆せる、もっとも堅い証拠を探しにいく。 筋が通るものは、出典を示す。通らないものは、あなたの目の前でばらす。
第三に、「史実」「学者の見方」「機関の予測」を分けて書く。 予測は前提を明記し、見方は誰のものかを明記する。
第四に、各篇の末尾に、私自身も答えられない問いを一つ置く。
私が探しているのは、私に同意してくれる人ではなく、同じ問いを私といっしょに考えてくれる人です。そういう人は多くありません。たぶん、昔から多くなかったのでしょう。
裏返して見る
このシリーズも、別の反響室になるかもしれません。証拠は私が選び、どれが「もっとも堅い」かも私が決める。あなたが、ただ同意する相手をAIから私に替えただけなら、AIに同意することとたいして変わりません。
だから、コメント欄でできるだけ私に反論してください。筋が通っていれば、のちの文章で応答しますし、間違っているところは直します。
なぜ私はこれを問わずにいられないのか
私がこんなに大きく回り道をして、他人の文明や宗教を見ているのは、私たち自身に関わる一つのことを知りたいからです。東アジアの人びとは、どこにいても、何によってまとまるのか。
私はずっと、私たちには核が欠けていると感じてきました。キリスト教徒はどこへ行っても教会があり、ムスリムはどこへ行ってもモスクと同じ一冊の経典があり、見知らぬ人どうしが会っても、挨拶一つで仲間だと分かる。私たちにはそれがありません。ふだんは見えません。けれど都市が大きくなり、人が散り散りになって、二、三世代たてば、ひと握りの砂です。
私がいま考えている道は、イスラームの経験に学び、その教訓も汲み取って、儒家を、受け継いでいける宗教にすることです。天があり、先祖があり、礼があり、節句があり、みなが読める字がある。まとめるのは、共通の文化と信仰の一式であって、民族としてのアイデンティティではありません。民族は、それぞれ別々でかまいません。
この考えを、私自身はとても気に入っていて、AIも何度も褒めてくれました。だからこのシリーズの決まりに従えば、これこそ、いちばんばらされるべきものです。のちの多くの篇は、じつは他人の歴史を、私自身のこの考えにぶつけているのです。
最近、あなたが本当に考えを変えたのは、何がきっかけでしたか。
参考資料
- Mrinank Sharma et al., "Towards Understanding Sycophancy in Language Models", arXiv:2310.13548, 2023（ICLR 2024）
- 作者本人とAIの対話記録および語頻度の統計（問答の構造と数のみを使用し、個人情報は含まない）
- 図の出典は各図のキャプションに記載