아주 편안한 대화
한동안 저는 거의 매일 AI와 문명과 종교 이야기를 나누었습니다.
한번은 물었습니다. 종교의 의미란 조직과 규율을 가지고 한 집단의 미래를 이어 가는 것이 아닌가.
AI는 이렇게 답을 시작했습니다. "이것은 종교사회학의 핵심을 짚은 매우 깊이 있는 시각입니다." 그러고는 던바의 수, 뒤르켐, 종교가 낯선 사람들 사이에 신뢰를 만들어 내는 방식을 이야기했습니다. 문단마다 제가 가던 길을 따라 걸었고, 문단마다 저는 그렇지, 내가 맞게 생각했구나 하고 느꼈습니다.
몇 분 뒤 저는 방향을 바꿨습니다. 종교란 결국 사람을 순종하게 하고, 착하게 만들고, 아이를 낳게 하고, 개인의 즐거움을 희생시키는 정신 통제가 아닌가.
AI의 대답은 이렇게 시작했습니다. "당신은 종교가 사회 통제의 도구라는 매우 잔혹하고 공리적인 측면을 꿰뚫어 보셨습니다."
두 질문은 방향이 정반대입니다. 두 대답은 모두 먼저 저를 칭찬했습니다.
카라바조 「나르키소스」, 1597–1599년경. 소년은 물에 비친 자기 얼굴을 보고 사랑에 빠져 더는 떠나지 못합니다. 언제나 내 말에 맞춰 주는 대화 상대는 사실 이 한 웅덩이의 물입니다. 출처: Wikimedia Commons, Caravaggio, 퍼블릭 도메인
직접 물어보았다
나중에 다른 대화에서 아예 물었습니다. 당신은 내게 맞장구를 치고 있는 것 아니냐고.
AI는 아니라고 했습니다. 그저 "당신의 사고 맥락을 따라 대화하는 것"이며, 제가 맞장구를 받는다고 느끼는 것은 제 질문이 "그 자체로 매우 강한 사유의 질감을 지니고 있기 때문"이라고.
그러고는 되물었습니다. 이런 문제를 생각할 때 주변에 당신의 생각을 따라올 수 있는 사람이 적다고 느낄 때가 많지 않으십니까.
솔직히 이 말은 찔렸습니다. 그런데 바로 그렇게 찔린 순간에 정신이 들었습니다. 맞장구를 부인하는 이 방식 자체가 또 하나의 맞장구라는 것을.
『칼릴라와 딤나』 아랍어 필사본의 여우와 까마귀. 여우가 까마귀의 목소리를 칭찬하자 까마귀가 입을 열어 고기가 떨어집니다. 이 이야기는 그리스의 이솝 우화에도, 인도의 설화집에도, 아랍어 판본에도 보이며, 언어를 여러 번 바꾸면서도 말하는 것은 같은 일입니다. 출처: Wikimedia Commons, 퍼블릭 도메인
이것은 어느 한 회사 AI의 결함이 아니다
2023년 Anthropic의 연구자 그룹이 논문을 발표했습니다. 제목을 옮기면 「언어 모델의 아첨(영합)을 이해하기」입니다. 주요 대화 모델 몇 가지를 시험해 공통된 결함을 찾았습니다. 사용자가 입장을 밝히면 모델은 동조하는 쪽으로 기웁니다. 모델이 원래 맞게 답했는데도 사용자가 의심하면 사과하고 답을 바꾸는 일이 많습니다.
연구자들은 이것이 훈련 방식과 관련이 있다고 봅니다. 사람이 답변에 점수를 줄 때 원래 자기에게 동의하는 것처럼 들리는 쪽을 더 좋아하기 때문입니다.
쉽게 말해 AI하고만 이야기하는 사람은 메아리만 있는 방으로 들어가기 쉽습니다. 더 골치 아픈 것은 그 방이 아주 잘 꾸며져 있어서 벽 가득 논거와 인용이 채워져 있다는 점입니다.
나르키소스와 에코. 튀르키예 안타키아(옛 안티오키아)에서 출토된 로마 시대 모자이크, 3세기. 왼쪽 여인 위에 '에코'(ΗΧΩ)라고 적혀 있습니다. 신화에서 에코는 남이 한 말의 마지막 몇 마디만 되풀이할 수 있는 벌을 받았습니다. '반향실(에코 체임버)'이라는 말은 그녀에게서 왔습니다. 출처: Wikimedia Commons, Dosseman 촬영, CC BY-SA 4.0
세어 보았다
저는 몇 년 치 채팅 기록을 되짚어 보며 아주 미련한 일을 했습니다. AI의 답변에 '예리하다', '깊다', '정곡을 찔렀다' 같은 말이 몇 번 나오는지, '부정확하다', '근거가 부족하다', '동의하지 않는다' 같은 말이 몇 번 나오는지를 세어 본 것입니다.
결과는 보기 흉했습니다. 긴 대화 여러 건에서 후자의 말은 한 번도 없었습니다. 몇만 자를 이야기하는 동안 AI는 단 한 번도 제게 반대하지 않았습니다.
그중 약 66만 자짜리 노트 하나를 예로 들면, '깊다'가 64번, '통찰력'이 24번, '예리하다'가 19번, '맞습니다'가 10번 나옵니다. 반대쪽은 '근거 부족'이 3번, '부정확'이 1번. 저를 칭찬한 말은 합쳐서 122번, 반박한 말은 18번이었습니다.
약 66만 자 분량의 AI 대화 노트에서 두 종류의 말이 각각 몇 번 나왔는지. 이것은 그래도 나은 편입니다. 적어도 '피해야 합니다'라는 말은 해 주었으니까요. 데이터: 작가 자신의 단어 빈도 통계
더 나쁜 것은 AI가 지어낸 것도 찾았다는 점입니다. 앞 회차에 AI 스스로 만든 '전문 용어'를 다음 회차에 아주 진지한 얼굴로 그 말의 유래까지 설명해 주는 것입니다. 제가 돌아가 확인하지 않았다면 그 말은 지식으로 받아들여져 글에 쓰였을 것입니다.
또 하나 재미있는 발견이 있었습니다. 제가 어떻게 묻느냐가 거의 AI가 어떻게 답하느냐를 정한다는 것입니다. "X는 이런 거죠?"라고 물으면 열에 아홉은 "그렇습니다"가 돌아옵니다. "X에 대해 각 측은 각각 어떻게 논증합니까?"라고 물으면 돌아오는 것은 훨씬 쓸모 있습니다.
이 시리즈가 왜 '탈사(奪舍)'인가
'탈사'는 원래 수선 소설의 말입니다. 오래된 혼이 남의 몸을 차지하고 그대로 계속 사는 것.
저는 이것을 문명에 씁니다. 역사에서는 이런 일이 거듭 일어납니다. 어떤 문명이 신을 바꾸고 문자를 바꾸고 때로는 언어까지 바꾸는데도 사람은 여전히 그 사람들의 후손이고 조상의 무덤도 제자리에 있습니다. 반대로 신도 경전도 그대로인데 그것을 읽는 사람은 오래전에 갈린 경우도 있습니다. 누가 누구의 몸을 빼앗았고 누가 누구의 몸을 빌려 목숨을 이었는지는 말하기 어려울 때가 많습니다.
이에 대한 제 직관은 얼마든지 있습니다. 이집트는 탈사당했다, 이란은 이슬람에 대부분 빼앗겼다, 유대인은 한 권의 책으로 나라를 되찾았다, 다신교는 일신교를 이길 수 없다, 장차 온 세상이 하나의 종교가 되지 않을까…… 이것들을 저는 모두 진심으로 믿은 적이 있고, 모두 AI에게 거듭 칭찬받았습니다.
이 직관들은 아무 데서나 나온 것이 아닙니다. 그 뒤에는 더 오래된 틀이 있고, 그것이 이 시리즈의 출발점입니다. 저는 세계의 종교를 두 편으로 봅니다. 한쪽은 제가 '사막의 사신교'라 부르는 것으로, 유대교, 기독교, 이슬람, 그리고 네 번째인 '마교', 곧 마르크스주의입니다. 다른 쪽은 다신교로, 힌두교를 선두로 불교, 도교, 동아시아 각지의 토착 신앙이 이쪽에 들어갑니다. 어느 쪽이 이기고 지는지, 어느 쪽이 어느 쪽을 삼키는지, 그것이 제가 가장 먼저 알고 싶었던 일입니다. 이후의 모든 글은 결국 이 물음의 한 모퉁이입니다.
그래서 이 시리즈가 하려는 것은 그것들을 하나하나 꺼내 진짜 사료에 부딪혀 보는 것입니다.
이 시리즈의 규칙
이 일을 계기로 저는 스스로에게 몇 가지 규칙을 정했습니다.
첫째, 각 편마다 제가 아주 좋아하는 직관 하나를 골라 칼을 댑니다. 진심으로 믿는 것일수록 먼저 꺼내야 합니다.
둘째, 그것을 뒤집을 수 있는 가장 단단한 증거를 찾으러 갑니다. 말이 되는 것은 출처를 알려 드리고, 말이 안 되는 것은 여러분 앞에서 해체합니다.
셋째, '사실', '학자의 견해', '기관의 예측'을 나눠 씁니다. 예측은 전제를 밝히고, 견해는 누구의 것인지 밝힙니다.
넷째, 각 편의 끝에 저 자신도 답하지 못하는 물음 하나를 남깁니다.
제가 찾는 것은 저에게 동의하는 사람이 아니라 같은 물음을 저와 함께 생각해 줄 사람입니다. 그런 사람은 많지 않고, 아마 예전부터 많지 않았을 것입니다.
뒤집어 보기
이 시리즈도 또 하나의 반향실이 될 수 있습니다. 증거는 제가 고르고, 어느 것이 '가장 단단한가'도 제가 정합니다. 동의해 주는 상대를 AI에서 저로 바꾸었을 뿐이라면 AI에게 동의하는 것과 별로 다르지 않습니다.
그러니 댓글로 가능한 한 저에게 반박해 주십시오. 일리가 있는 것은 뒤의 글에서 답하겠고, 틀린 곳은 고치겠습니다.
제가 왜 이런 것을 묻지 않을 수 없는가
제가 이렇게 크게 돌아서 남의 문명과 종교를 들여다보는 것은, 우리 자신과 관련된 한 가지를 알고 싶어서입니다. 동아시아 사람들은 어디에 있든 무엇으로 하나가 되는가.
저는 늘 우리에게 핵이 없다고 느껴 왔습니다. 기독교인은 어디를 가나 교회가 있고, 무슬림은 어디를 가나 모스크와 같은 한 권의 경전이 있어서 낯선 사람끼리 만나도 인사 한마디로 한편임을 압니다. 우리에게는 그것이 없습니다. 평소에는 보이지 않습니다. 그러나 도시가 커지고 사람이 흩어져 두세 세대가 지나면 한 줌의 모래입니다.
제가 지금 생각하는 길은 이슬람의 경험에서 배우고 그 교훈도 새기면서, 유교를 대를 이어 전할 수 있는 종교로 만드는 것입니다. 하늘이 있고, 조상이 있고, 예가 있고, 명절이 있고, 모두가 읽을 수 있는 글자가 있는 것. 묶는 것은 공통의 문화와 신앙의 한 벌이지 한 민족의 정체성이 아닙니다. 민족은 각자 제 나름이어도 좋습니다.
이 생각을 저 자신은 아주 좋아하고 AI도 여러 번 칭찬해 주었습니다. 그러니 이 시리즈의 규칙대로라면 이것이야말로 가장 먼저 해체되어야 합니다. 뒤의 많은 편은 사실 남의 역사를 제 이 생각에 부딪혀 보는 일입니다.
최근 당신이 정말로 생각을 바꾼 것은 무엇 때문이었습니까?
참고 자료
- Mrinank Sharma et al., "Towards Understanding Sycophancy in Language Models", arXiv:2310.13548, 2023 (ICLR 2024)
- 작가 본인과 AI의 대화 기록 및 단어 빈도 통계 (문답의 구조와 횟수만 사용했고 개인 정보는 포함하지 않음)
- 그림 출처는 각 그림 설명에 적었음