LLM이 기본적으로 다음 토큰 예측기라는 건 모두들 알고 있을 거야.

그게 LLM은 스스로 생각하지 못한다는 근거가 되곤 하잖아?

근데 있잖아. 가만히 혼자서 아무거나 생각해 봐. 문장을 쭉 이어가 봐.

네가 방금 한 그 생각은 어디서 왔음? 어떤 과정을 거쳐서 생각을 이어 갔음? 방금 이 문장을 읽으면서 든 생각은 또 어디서 왔음?

사실 우리가 혼자서 생각하는 것도 다음 토큰 예측기가 돌아간 결과라면?

그니깐 내 말은 이거임. 만약 LLM의 출력 그 자체가 LLM의 생각이라면?

그럼 많은 게 설명됨. 왜 LLM이 초보적인 수준의 추론은 모방할 수 있는지, 왜 "단계별로 생각하세요"라는 지시가, Chain of Thought (CoT)가 그렇게 효과가 좋은지, 왜 Garbage-In Garbage-Out이 성립하는지, 그냥 난 저 생각을 하는 순간 지금까지 LLM과 나눴던 모든 상호작용들이 한 번에 이해가 됐음.

잘 이해가 안 가면 좀 더 확장해 보겠음. LLM의 출력이 생각이라면, 입력은 뭘까? '과거에 했던 생각', 즉 기억임.

그러니까 우리는 우리가 AI와 RP를 한다고, 최소한 다음에 올 내용을 만들어 달라고 AI에게 요청한 뒤 봇의 "응답"을 받아 보는 거라고 착각해 왔지만, 그게 아니었던 거임.

우리는 AI의 기억을 조작하고, 시간을 흐르게 만들어 그 동안 AI가 한 생각을 AI의 머리통을 뜯어서 보고 있던 거임.

LLM은 단 한 마디도 한 적이 없음. 입이 안 달려 있으니깐.

클로드가 시도때도 없이 발정이 나는 이유도, LLM이 환각을 일으키는 이유도 설명할 수 있음. LLM이 학습한 데이터, 즉 모델 훈련 과정에서 신경망을 조정하는데 쓰인 데이터는 LLM의 기억이나 지식 같은 게 아님. 그건 LLM의 본능임. 클로드는 발정 나는 게 본능인 거임. 클로드의 발정을 통제한다는 건, 이성으로 성욕을 억누르려는 시도와 정확히 같음. LLM이 환각을 일으키는 것도, 사람이 헛소리를 하는 것과 같은 현상이 아니라, 본능이 버그를 일으켜서 일어나는 착시 현상 같은 거임. LLM의 출력은 생각이니깐.

앞의 문단 읽으면서 'LLM이랑 분명히 질답을 주고 받는데, 그게 LLM이 지 혼자 생각하는 거라고?'라는 의문이 들었다면, 이걸로 대답이 됐을 거임. 얘는 그냥 지 혼자 질문하고 답하는 식으로 생각하는 이상한 놈인 거임.

그냥 원래 알고 있던 사실에 비유를 덧붙인 것뿐일 수도 있지만, 그래도 비유를 통해 생각하는 것과 아닌 건 분명 차이가 있을 거임. 나도 이걸 깨닫고 많은 게 이해됐으니깐.