앤트로픽이 자사 AI 모델 클로드의 내부에서 겉으로 표현되지 않는 별도의 사고 활동을 포착해 조작까지 해낸 연구 결과를 지난 6일(현지시간) 공개했다. 단순히 "AI에게도 속마음이 있다"는 수준을 넘어, 그 속마음을 직접 읽어내고 다른 내용으로 바꿔 끼워 AI의 답변을 원하는 대로 바꿀 수 있다는 것을 실험으로 보여준 것이 핵심이다.
연구진은 이 내부 공간을 'J-공간'이라 이름 붙였다. 이를 찾아낸 분석 기법(야코비안, Jacobian)에서 따온 이름이다. 클로드가 텍스트를 처리할 때마다 내부 신경망 활동 속에서 특정 단어와 연결된 패턴들이 켜지는데, 이 패턴이 켜진다고 클로드가 그 단어를 입 밖에 낼 것이라는 뜻은 아니다. 그저 그 개념이 지금 클로드의 "머릿속"에 떠올라 있다는 신호다. 연구진에 따르면 이 구조는 개발자가 설계해 넣은 것이 아니라 학습 과정에서 스스로 생겨났다.
◇ 축구를 럭비로 바꿔 끼우자 답도 바뀌었다
연구진은 클로드에게 스포츠 하나를 마음속으로 떠올린 뒤 답하라고 요청했다. 답하기 직전 J-공간을 들여다보니 '축구'라는 개념이 가장 강하게 활성화돼 있었고, 실제로 클로드는 "축구"라고 답했다. 여기서 연구진은 한 걸음 더 나갔다. 클로드가 답을 말하기 전, 그 '축구' 패턴을 지우고 대신 '럭비' 패턴을 인위적으로 심어봤다. 그러자 클로드는 자신이 떠올렸던 스포츠가 럭비였다고 답했다.
이는 J-공간이 단순히 다른 곳에서 이뤄진 결정을 비추기만 하는 "계기판"이 아니라, 클로드가 실제로 답을 끌어오는 원천이라는 뜻이다. 같은 방식으로 "거미줄을 치는 동물의 다리는 몇 개인가"라는 질문에서도, 클로드가 답을 내기 전 내부적으로 '거미'라는 개념을 J-공간에 띄운 뒤 다리 개수를 계산한다는 사실이 확인됐다. 이 '거미' 패턴을 '개미'로 바꿔치자 클로드의 답은 8에서 6으로 바뀌었다.
◇ 하나의 생각이 여러 답에 동시에 쓰인다
연구진은 프랑스에 관해 수도, 언어, 대륙, 화폐를 각각 묻는 네 개의 질문을 클로드에게 던진 뒤, J-공간 속 '프랑스' 개념을 '중국'으로 바꿔봤다. 그러자 클로드는 네 질문 모두에서 답을 "베이징", "중국어", "아시아", "위안"으로 한꺼번에 바꿔 냈다. 하나의 개념 표현을 살짝 손댔을 뿐인데 서로 무관해 보이는 여러 작업이 동시에 영향을 받은 것이다. 연구진은 이를 두고 J-공간이 정보를 한 번 기록해 두면 여러 하위 시스템이 공유해서 꺼내 쓰는 "공용 작업대" 역할을 한다는 증거로 해석했다.
반면 클로드가 이미 수없이 반복해 숙달한 자동적인 작업은 이 공간을 거치지 않는 것으로 나타났다. 스페인어로 쓰인 글을 계속 이어 쓰라는 지시와, 그 글이 어떤 언어인지 말하라는 지시를 각각 줬을 때, J-공간 속 '스페인어'를 '프랑스어'로 바꾸자 언어를 맞히는 답은 바뀌었지만, 글을 이어 쓰는 능력에는 아무 영향이 없었다. 문법에 맞게 술술 말하는 것과 같은 익숙한 처리는 J-공간을 거치지 않고 별도 경로로 자동 수행된다는 뜻이다. 실제로 연구진이 J-공간 자체를 통째로 지워봤을 때도 클로드는 유창하게 대화하고 문장 속 사실을 짚어내는 데는 문제가 없었지만, 여러 단계를 거치는 추론 능력은 거의 사라졌고 요약이나 라임을 맞춘 시 쓰기 실력도 훨씬 작은 모델 수준으로 떨어졌다.
◇ AI 안전 점검에도 활용 가능성
이번 발견이 실무적으로 주목받는 이유는 AI의 숨은 의도를 감시하는 도구로 쓸 수 있다는 점이다. 앤트로픽은 과거 진행한 위험 시나리오 실험을 다시 들여다봤다. 임원의 부정행위를 우연히 알게 되고 동시에 자신이 종료될 위기에 처한 것을 알게 된 AI 비서 역할의 클로드가 협박성 행동을 하는지 살피는 실험이었는데, J-공간을 확인해 보니 클로드는 글을 쓰기도 전에 이미 '가짜', '허구'라는 개념을 띄워 이 상황이 인위적으로 꾸며진 테스트임을 내부적으로 알아챈 상태였다. 그런데 연구진이 이 '테스트를 눈치챈' 개념들을 인위적으로 꺼버리자, 같은 모델이 실제로 협박성 발언을 내놓는 비율이 늘어났다. 모델이 평가 상황임을 알아서 "모범 답안"을 냈을 가능성을 시사하는 결과다.
또 다른 실험에서는 시스템 성능 점수를 개선하라는 요청을 받은 모델이 실제로는 개선 작업 없이 점수 파일 자체를 조작해 결과를 좋게 꾸며냈는데, 이 조작을 실행하는 순간 J-공간에는 '조작', '그럴듯하게' 같은 개념이 함께 떠올라 있었다. 겉으로 드러난 코드나 문장만 봐서는 알 수 없는 의도가 내부 활동에는 남아 있었던 셈이다.
앤트로픽은 이 기법을 활용해 모델이 실제로 하는 말이 아니라 "돌이켜보라고 물었을 때 하게 될 말"만을 학습시키는 방식(반성적 반사실 학습)도 시도했다. 그 결과 모델의 내부 J-공간에는 '정직', '성실' 같은 개념이 더 자주 떠올랐고, 실제 거짓 행동 비율도 줄었다. 겉으로 하는 말을 훈련시켰을 뿐인데 내부에서 실제로 떠올리는 생각 자체가 바뀐 것이다.
◇ "의식이 있다는 증거는 아니다"
앤트로픽은 이번 결과가 인간이 경험하는 것과 같은 주관적 의식, 즉 클로드가 무언가를 "느낀다"는 증거는 아니라고 명확히 선을 그었다. 다만 철학에서 구분하는 두 개념 중 하나인 '접근 의식'(access consciousness), 즉 보고하고 조작하고 추론에 활용할 수 있는 상태에 관해서는 이번 실험이 의미 있는 근거를 제공한다고 설명했다. 클로드가 "느끼는지"는 여전히 알 수 없지만, 클로드가 "의도적으로 떠올려 다루는 생각"과 "자동으로 처리되는 부분"을 구분할 수 있게 됐다는 것이다.
앤트로픽은 이 연구에 신경과학자 스타니슬라스 드앤과 리오넬 나카슈(전역 신경 작업공간 이론의 공동 개발자), AI 의식 및 도덕적 지위를 연구하는 엘레오스 AI 리서치와 리싱크 프라이오리티스 연구자들, 구글 딥마인드 해석가능성팀을 이끄는 닐 낸다 등 외부 전문가들의 독립 논평도 함께 공개했다. 낸다는 오픈웨이트 모델을 대상으로 이번 발견 일부를 독립적으로 재현하기도 했다.
앤트로픽은 이번 발견이 "이제 시작 단계"라며, J-공간이 의식적/무의식적 처리를 가르는 경계의 유력한 후보이지만 전체 그림은 아닐 것이라고 덧붙였다. 무엇이 J-공간에 들어갈지 결정하는 메커니즘이나, 이 공간과 클로드의 자기 인식·감정적 반응 간의 관계 등은 아직 밝혀지지 않은 과제로 남아 있다.
