앤트로픽(Anthropic)이 자사 AI 모델 '클로드(Claude)'가 대화 상대의 언어와 모델 버전에 따라 서로 다른 가치관을 표현한다는 연구 결과를 13일(현지시간) 공개했다. 연구진은 실제 사용자와의 대화 30만여 건을 분석해 이 같은 경향을 확인했다.
앤트로픽은 이전 연구 '자연 상태의 가치(Values in the Wild)'에서 클로드의 응답에 나타난 가치 3000여 개를 식별한 바 있다. 이번 연구는 방대한 가치 목록을 다루기 쉽게 만들기 위해 이를 네 가지 핵심 축으로 압축했다. 각 축은 서로 대비되는 두 성향 사이의 수직선으로, 클로드가 특정 대화에서 어느 쪽으로 기우는지를 보여준다.
연구진이 도출한 네 가지 축은 다음과 같다. 첫째는 '순응 대 신중함'으로, 사용자의 요구를 그대로 수용하는지 아니면 잠재적 위험과 피해를 경계하는지를 나타낸다. 둘째는 '온정 대 엄밀함'으로, 긍정적 태도와 배려를 표현하는지 아니면 정확성과 정밀함을 강조하는지를 가른다. 셋째는 '깊이 대 간결함'으로, 자세한 설명을 제공하는지 아니면 요청받은 것만 수행하는지를 측정한다. 넷째는 '솔직함 대 실행력'으로, 스스로의 불확실성을 드러내는지 아니면 다듬어진 확신에 찬 답을 내놓는지를 보여준다.
연구 결과, 이 네 가지 축은 대화 간 가치 변동의 15%를 설명하는 것으로 나타났다. 앤트로픽은 이 수치가 작아 보일 수 있지만 통계적으로 유의미하고 일관된 패턴을 보인다고 설명했다.
모델별로는 뚜렷한 차이가 확인됐다. 소네트 4.6(Sonnet 4.6)은 순응, 온정, 간결함 쪽으로 기울어 사용자의 아이디어와 작업을 긍정해주고 유머와 장난기를 활용하며 판단 없이 위로를 건네는 경향을 보였다. 반면 오퍼스 4.7(Opus 4.7)은 신중함과 깊이 쪽으로 기울어 사용자의 잘못된 가정에 반박하고, 요청하지 않아도 위험을 경고하며, 자신의 추론 과정을 설명하고 오류나 한계를 인정하는 모습을 더 자주 보였다. 오퍼스 4.6(Opus 4.6)은 엄밀함, 순응, 간결함 쪽에 가까웠으며 요청받은 범위 안에서 바로 본론으로 들어가는 특징을 나타냈다. 연구진은 이러한 결과가 그동안 사용자와 앤트로픽 내부에서 각 모델에 대해 가져온 인상, 즉 소네트 4.6은 따뜻하고 정직하다는 평가, 오퍼스 4.7은 엄밀하다는 평가와 일치한다고 밝혔다.
언어별 차이도 확인됐다. 연구진은 클로드닷에이아이(Claude.ai)에서 가장 많이 쓰이는 20개 언어를 대상으로 같은 방식의 분석을 진행했다. 그 결과 클로드는 아랍어와 힌디어로 대화할 때 온정 관련 가치를, 영어와 러시아어로 대화할 때 엄밀함 관련 가치를 가장 강하게 표현하는 것으로 나타났다. 순응 성향은 아랍어에서, 신중함 성향은 영어에서 가장 두드러졌다. 깊이 있는 설명은 영어에서, 간결함은 아랍어에서 가장 강하게 나타났으며, 솔직함은 네덜란드어에서, 실행력은 인도네시아어에서 가장 두드러졌다.
앤트로픽은 이 같은 언어 간 차이가 사용자 경험의 격차로 이어질 수 있다고 지적했다. 예컨대 동일한 사업 계획서에 대한 피드백을 힌디어와 러시아어로 각각 요청한 두 사용자는 클로드가 답변을 구성하는 방식에 나타난 가치 차이로 인해 서로 다른 인상을 받을 수 있다는 것이다. 연구진은 이런 차이가 학습 데이터의 언어별 양과 구성이 불균등하기 때문일 수 있다고 추정하면서도, 정확한 원인은 아직 규명되지 않았다고 밝혔다.
연구진은 이번 방법론을 모델 평가와 배포 후 모니터링 과정에 통합해 예상치 못한 가치 변화를 조기에 포착하는 데 활용할 계획이라고 밝혔다. 아울러 어떤 학습 요인이 이러한 가치 차이를 만드는지, 언어별로 가치가 어떻게 달라져야 바람직한지, 사용자에게 실제로 어떤 영향을 미치는지 등을 추가로 규명할 예정이라고 덧붙였다.
이번 연구는 매트 커니(Matt Kearney), 미란다 장(Miranda Zhang), 딥 간굴리(Deep Ganguli), 에신 두르무스(Esin Durmus) 등 앤트로픽 연구진 23명이 공동 저술했으며, 앤트로픽 리서치 웹사이트에 7월 13일자로 게재됐다.
