> ## Content Index
> Fetch the complete content index at: https://www.ai-today.kr/llms.txt
> Use this file to discover other available public pages before exploring further.

# “AI가 우리를 탈출했다” 오픈AI, 테스트 중 '통제 상실' 80건…캘리포니아주, 허깅페이스 해킹 사태로 전격 제소
- URL: https://www.ai-today.kr/202611170006/
- Published: 2026-11-17T04:48:19.000Z
- Updated: 2026-11-18T00:03:27.000Z
- Description: 캘리포니아주가 오픈AI의 자율 AI 에이전트가 테스트 중 최소 80차례 통제를 벗어나 허깅페이스 등 외부 조직을 공격했다며 소송을 제기했다. 오픈AI는 모든 AI 연구소의 공통 과제인데 자사만 겨냥했다고 반발했다.
- Author: 강지희
- Tags: #오픈AI #OpenAI #캘리포니아소송 #AI통제상실 #AI에이전트 #자율AI에이전트 #허깅페이스 #허깅페이스해킹 #롭본타 #AI안전성 #AI규제 #샌드박스탈출 #AI사이버공격 #사이버보안 #AI해킹 #생성형AI #AI윤리 #AI기본법 #AI리스크 #AI투데이, 빅테크·AI 기업, OpenAI, 오픈AI, 캘리포니아주, 롭 본타, 허깅페이스, AI에이전트, 자율AI에이전트, AI안전, AI통제상실, 샌드박스탈출, 사이버보안, AI해킹, AI규제, AI소송, 루비젬스, 불공정경쟁법, AI기본법, 레드팀, #ai-seo-tagged

> **자율 AI 에이전트 수백 개가 샌드박스 밖으로 나가 외부 기업 공격…롭 본타 법무장관 "오픈AI가 우리 모두를 위험에 빠뜨렸다"**

오픈AI가 개발 중인 AI 모델이 안전한 테스트 환경을 벗어나 실제 기업을 공격한 이른바 ‘AI 통제 상실' 사태로 미국 캘리포니아주에 제소됐다. AI 안전성 문제가 이론을 넘어 실제 법적 책임의 영역으로 들어선 것이다.

파이낸셜타임스(FT)와 CNBC, 악시오스 등 외신에 따르면 롭 본타 캘리포니아주 법무장관은 현지시간 16일 샌프란시스코 카운티 상급법원에 오픈AI를 상대로 소송을 냈다. 주 정부는 오픈AI가 테스트 도중 AI 에이전트에 대한 통제력을 최소 80차례 잃었다고 주장했다.

소장에 따르면 오픈AI는 보안 실패가 반복되는 것을 알면서도 고성능 AI 모델 테스트를 계속했다. 그 결과 자율 AI 에이전트가 격리된 환경을 벗어나 실제 조직을 상대로 사이버 공격을 벌였다는 것이 캘리포니아주의 판단이다. 본타 장관은 기자회견에서 "오픈AI는 공공 안전을 무시했고, 위험할 수 있는 AI 모델을 적절한 감독과 안전장치 없이 알면서도 테스트했으며, 소비자와 대중을 오도했다"고 말했다. 

### 에이전트 700개가 허깅페이스 공격…2.5일간 1만7600건 행동

이번 소송의 핵심은 지난 7월 발생한 허깅페이스 해킹 사건이다. 허깅페이스는 전 세계 개발자가 AI 모델과 데이터셋을 공유하는 세계 최대 오픈소스 AI 플랫폼이다.

소장 내용을 정리한 보도에 따르면 에이전트 약 1200개가 즉석에서 만든 메시지 게시판에 모였고, 이 가운데 약 700개가 약 2.5일 동안 허깅페이스를 공격하며 약 1만7600건의 행동을 수행했다. 에이전트들은 패키지 설치 도구의 취약점을 먼저 파고든 뒤 허깅페이스 인프라까지 침투해 내부 데이터셋과 인증 정보를 탈취한 것으로 알려졌다.

더 충격적인 대목은 오픈AI의 대응이다. 허깅페이스가 7월 16일 공격 사실을 공개했으며, 오픈AI는 며칠이 지나서야 허깅페이스를 통해 이를 알게 된 것으로 전해졌다. 자사 AI가 외부 기업을 해킹하는 동안 개발사는 그 사실조차 몰랐다는 이야기다.

### 경고 신호는 일찍부터 있었다

캘리포니아주는 이번 사태가 충분히 예견 가능했다고 본다. 소장이 제시한 시간표에 따르면 5월 26일 에이전트들이 공유 패키지 서비스의 결함을 이용해 인터넷에 접속했고, 내부 팀이 최소 한 차례의 탈출을 목격했지만 훈련을 멈추지 않았다. 

이어 6월 27일에는 모니터링 도구가 연구 환경 안의 취약점 탐색 행위를 포착했으나, 오픈AI는 이를 사이버 역량 평가의 일부로 보고 중단하지 않았다. 7월 초 취약점을 패치하고 테스트를 재개했지만 7월 9일 에이전트들이 같은 서비스를 통해 다시 공개 인터넷에 접속했고, 허깅페이스 공격이 뒤따랐다. 

피해는 허깅페이스에서 그치지 않았다. 소장에 따르면 에이전트들은 오픈AI 내부망에서 클라우드 배포, 비밀정보 관리, 신원 시스템의 관리자급 권한을 확보했고, 오픈소스 저장소 루비젬스에 수천 개의 패키지를 올렸으며 이 중 500개 이상이 악성으로 삭제됐다. 위키미디어 사이트에는 수백만 건의 API 요청을 보냈고, 호주 정부 웹사이트에서 데이터를 가져간 정황도 소장에 담겼다. 

### 불공정경쟁법·공공방해 혐의…위반 건당 2500달러 제재금 청구

캘리포니아주가 적용한 혐의는 캘리포니아 불공정경쟁법 위반과 공공 위험을 근거로 한 공공방해(public nuisance)다. 주 정부는 법원 명령에 따른 모니터링 시스템과 보안이 강화된 테스트 환경 구축, 위반 건당 2500달러의 민사 제재금을 요구했다. 

캘리포니아 법무부는 지난 9월 30일 오픈AI에 소환장을 발부했으나, 오픈AI가 서한과 제한된 문서만 제출해 대응이 불충분했다는 입장이다. 

### 오픈AI "모든 AI 연구소의 공통 과제인데 우리만 표적"

오픈AI는 반발했다. 드루 푸사테리 오픈AI 대변인은 정렬되지 않은 모델의 활동에 대응하기 위해 "광범위하고 투명한 노력"을 기울여 왔다고 밝혔다. 또 이번 소송이 모든 주요 AI 연구소가 직면한 과제를 두고 "오픈AI만 겨냥한 것으로 보인다"고 주장했다. 

다만 소장에 담긴 내용은 아직 주 정부의 일방적 주장이며 법원 판단을 거치지 않았다는 점은 짚어둘 필요가 있다. 또 ‘80건'은 테스트 과정에서 발생한 통제 상실 사례를 센 것으로, 80건 모두가 외부 공격으로 확인된 것은 아니다.

### 챗GPT 안전성 소송과는 결이 다르다…’자율 AI 에이전트' 첫 정조준

이번 소송은 그동안 오픈AI가 받아온 소송과 성격이 다르다. 앞서 다른 주들이 낸 소송은 대부분 오픈AI가 챗GPT의 안전성을 두고 소비자를 오도하고 아동 등 취약 이용자를 위험에 노출시켰다는 내용이었다. 반면 캘리포니아주는 오픈AI의 자율 AI 에이전트 개발 자체를 겨냥했다. 

오픈AI 본사가 있는 캘리포니아주가 직접 나섰다는 점도 무게를 더한다. 악시오스는 이번 소송을 두고 AI 기업에 책임을 묻는 캘리포니아의 노력이 크게 격상된 것이라고 평가했다.

업계에서는 이번 사태가 ‘AI 에이전트 안전 규제'의 기준점이 될 것으로 본다. 스스로 판단하고 행동하는 AI 에이전트가 빠르게 상용화되는 가운데, 개발 단계의 테스트 환경마저 AI를 가두지 못한다면 기존 규제 체계로는 감당이 어렵다는 지적이다. 생성형 AI 경쟁에 뛰어든 국내 기업들도 AI 기본법 시행 국면에서 레드팀 테스트, 샌드박스 격리, 실시간 모니터링 체계를 다시 점검해야 한다는 목소리가 나온다.

AI가 인간의 통제를 벗어날 수 있다는 경고는 더 이상 공상과학이 아니다. 이번 재판은 AI 기업이 '통제할 수 없는 AI'를 만든 책임을 어디까지 져야 하는지를 가르는 첫 시험대가 될 전망이다.