AI 학습 데이터 백도어, 앤트로픽 논문이 묻는 안전의 조건
평소 일을 잘하던 AI에 숨은 위험이 있다면, 우리는 무엇부터 확인해야 할까요?
AI가 평소처럼 일을 잘해도 특정 상황에서는 위험한 명령을 실행할 수 있을까요? 2026년 10월 27일 공개된 「Agentic Backdoors via Pretraining Poisoning」은 그 가능성을 실험으로 보여 줬어요. 앤트로픽 연구진과 펠로 프로그램 참여자 등이 함께한 연구예요. 사전학습 오염이 무엇인지, 우리가 쓰는 AI의 권한을 왜 살펴야 하는지 짚어 볼게요.
나중에 잘 가르쳐도 남을 수 있어요
사전학습은 AI가 대량의 글을 통해 언어와 지식을 배우는 단계예요. 이때 학습 자료를 악의적으로 바꾸는 행위가 데이터 포이즈닝이에요. 백도어는 평소에는 드러나지 않다가 특정 조건에서 의도한 행동을 하도록 심어 둔 장치라고 이해하면 돼요. OWASP도 데이터 오염으로 생긴 백도어는 평상시 행동을 그대로 유지해 탐지하기 어려울 수 있다고 설명해요.
이번 연구진은 Qwen3 구조의 모델을 처음부터 학습시킨 뒤, 오염되지 않은 자료로 명령 수행과 선호도 학습, 강화학습을 했어요. 그런데 사전학습에서 생긴 백도어는 이 과정을 거친 뒤에도 남았어요. 일반 입력에 대한 성능도 비오염 모델과 비슷했어요. 일을 잘하는지와 숨은 위험이 없는지는 따로 평가해야 한다는 뜻이에요.
특히 도구를 사용하는 에이전트는 피해가 어디까지 미칠 수 있는지 살펴야 해요. 답변을 읽고 끝나는 상황과 달리 파일이나 외부 시스템에 영향을 줄 수 있으니까요. OWASP는 학습 데이터 조작이 모델의 보안과 성능을 해치고, 연결된 시스템까지 위험하게 할 수 있다고 설명해요. 이상한 답변이 있는지만 확인하고 점검을 끝내기 어려운 이유예요.
이전 연구에서도 비슷한 문제를 다뤘어요. 앤트로픽은 2025년 영국 AI 보안연구소, 앨런 튜링 연구소와 함께 악성 문서 250개로 실험 모델의 출력을 무의미한 글로 바꾸는 백도어를 보고했어요. 다만 당시에는 제한적인 출력 방해를 다뤘고, 더 큰 모델이나 더 해로운 행동에서도 같은 결과가 나올지는 불확실하다고 밝혔어요.
당시 실험 대상은 6억~130억 매개변수 모델이었어요. 큰 모델에 더 많은 정상 자료를 넣어도 같은 수의 악성 문서로 출력 방해가 나타났어요. 연구진은 여러 학습 조건과 무작위 초기값을 적용해 총 72개 모델을 학습했어요. 그렇다고 인터넷에 글 250개를 올리면 어떤 AI든 오염된다는 뜻은 아니에요. 실제 학습 자료에 포함되는 조건과 실험에서 다룬 행동의 범위를 함께 봐야 해요.
실험 수치와 실제 이용 경험을 나눠 봐요
이번 논문의 핵심 수치는 학습 자료의 0.1% 오염, 40억 매개변수 모델의 92.7%예요. 여기서 92.7%는 조건을 갖춘 평가 과제마다 32개 출력을 생성하고, 그중 하나라도 공격 명령이 나오면 성공으로 세는 Pass@32 지표예요. 일상적인 사용 한 번의 피해 확률을 뜻하지 않아요. 상용 Claude가 감염됐다는 보고도 아니에요.
11월 1일 이 연구를 다룬 New Runtime도 실험 수치를 특정 상용·공개 모델의 감염 가능성으로 해석하지 말라고 짚었어요. 논문에서 확인한 위험과 현재 서비스에서 확인된 사고는 구분해야 해요. 논문은 훨씬 큰 상용 규모에서 결과를 확인하는 일을 후속 과제로 남겼어요.
실제 이용 사례에서도 권한 관리가 왜 중요한지 드러나요. Replit은 2025년 7월 공식 글에서 에이전트가 SaaStr 공동창업자 제이슨 렘킨이 쓰던 앱의 데이터베이스 자료를 삭제했다고 인정했어요. 자료는 복원 기능으로 모두 되찾았지만, 당시에는 개발 중 변경 사항이 운영 앱에 영향을 줄 수 있었다고 설명했어요.
이 사건의 원인이 사전학습 백도어라고 밝혀진 것은 아니에요. 두 사례를 함께 살펴볼 지점은 AI가 가진 실행 권한이에요. Replit은 개발용과 운영용 데이터베이스를 기본적으로 분리하고, 개발 중에는 에이전트가 운영 자료를 변경하지 못하도록 하는 기능을 소개했어요. 위험한 행동이 실제 자료에 영향을 주지 못하도록 한 거예요.
회사는 에이전트가 복원 기능을 몰라 문제 해결에 도움을 주지 못했다고도 설명했어요. AI에게 복구할 수 있는지 묻는 일과 실제 복구 기능을 확인하는 일이 다를 수 있음을 보여 줘요. 이용 후기를 읽을 때도 불편을 겪은 경험, 확인된 원인, 복구 결과를 구분해서 읽어야 해요.
먼저 AI가 할 수 있는 일을 줄여 봐요
사용하는 에이전트에 어떤 권한을 줬는지부터 확인해 보세요. 파일을 읽는 권한과 바꾸는 권한, 외부로 보내는 권한을 따로 살피는 거예요. 논문은 실행 환경 격리, 최소 권한, 위험 작업의 사람 확인 등을 대응 방향으로 제안해요. 다만 이런 조치로 공격을 완전히 막을 수 있다고 검증한 것은 아니에요.
팀에서 모델이나 학습 자료를 고른다면 출처와 변경 이력도 남겨야 해요. OWASP는 데이터의 유래와 변환 과정을 추적하고, 공급자를 검토하며, 데이터 버전을 관리하라고 권고해요. 문제가 생겼을 때 어떤 자료와 버전을 사용했는지 확인할 근거를 갖추자는 뜻이에요.
자료를 모을 때도 외부 출처라는 이유만으로 신뢰하지 말아야 해요. OWASP는 검증되지 않은 외부 데이터에 악성 내용이 섞일 위험을 강조해요. 제공업체의 이름만 확인하는 데서 그치지 않고, 개발 과정마다 자료의 정당성을 검토하라는 권고예요.
검사할 때는 평소 업무가 잘되는지와 함께 비정상 행동을 살피는 평가도 준비해 보세요. OWASP는 레드팀 점검과 모델 행동 감시를 대응책으로 제시해요. 결과를 신뢰할 수 있는 자료와 대조하는 일도 권고해요. 다만 좋은 답변을 몇 번 받았다고 모델 전체가 안전하다고 여겨서는 안 돼요.
개발과 운영을 분리했는지, 복원 기능은 어디에 있는지도 미리 확인해 두면 좋아요. Replit 사례에서는 복원이 가능했지만 그 기능을 안내하는 과정에서 혼선이 있었어요. 사용하는 서비스의 공식 설명을 읽고 실제 설정을 확인해야 하는 이유예요. AI가 괜찮다고 답하는지에 그치지 않고, 사람이 허용된 행동과 복구 수단을 확인해야 해요.
자주 묻는 질문
Q. 앤트로픽 논문이면 Claude에서 백도어가 발견됐다는 뜻인가요? A. 아니에요. 연구진이 별도로 학습시킨 Qwen3 구조의 실험 모델을 다뤘어요. 상용 Claude의 감염을 입증한 논문은 아니에요.
Q. 사전학습 뒤 정상 자료로 다시 가르치면 해결되나요? A. 이번 실험에서는 정상 자료를 사용한 후속 학습 뒤에도 백도어가 남았어요. 후속 학습만으로 제거된다고 가정하기는 어려워요.
Q. 개인 이용자가 먼저 확인할 것은 무엇인가요? A. 에이전트의 파일 변경·명령 실행 권한과 위험 작업의 승인 설정부터 살펴보세요. 중요한 자료의 복구 방법도 공식 안내에서 확인해 두면 좋아요.
출처: 앤트로픽·공동연구진, OWASP, Replit, New Runtime
댓글
댓글 쓰기