모델 탈취
포스팅 뷰11
모델 탈취(Model Extraction)란 무엇일까요?
- 정의 — 공격자가 AI 모델에 대량으로 질의를 보내고 그 응답을 분석해, 모델의 기능·지식·내부 구조를 복제하거나 추정해 내는 공격입니다.
- 핵심 위험 — 2026년 6월 앤트로픽은 가짜 계정 약 2만 5,000개로 클로드에 2,880만 건 이상 질의해 증류 방식으로 모델을 복제하려 한 시도를 포착했다며, 알리바바·큐원(Qwen) 연계 조직을 지목하고 "역대 최대 규모"라고 밝혔습니다.
- 대응 — API 접근 제어·질의 속도 제한·이상 질의 패턴 모니터링·출력 워터마킹 등 여러 겹의 방어를 함께 적용해야 합니다.
모델 탈취란 공격자가 배포된 AI 모델에 반복적으로 질의하고 그 입출력 쌍을 모아, 원본과 기능적으로 유사한 복제 모델을 만들어내는 공격을 말합니다.
모델 탈취란?
모델 탈취(Model Extraction)는 모델 스틸링(Model Stealing) 또는 모델 추출 공격이라고도 불리며, 공격자가 공개된 API나 서비스 형태로 제공되는 블랙박스 AI 모델에 다양한 입력을 대량으로 질의한 뒤 그 응답을 분석해, 모델의 파라미터·결정 경계·기능을 근사해 내는 공격입니다. OWASP는 이를 생성형 AI 애플리케이션의 10대 핵심 위협 중 하나인 'LLM10: 모델 도용(Model Theft)'으로 분류하고 있습니다.OWASP
이 공격의 뿌리는 2016년 Tramèr 등이 발표한 연구로 거슬러 올라갑니다. 당시 연구진은 BigML·아마존 머신러닝 등 상용 예측 API에 수천 건의 질의만 보내 결정트리·로지스틱회귀 모델을 몇 분·몇 달러 수준의 비용으로 거의 동일하게 복제할 수 있음을 보여 주었습니다. 이후 거대언어모델(LLM) 시대에 들어서면서 공격 대상이 분류 모델에서 수십~수천억 파라미터급 생성형 AI로 확장됐고, 복제에 드는 비용과 난이도는 오히려 낮아졌습니다.
모델 탈취의 동작 방식
모델 탈취는 보통 다음 네 단계로 진행됩니다.
- 대량 질의 설계 — 다양하거나 경계 지점을 겨냥한 입력을 체계적으로 설계해 대상 모델에 반복 질의합니다.
- 출력 수집 — 질문과 답변 쌍을 대규모로 모아 학습 가능한 데이터셋으로 축적합니다.
- 섀도우 모델 학습 — 수집한 출력으로 별도의 기반 모델을 증류(distillation)하거나 미세조정합니다.
- 유사 모델 확보 — 원본 개발에 들어간 데이터·연산 비용 없이, 비슷한 성능의 모델을 훨씬 낮은 비용으로 확보합니다.
모델 탈취 vs 데이터 포이즈닝 vs 프롬프트 인젝션
셋 다 AI를 겨냥한 공격이지만, 공격이 벌어지는 시점과 목표가 전혀 다릅니다.
| 구분 | 모델 탈취 | 데이터 포이즈닝 | 프롬프트 인젝션 |
|---|---|---|---|
| 공격 시점 | 모델이 배포돼 서비스 중일 때 | 모델을 학습·미세조정하기 전 | 사용자가 모델에 입력을 보낼 때 |
| 목표 | 모델의 기능·지식·파라미터 복제 | 학습 데이터를 오염시켜 모델에 결함 심기 | 입력으로 모델을 속여 원치 않는 출력 유도 |
| 피해 대상 | 모델 개발사(지적재산·경쟁력) | 모델 이용자(오작동·백도어 피해) | 모델 운영 조직(정보 유출·오남용) |
| 대표 사례 | 앤트로픽이 지목한 알리바바·큐원 연계 증류 시도(2026) | 250개 문서로 모델 크기 무관 백도어 성공(2025) | AI 에이전트에 숨은 지시를 끼워 넣는 공격 |
대표 사례와 통계 — 질문 몇 번으로 모델이 새어 나간다
2024년, Google DeepMind 등 연구진이 발표한 연구는 모델 탈취가 더는 이론적 위협이 아님을 보여 주었습니다. 연구진은 OpenAI의 Ada·Babbage 모델의 임베딩 투영층(projection matrix)을 API 질의만으로 20달러 미만의 비용으로 거의 정확히 복원했고, 이를 통해 두 모델의 히든 차원이 각각 1024, 2048임을 처음으로 확인했습니다. 더 큰 gpt-3.5-turbo의 경우에도 히든 차원을 복원했으며, 전체 투영행렬 복원에는 2,000달러 미만의 질의 비용이 들 것으로 추정했습니다.arXiv
업계에서도 분쟁이 이어졌습니다. 2025년 1월, OpenAI는 중국 스타트업 딥시크(DeepSeek)가 자사의 독점 모델 출력을 '증류'해 경쟁 모델을 학습시켰을 가능성을 포착했다고 밝혔고, 이를 이용약관 위반이자 지적재산권 침해 우려로 규정했습니다.Semafor
가장 큰 사례는 2026년 6월에 알려졌습니다. 앤트로픽은 미국 상원 금융위원회 고위 의원들에게 보낸 서한에서, 2026년 4월 22일부터 6월 5일 사이 가짜 계정 약 2만 5,000개를 이용해 클로드와 2,880만 건 이상 교환하며 증류 방식으로 모델 복제를 시도한 정황을 확인했다고 밝혔습니다. 알리바바와 알리바바의 AI 연구소인 큐원(Qwen)과 연계된 운영자들이 지목됐으며, 앤트로픽은 이를 "자사가 알고 있는 역대 최대 규모의 공격"이라고 설명했습니다. 같은 해 2월에도 딥시크·문샷 AI·미니맥스의 유사한 시도를 확인한 바 있다고 덧붙였습니다.ITWorld
| 사례 | 핵심 수치 |
|---|---|
| Carlini 등 연구(2024) | OpenAI Ada·Babbage 투영층을 20달러 미만으로 추출, gpt-3.5급은 2,000달러 미만 추정 |
| OpenAI vs 딥시크(2025-01) | OpenAI 출력의 '부적절한 증류' 가능성 포착, 이용약관 위반으로 규정 |
| 앤트로픽 vs 알리바바·큐원(2026-06) | 가짜 계정 2만 5,000개, 클로드 교환 2,880만 건 — "역대 최대 규모" |
| 구글 GTIG 'AI 위협 추적 보고서'(2025 Q4) | 생성형 AI 제품을 겨냥한 모델 추출·증류 시도 증가 확인 |
구글 위협 인텔리전스 그룹(GTIG)은 2025년 4분기 관측을 담은 보고서에서, 공격자들이 시스템을 직접 침투하기보다 정상적인 API 접근 권한으로 모델을 체계적으로 질의해 유사 모델을 만드는 방식이 늘고 있다고 진단했습니다. 일반 이용자보다는 모델 개발사·AI 서비스 제공사의 지식재산권과 경쟁력에 위험이 집중된다는 점도 함께 지적했습니다.바이라인네트워크
실무 체크포인트
자체 AI 모델이나 API를 운영·공개하는 조직이라면, 다음 항목을 점검해 모델 탈취 위험을 줄일 수 있습니다.
모델 탈취는 결국 'API 너머로 어떤 데이터와 자산이 오가는가'의 문제이기도 합니다. 오피스키퍼는 DLP로 사내 모델·학습 데이터 파일의 외부 유출 경로를 통제하고, DSPM으로 어떤 민감 자산이 AI 서비스와 연결돼 있는지 가시화해 줍니다.
자주 묻는 질문
Q. 모델 탈취와 데이터 포이즈닝은 어떻게 다른가요?
A. 데이터 포이즈닝은 모델이 만들어지기 전, 학습 데이터 자체를 오염시켜 결함을 심는 공격입니다. 반면 모델 탈취는 이미 배포된 모델에 질의를 반복해 그 기능과 지식을 복제해 훔치는 공격으로, 공격이 벌어지는 시점이 서로 다릅니다.
Q. 모델 탈취와 프롬프트 인젝션의 차이는 무엇인가요?
A. 프롬프트 인젝션은 입력으로 모델을 속여 공격자가 원하는 동작을 하게 만드는 것이 목적이고, 모델 탈취는 모델 자체의 지적재산(파라미터·기능)을 복제해 훔치는 것이 목적입니다. 같은 API를 이용할 수 있지만 노리는 결과가 다릅니다.
Q. 가중치가 비공개인데도 모델을 복제할 수 있나요?
A. 네. 블랙박스 질의-응답만으로도 '증류(distillation)' 기법을 쓰면 상당 부분 복제가 가능합니다. 실제로 연구진은 API 질의만으로 OpenAI 모델의 내부 구조 일부를 20달러 미만의 비용으로 복원한 바 있습니다.
Q. 기업은 자사 모델이 탈취당하고 있는지 어떻게 알 수 있나요?
A. 비정상적으로 많은 API 호출, 특정 계정군의 체계적이고 반복적인 질의 패턴, 대량의 가짜 계정 생성 등이 신호가 될 수 있습니다. 앤트로픽도 이런 이상 패턴 모니터링을 통해 2만 5,000개 규모의 가짜 계정을 탐지했습니다.
Q. 대형 AI 기업이 아닌 일반 기업도 이 위협과 관련이 있나요?
A. 네. 직접 거대 모델을 개발하지 않아도, 자사가 데이터로 파인튜닝한 특화 챗봇이나 추천 모델의 API가 경쟁사에 복제당할 수 있습니다. 또한 외부에서 가져다 쓰는 사전학습 모델 자체가 이미 탈취의 산물일 수도 있어, 공급망 신뢰성을 함께 점검해야 합니다.
AI API 너머로 새어 나가는 데이터와 모델 자산, 오피스키퍼로 그 경로부터 통제하세요.
제품소개서 신청하기