데이터 포이즈닝
포스팅 뷰24
데이터 포이즈닝(Data Poisoning)이란 무엇일까요?
- 정의 — AI 모델의 학습·미세조정·검색(RAG) 데이터에 악성 데이터를 몰래 섞어, 특정 조건에서만 공격자가 원하는 대로 오작동하게 만드는 공격입니다.
- 핵심 위험 — Anthropic·영국 AI안전연구소·앨런튜링연구소의 공동 연구에 따르면 단 250개의 악성 문서만으로, 모델 크기(6억~130억 파라미터)와 무관하게 백도어를 심을 수 있었습니다. 전체 학습 데이터의 0.00016%에 불과한 양입니다.
- 대응 — 평소엔 정상처럼 보이다가 트리거가 입력될 때만 드러나는 공격이라, 데이터 출처 검증·공급망 점검·이상 행동 모니터링을 겹겹이 쌓는 심층 방어가 필요합니다.
데이터 포이즈닝이란 공격자가 AI 모델이 학습하는 데이터에 악의적으로 조작된 데이터를 주입해, 모델의 판단·출력을 의도한 대로 왜곡시키는 공격을 말합니다.
데이터 포이즈닝이란?
데이터 포이즈닝(Data Poisoning)은 공격자가 AI·머신러닝 모델의 사전학습(pretraining), 미세조정(fine-tuning), 또는 검색증강생성(RAG)에 쓰이는 데이터에 조작된 샘플을 몰래 섞어 넣어, 모델이 공격자가 원하는 방향으로 판단·출력하도록 유도하는 공격입니다. OWASP는 이를 생성형 AI 애플리케이션의 핵심 위협 중 하나인 'LLM04: 데이터 및 모델 포이즈닝'으로 분류하고 있습니다.OWASP
기존 해킹이 '이미 만들어진 시스템'의 허점을 파고든다면, 데이터 포이즈닝은 모델이 학습하는 재료 자체를 오염시켜 처음부터 잘못된 판단 기준을 심어 둡니다. 오염된 모델은 평소에는 정상처럼 작동하다가, 공격자가 정해 둔 특정 문구·패턴(트리거)이 입력되는 순간에만 숨겨둔 악성 동작을 드러내는 경우가 많아 사전 탐지가 매우 어렵습니다.
데이터 포이즈닝의 동작 방식
데이터 포이즈닝은 보통 다음 흐름으로 진행됩니다.
- 오염 데이터 주입 — 공개 데이터셋, 웹 크롤링 데이터, 오픈소스 모델·패키지 저장소 등에 악성 샘플을 섞어 넣습니다.
- 정상 학습에 혼입 — 전체 데이터 대비 극소량(0.001% 이하)이라 데이터 검증·중복 제거 과정에서 걸러지지 않습니다.
- 숨겨진 트리거 학습 — 모델이 특정 구문·패턴(트리거)이 등장할 때만 반응하도록 학습되며, 그 외에는 정상처럼 작동합니다.
- 트리거 입력 시 오작동 — 공격자가 트리거를 입력하면 안전장치 무력화, 편향된 답변, 백도어 실행 등 의도한 피해가 발생합니다.
공격 유형 — 가용성 공격 vs 표적(백도어)형 vs 공급망 포이즈닝
데이터 포이즈닝은 목적과 은밀함의 정도에 따라 크게 세 갈래로 나뉩니다.
| 구분 | 가용성 공격 | 표적(백도어)형 | 공급망 포이즈닝 |
|---|---|---|---|
| 목표 | 모델 전반의 정확도를 무차별적으로 저하 | 특정 트리거에서만 의도한 오작동 유발 | 배포 경로(사전학습 모델·패키지)에 악성 데이터·코드 은닉 |
| 탐지 난이도 | 상대적으로 쉬움(성능 저하가 드러남) | 매우 어려움(평상시 정상 작동) | 어려움(다운로드 전엔 확인 불가) |
| 필요 데이터 양 | 상대적으로 많은 양 필요 | 극소량(문서 수백 건 수준)으로도 성공 | 모델·패키지 1건으로도 전파 |
| 대표 사례 | 저품질·왜곡 데이터 대량 투입 | Anthropic 외 공동연구의 250개 문서 백도어 | 허깅페이스 악성 피클(pickle) 모델 유포 |
대표 사례와 통계 — 생각보다 적은 양으로 충분하다
2025년 10월, Anthropic이 영국 AI안전연구소(UK AISI)·앨런튜링연구소와 함께 진행한 공동 연구는 데이터 포이즈닝에 대한 기존 통념을 뒤집었습니다. 그동안은 "모델이 클수록 포이즈닝에 더 많은 악성 데이터가 필요하다"고 여겨졌지만, 실험 결과 6억(600M)~130억(13B) 파라미터 모델 전부가 동일하게 단 250개의 악성 문서만으로 백도어에 성공했습니다. 이는 가장 큰 모델 기준으로도 전체 학습 토큰의 0.00016%에 불과한 양입니다.Anthropic
공급망 쪽에서도 실제 사고가 확인됐습니다. 2025년 2월, 보안업체 리버싱랩스는 머신러닝 모델 공유 플랫폼 허깅페이스(Hugging Face)에서 파이썬 피클(pickle) 포맷의 직렬화 특성을 악용한 악성 모델을 발견했습니다. 공격자는 악성 코드를 파일 앞부분에 배치해 보안 스캔 도구를 우회했고, 특정 IP로 접속을 시도하는 코드까지 심어 두었습니다.보안뉴스
| 연구·사례 | 핵심 수치 |
|---|---|
| Anthropic·UK AISI·앨런튜링연구소 공동연구(2025) | 모델 크기와 무관하게 악성 문서 250개(전체 학습 데이터의 0.00016%)로 백도어 성공 |
| 의료 특화 LLM 실험 분석 | 학습 토큰의 0.001%만 조작해도 유해 답변 비율이 7~11%p 증가 |
| LLaMA-3-8B·Qwen-2.5-7B 벤치마크 | 겉보기에 정상적인 질의응답 쌍만으로 약 85% 성공률의 백도어 생성 |
| 허깅페이스 악성 피클 모델(2025) | 보안 스캐너를 우회하는 악성코드가 공개 모델 저장소에서 발견 |
국내에서도 대응이 시작됐습니다. 2026년 7월 과학기술정보통신부와 한국인터넷진흥원(KISA)은 'AI 보안 위협 대응 매뉴얼'과 'AI 보안 레드티밍 가이드' 2종을 발간하면서, AI 보안 위협을 데이터·모델·에이전트·공급망·고성능 모델 위협 등으로 분류해 산업별 대응 시나리오를 제시했습니다. 데이터 자체의 오염 위험이 국가 차원의 공식 위협 분류 체계에 포함된 것입니다.디지털데일리
실무 체크포인트
AI·LLM을 도입·개발하는 조직이라면, 다음 항목을 점검해 데이터 포이즈닝 위험을 줄일 수 있습니다.
데이터 포이즈닝은 결국 '어떤 데이터가 AI 학습·파인튜닝 파이프라인으로 흘러 들어가는가'의 문제이기도 합니다. 오피스키퍼는 DSPM으로 사내 데이터가 AI 서비스로 흘러가는 경로를 가시화하고, DLP와 데이터마스킹으로 민감정보가 외부로 그대로 노출되지 않도록 통제해 줍니다.
자주 묻는 질문
Q. 데이터 포이즈닝과 프롬프트 인젝션은 어떻게 다른가요?
A. 프롬프트 인젝션은 이미 만들어진 모델에 입력 단계에서 악성 지시를 끼워 넣는 공격이고, 데이터 포이즈닝은 모델이 만들어지기 전 학습 단계에서 데이터 자체를 오염시키는 공격입니다. 한번 학습에 반영되면 모델을 다시 학습시키기 전까지 제거하기 어려워 더 근본적인 위협으로 여겨집니다.
Q. 모델이 커지면 포이즈닝이 더 어려워지지 않나요?
A. 그렇지 않습니다. Anthropic 등의 공동 연구에 따르면 필요한 악성 문서 수는 모델 파라미터 수와 거의 무관하게 일정(약 250개)했습니다. 큰 모델일수록 더 많은 독성 데이터가 필요하다는 기존 통념과 반대되는 결과입니다.
Q. 자체 모델을 학습시키지 않는 일반 기업도 걱정해야 하나요?
A. 네. 직접 대규모 모델을 처음부터 학습시키지 않더라도, 외부에서 가져온 사전학습 모델·오픈소스 패키지·RAG용 문서에 포이즈닝된 데이터가 섞여 있을 수 있습니다. AI를 '쓰기만' 해도 공급망 전체를 점검해야 하는 이유입니다.
Q. 완벽하게 탐지·차단할 수 있나요?
A. 현재로선 100% 탐지는 어렵습니다. 그래서 데이터 출처 검증, 모델 공급망 점검, 이상 행동 모니터링, 레드티밍을 함께 쌓는 심층 방어 접근이 권장됩니다.
Q. 데이터 포이즈닝은 공급망 공격의 한 종류인가요?
A. 겹치는 부분이 큽니다. 포이즈닝된 모델·데이터셋이 신뢰할 수 있다고 여겨지는 공개 저장소를 통해 유포되는 경우가 많아, AI 시대의 공급망 공격으로도 이해할 수 있습니다.
AI로 흘러드는 데이터, 보이지 않으면 지킬 수 없습니다. 오피스키퍼로 그 경로부터 통제하세요.
제품소개서 신청하기