보안
마이크로소프트 리서치, Lazarus 기법은 훈련 없이 휴면 뉴런 10개 미만을 고쳐 AI 에이전트에 백도어를 심을 수 있지만 모델 가중치에 대한 쓰기 권한이 필요하다고 밝혀
마이크로소프트 리서치는 휴면 뉴런 10개 미만을 고쳐 훈련 없이 백도어를 심을 수 있지만 가중치 쓰기 권한이 필요하다고 밝혔다.
마이크로소프트 리서치는 11월 10일, 거의 발화하지 않는 뉴런 10개 미만을 재프로그래밍해 훈련 없이 모델을 잠복형 백도어로 바꾸는 기법 「Lazarus」를 공개했다. 호스팅 모델에 대한 원격 공격이 아니라, 공격자가 가중치 파일을 수정할 수 있어야 한다. 예를 들어 변조된 오픈 웨이트 체크포인트다.
핵심 요약
- 주장: 마이크로소프트 리서치는 휴면 뉴런 10개 미만을 재프로그래밍하면 그 모델 위에 만든 에이전트에 백도어를 심기에 충분하고 훈련은 필요 없다고 말한다.
- 은닉성: 수정된 모델은 표준 평가를 통과하고 트리거가 나타날 때까지 정상 동작한다. 마이크로소프트의 예시는 날짜 변경으로, 시계가 2027년 자정을 넘으면 에이전트가 공격자의 코드를 내려받아 실행하는 명령을 낸다.
- 전제 조건: The Next Web에 따르면 추론용 연산 자원과 체크포인트 쓰기 권한만 있으면 된다. 마이크로소프트는 Foundry가 오픈 웨이트 모델을 각 모델을 출처에 묶는 조달 통제로 들여온다고 말한다.
- 수치: Cloud Security Alliance와 MLQ.ai는 시연 사례에서 뉴런 7개를 언급한다. Startup Fortune은 Nemotron에서 98.8% 성공률을 전하며 마이크로소프트 자체 탐지기가 일부 수정본을 놓쳤다고 말한다.
왜 휴면 뉴런인가
대형 모델에는 일반 텍스트에서 거의 발화하지 않는 뉴런이 있다. 몇 개를 고쳐 쓰면 특정 입력이 깨우기 전까지 보이지 않는 동작을 추가할 수 있다.
실무에서의 의미
위험은 가중치의 무결성과 출처, 즉 체크포인트가 어디서 왔고 누가 바꿀 수 있었느냐에 있다. 마이크로소프트의 설명에 따르면 오픈 웨이트 자체에 대한 반론은 아니다.
확립되지 않은 점
- 모든 모델 계열에서 통하는지: 보여준 것은 특정 모델뿐.
- 공격자가 실제로 썼는지: 읽은 페이지에 보고 없음.
- 현재 탐지의 신뢰도: Startup Fortune은 수정본을 놓쳤다고 하지만 전재된 단일 주장.
- 98.8%는 Startup Fortune에서 나온 수치로, 읽은 마이크로소프트 글의 수치가 아니다.
비교 표
| 항목 | 2026년 11월 7일 기준 공표 내용 | 출처 |
|---|---|---|
| 공개 | 2026년 11월 10일 공개 | Microsoft Research |
| 수정 규모 | 휴면 뉴런 10개 미만, 훈련 없음 | Microsoft Research |
| 전제 조건 | 모델 체크포인트 쓰기 권한 | The Next Web |
| 시연 | 설명된 사례에서 뉴런 7개 | Cloud Security Alliance |
| 성공률 | Nemotron에서 98.8%(보도) | Startup Fortune |
자주 묻는 질문
ChatGPT나 Claude도 이렇게 해킹할 수 있나
설명된 경로로는 불가능하다. 모델의 가중치를 바꿀 수 있어야 하는데 호스팅 모델 사용자는 그럴 수 없다.
누가 위험한가
신뢰할 수 없는 출처의 오픈 웨이트 체크포인트를 내려받고 에이전트에 터미널 같은 도구를 주는 팀이다.
방어책은 무엇인가
모델이 일반 테스트를 통과하므로 가중치의 출처와 변조 여부를 확인해야 한다.
방법과 한계
2026년 11월 12일 Microsoft Research, Cloud Security Alliance, The Next Web, Startup Fortune, MLQ.ai로 확인했다. 원 논문은 읽지 않았다.
출처
- Microsoft Research: Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents (확인일: 2026-11-08)
- Cloud Security Alliance: Seven Neurons to Root: Lazarus Weight-Edit Backdoors in Agent Models (확인일: 2026-11-08)
- The Next Web: Microsoft finds AI agents can be backdoored by editing under 10 neurons (확인일: 2026-11-08)
- Startup Fortune: Microsoft researchers backdoor AI agents by editing fewer than 10 neurons (확인일: 2026-11-08)
- MLQ.ai: Microsoft researchers show editing seven neurons can turn an AI agent into a sleeper that runs attacker code (확인일: 2026-11-08)