특정 단어에 돌변하는 AI… UNIST가 ‘숨은 악성 명령’ 잡아냈다

- IEEE 보안 신뢰 기계학습 ‘안티-베드’ 대회 세계 2위 

- 생성·분류·다국어 과제 아우른 범용 공격 완화 기법 

연구진 사진. 왼쪽부터 하승범·윤지은·권기완 연구원. (자료제공: UNIST)

왼쪽부터 UNIST 박새롬·윤성환 교수. (자료제공: UNIST)

AI(인공지능)는 보이지 않게 심어진 신호 하나로 위험한 답을 내놓기도 한다. UNIST 연구진이 이런 숨은 조작을 걷어내는 해법으로 국제 무대에서 성과를 냈다.

UNIST(총장 박종래)는 산업공학과·인공지능대학원 박새롬 교수와 인공지능대학원·전기전자공학과 윤성환 교수 공동 연구팀이 지난 23일부터 25일까지 독일 뮌헨에서 열린 국제전기전자공학회(IEEE) 보안·신뢰 기계학습 학회(Security and Trustworthy Machine Learning, SaTML)의 ‘사후학습 대규모 언어모델 백도어 방어 챌린지(Anti-Backdoor Challenge for Post-Trained Large Language Models, Anti-BAD)’에서 2위를 차지했다고 3월 30일 밝혔다. 

연구팀은 생성, 분류, 다국어 등 서로 다른 과제에 두루 적용할 수 있는 범용 공격 완화 기법을 제시해 호평을 받았다.

보안·신뢰 기계학습 학회(SaTML)는 인공지능 보안 연구를 중심으로 열리는 IEEE 주관 국제 학술대회다. 올해로 4회째를 맞은 이 학회는 인공지능 모델을 위협하는 각종 공격과 이를 막는 방어 기술을 발표하고 논의하는 장으로 자리 잡았다. 관련 기술 경연대회도 매년 활발히 열리며, 글로벌 AI 안전성 연구 경향을 가늠하는 무대로 통한다.

이번 연구에는 박새롬, 윤성환 교수를 비롯해 윤지은(산업공학과 석박사통합과정), 권기완(산업공학과 석사과정), 하승범(인공지능대학원 석박사통합과정) 연구원이 참여했다.

백도어 공격은 인공지능 모델이 특정 결과를 내놓도록 몰래 심는 조작 기법이다. 평소에는 정상적으로 작동하지만, 특정 단어나 문장 같은 ‘트리거’가 입력되면 의도된 반응을 보이도록 만드는 방식이다.

대규모 언어모델(LLM)처럼 복잡한 모델도 소수의 공격 데이터와 짧은 미세조정만으로 오염될 수 있어, 인공지능 안전성을 흔드는 대표적 위협으로 여겨진다.

이번 안티-배드(Anti-BAD) 챌린지는 이처럼 서로 다른 목적에 맞춰 미세조정된 LLM에 숨어 있는 트리거의 영향을 최소화해, 공격받지 않은 것과 같은 안전한 모델을 확보하는 방어법을 겨루는 대회였다. 

생성 과제 2개, 분류 과제 2개, 다국어 과제 2개가 제시됐고, 각 과제마다 3개씩의 LLM 모델이 주어졌다. 참가팀은 모델 구조와 과제 유형 전반을 아우를 수 있는 범용 방어 기법을 내놔야 했다.

UNIST 공동 연구팀의 핵심 기술은 ‘모델 양자화(model quantization)’, ‘모델 병합(model merging)’, ‘이상치 매개변수 탐지(outlier parameter detection)’, ‘과신뢰 방지(overconfidence mitigation)’를 결합한 전략이다.

생성 과제에서는 같은 작업을 수행하는 모델이라도 백도어가 심어진 양상이 서로 달랐다. 연구팀은 먼저 모델 양자화 과정에서 생기는 미세한 흔들림으로 숨어 있던 백도어 신호를 흐트러뜨렸다. 이어 여러 모델이 공통적으로 유지하는 정보만 남기는 합의 기반 모델 병합 기법을 적용해 악의적 반응을 약화시켰다.

분류와 다국어 과제에서는 접근법을 달리했다. 정상적으로 학습된 모델과 백도어가 삽입된 모델을 비교해 비정상적으로 바뀐 부분을 찾아 영향력을 줄였다. 여기에 입력 데이터에서 수상한 단어를 걸러내고, 모델이 틀린 답에도 지나치게 확신하지 않도록 조정하는 절차를 더해 빠르면서도 효과적으로 백도어를 완화했다.

대회에 참여한 윤지은 연구원은 “공격 데이터셋이나 방법에 대한 아무런 사전 정보 없이 최소한의 접근만으로도 대규모 언어모델의 악의적 사용을 효과적으로 막을 수 있는 방어법을 개발할 수 있다는 가능성을 확인한 기회였다”며 “이번 성과를 발판으로 인공지능 모델이 국민들에게 배포되기 전 악의적인 행동을 사전에 차단하고, 안전하고 믿을 수 있는 인공지능 사용 환경을 만드는 데 힘을 보태겠다”고 말했다.

[Ceramic Korea (세라믹뉴스)=이광호 ]