AI 모델 안전장치 — 방어가 겹겹이 쌓이는 구조 (2026)

AI 모델의 안전장치를 이해하는 핵심은 한 겹이 아니라 여러 층으로 쌓여 있다는 점이다. 학습 단계에서 한 번, 모델 자체에서 한 번, 서비스 단계에서 다시 한 번 걸러진다. 이 글은 각 층이 무엇을 담당하는지, 그리고 새 모델이 단계적으로 공개되는 이유를 정리한다.

AI 관련 종목의 뉴스와 지표는 Passive에서 함께 볼 수 있다.

안전장치는 어디에 들어가나

일반적으로 네 개 층으로 나뉜다.

층	시점	하는 일
데이터	학습 전	문제 소지가 있는 자료를 걸러냄
정렬 학습	학습 중	원하는 행동 방식을 익히게 함
시스템 필터	요청 시점	입력과 출력을 검사
접근 통제	배포 단계	누구에게 어떤 기능을 여는지 결정

앞의 두 층은 모델 안에 들어간다. 뒤의 두 층은 모델 바깥에서 작동하며, 모델을 다시 학습시키지 않아도 조정할 수 있다는 장점이 있다.

여기서 자주 언급되는 것이 활성화 분류기다. 모델이 답을 만들어내는 도중의 내부 상태를 보고 위험한 방향으로 가는지 판단하는 방식이다. 출력만 검사하는 필터보다 이른 시점에 개입할 수 있다.

탈옥은 왜 계속 나오나

탈옥(jailbreak) 은 모델이 거부하도록 학습된 요청을 우회해 답을 끌어내는 시도를 말한다.

계속 나오는 이유는 구조적이다.

• 입력 공간이 무한하다: 같은 요청을 표현하는 방법이 사실상 무제한이라 모든 경우를 미리 막을 수 없다.
• 맥락 의존: 같은 문장이라도 상황에 따라 정상 요청일 수도, 우회 시도일 수도 있다.
• 간접 경로: 모델이 읽어 들인 문서나 웹페이지에 지시를 숨기는 방식이 가능하다. 이를 프롬프트 주입이라고 한다.

그래서 방어는 완전 차단이 아니라 여러 층을 겹쳐 성공률을 낮추는 방식으로 설계된다. 한 층이 뚫려도 다음 층에서 걸리도록 하는 구조다.

단계적 공개가 이뤄지는 이유

성능이 높은 모델일수록 처음부터 전면 공개하지 않고 범위를 좁혀 여는 경우가 늘고 있다. 특히 보안 관련 기능이 그렇다.

이유는 이중 용도 문제다. 취약점을 찾아내는 능력은 방어에도 쓰이지만 공격에도 쓰인다. 그래서 검증된 기관이나 협력사에 먼저 열고, 실제 사용 기록을 확인한 뒤 범위를 넓히는 방식을 택한다.

학습 자체를 일시 중단하는 사례도 있다. 안전 평가가 끝나지 않은 상태에서 다음 단계로 넘어가지 않도록 하는 절차이며, 평가가 마무리되면 재개된다.

발표가 실제 실적으로 이어지는지는 Passive의 기업 실적 화면에서 분기 숫자로 확인할 수 있다.

도입하는 쪽에서 확인할 것

기업이 모델을 업무에 붙일 때 확인할 항목은 다음과 같다.

• 거부율과 오탐률: 안전장치가 강할수록 정상 요청까지 막히는 경우가 늘어난다.
• 로그 확보: 어떤 요청이 어떻게 처리됐는지 기록이 남는지.
• 접근 등급: 기능별로 권한을 나눌 수 있는지.
• 업데이트 정책: 안전장치 변경이 기존 사용에 영향을 주는지.
• 책임 범위: 문제가 생겼을 때 계약상 책임이 어떻게 나뉘는지.

정리

모델 안전장치는 데이터, 정렬 학습, 시스템 필터, 접근 통제라는 여러 층으로 이뤄진다. 뒤쪽 두 층은 모델을 다시 학습시키지 않고도 조정할 수 있다.

탈옥은 입력 공간이 무한하고 맥락에 따라 판단이 달라지기 때문에 완전히 막기 어렵다. 그래서 방어는 성공률을 낮추는 다층 구조로 설계된다.

성능이 높은 기능일수록 단계적으로 공개되는 것도 같은 이유다. 발표를 볼 때는 전면 공개인지 제한 공개인지, 그리고 어떤 기준으로 접근이 나뉘는지를 확인하는 편이 낫다.

관련 종목의 실적과 뉴스를 한 화면에서 보려면 Passive를 참고할 수 있다.

이 글은 기술 구조를 정리한 것이며, 특정 종목의 매매를 권유하지 않는다.