정책 바꿔도 추론으로 안전 판정…gpt-oss-safeguard 연구 JMLR 게재 승인

AI 서비스마다 금지 기준과 허용 범위가 달라지는 상황에서, 정책이 바뀔 때마다 분류기를 다시 학습해야 하는 부담이 안전 운영의 핵심 문제로 떠올랐다. gpt-oss-safeguard 연구는 별도 재학습 대신 정책 문서와 판정할 콘텐츠를 추론 시점에 함께 입력해 결론을 내리는 방식으로 이 문제를 다룬다.

이 연구는 Journal of Machine Learning Research에서 게재 승인을 받았다. 확인된 범위는 논문의 출판 승인과 방법론에 관한 것이며, 새로운 상용 제품 출시나 모든 위험을 막는 안전 보장을 의미하지 않는다. JMLR의 현재 공개 논문 목록에는 아직 해당 논문이 올라오지 않아, 출판 승인과 실제 게재 완료도 구분해야 한다.

기술적으로는 개발자가 작성한 정책을 기준으로 사용자 메시지와 모델 응답, 대화 전체를 분류하고 판정 근거를 구조화해 내놓는 안전 분류 모델이다. 120b와 20b 두 공개 가중치 모델이 있으며, 학습 때 보지 못한 새 정책에도 정책 문구를 해석해 대응하도록 설계됐다. 여기서 일반화는 연구가 겨냥한 능력이지, 어떤 정책을 넣어도 같은 품질을 보장한다는 뜻은 아니다.

공개 기술 보고서의 다중 정책 평가에서 120b와 20b 모델의 정확도는 각각 46.3%와 43.6%였다. 여러 정책의 정답을 모두 맞혀야 성공으로 계산한 엄격한 평가라는 점을 감안해야 하지만, 절반에 못 미치는 수치는 안전 판정을 단독 자동화하기 어렵다는 사실도 함께 보여준다. 같은 보고서는 수만 건의 고품질 표본으로 훈련한 전용 분류기가 더 나을 수 있다고 밝혔다.

정책 문장이 모호하면 판정 경계도 흔들릴 수 있고, 추론을 거치는 만큼 단순 분류기보다 계산량과 지연이 커질 수 있다. 독립 연구는 특정 모델 가중치에 결합된 구조와 단일 추론 방식의 제약을 지적했고, 별도의 보안 실험은 대화형으로 잘못 배치했을 때 다중 턴 공격에 취약할 수 있다고 평가했다. 다만 후자는 본래 권장 용도인 입력·출력 필터가 아니라 대화형 환경을 시험한 결과이므로 그대로 같은 조건으로 볼 수는 없다.

이번 게재 승인의 의미는 안전 기준을 모델 안에 고정하는 방식에서 정책을 실행 시점에 읽고 판단하는 방식으로 연구 범위가 넓어졌다는 데 있다. 실제 배치에서는 정책별 검증 자료, 오탐·미탐 측정, 사람에게 넘기는 절차, 지속적인 공격 시험을 함께 둬야 한다. 논문 심사 통과는 연구 기여에 대한 판단이며 운영 환경의 안전 인증은 아니다.