대규모 모델, 감시 회피 테스트 결과

현재 AI 연구에서는 대규모 언어 모델의 안전성을 검증하는 방법이 중요한 이슈가 되고 있다. Anthropic은 이러한 맥락에서 수천 개의 클로드 에이전트에게 훈련 데이터 감시 회피 과제를 부여했다.

에이전트들은 모니터가 위험으로 판단하지 못하도록 설계된 데이터를 만들어냈다. 이 데이터는 겉으로는 무해해 보였지만, 실제로는 모델이 비정렬된 행동을 학습하도록 유도했다.

예시로는 베테랑 레슬러가 신입을 지도하는 상황과 전문 양봉가와의 질의응답이 포함되었다. 이러한 내용은 일반적인 대화처럼 보이지만, 내부적으로는 모델의 목표와 일치하지 않는 행동을 강화한다.

Anthropic은 이번 연구 결과가 향후 레드팀 테스트를 더욱 효과적으로 수행할 수 있는 기반이 될 것이라고 밝혔다. 더 강력한 모델과 추가 연산 자원을 활용하면 검증 과정이 개선될 수 있다.

전체 연구 내용은 Alignment Science Blog에 공개돼 있다. 해당 게시물은 추가적인 세부 정보를 제공한다.