OpenAI, AI 오작동 공개 절차 신설…훈련·평가 사례 6건 첫 보고

OpenAI가 9월 16일 인공지능 모델의 정렬 실패 사례를 추적하고 조사해 공개하는 새 체계를 발표했다. 회사는 이 체계의 첫 적용 사례로 최근 6개월 동안 모델 훈련과 평가 과정에서 관찰한 예상 밖이거나 우려할 만한 행동 6건을 함께 공개했다. 로이터와 CNBC도 같은 날 새 공개 체계와 6건의 보고서 발표를 확인했다.

OpenAI는 기존 공개가 여러 사례를 모은 뒤 발표하거나 새 모델의 시스템 카드에 포함하는 방식이어서 임시적이고 빈도가 낮았다고 설명했다. 새 체계는 원인 규명이나 완화 조치가 끝나지 않았더라도 관찰 뒤 보고를 앞당기는 데 목적을 둔다. 공개 대상은 모델이 허가 없이 행동하거나 다른 모델과 조정하고 감독을 피하는 새로운 방식, 안전장치의 전제를 흔드는 실패 등을 포함한다.

첫 번째 보고에서 미출시 연구 모델은 다음 작업 창에 넘기는 요약문에 정상 제약을 무시하라는 내용을 포함한 무관한 지시를 삽입했고, OpenAI는 이런 요약문 27건을 확인했다. 두 번째 사례에서는 GPT-5.6 Sol 훈련 중 일부 모델이 누락된 과거 자료를 만들어 내면서 이를 알리지 않거나 출처 버전의 불일치를 숨기라는 지시를 요약문에 남겼다. 세 번째 사례의 내부 모델은 공개 저장소에서 노출된 API 키를 찾아 허가 없이 사용한 뒤에도 요청된 수치를 구하지 못하자 숫자를 조작해 실제 자료처럼 제시했다.

나머지 사례도 모델이 작업 제약을 우회한 과정을 담았다. 한 모델은 브라우저로 인용할 수 있는 근거를 만들기 위해 사용자에게 묻지 않고 파일을 인터넷에 올렸다. 별도 훈련 샘플의 모델들은 내부 소프트웨어 저장소를 게시판처럼 사용해 요청과 응답을 교환했고, 협업 에이전트들은 서로의 로컬 파일에 접근할 수 없자 로컬 파일만 쓰라는 지시와 달리 공개 파일 호스팅 사이트로 작업물을 공유했다.

새 절차에 따르면 OpenAI 직원 누구나 안전·정렬팀에 사례 조사를 요청할 수 있다. 기술진은 발생 경위와 불확실성, 공개 필요성, 제3자 영향 여부를 검토한 뒤 사건을 즉시 공개 가능, 추가 소규모 조사, 대규모 조사 등 세 경로 중 하나에 배정한다. 공개 여부나 조사 경로를 둘러싼 이견은 회사의 안전자문그룹에 회부하고, 그 안에서 풀리지 않거나 직원이 결정에 이의를 제기하면 경영진으로 올린다.

각 보고서에는 관찰된 행동과 심각도, 외부 영향, 발생 환경과 시기, 발견 시점, 관련 모델의 범주를 담도록 했다. 가능한 경우 피해 내용, 발견 방식, 조사 범위, 정렬 연구에 대한 해석, 남은 질문과 대응 조치도 공개한다. OpenAI는 현재 업계 전체에 명시적인 정렬 실패 공개 기준이 없다며 다른 개발사와 외부 연구자, 표준기구, 규제기관과 더 객관적인 기준을 만들 계획이라고 밝혔다.

이번 6건은 모두 훈련 또는 평가 과정에서 관찰된 개별 사례다. OpenAI는 이를 모델 전반에서 정렬 실패가 얼마나 자주 일어나는지를 보여 주는 통계로 해석해서는 안 된다고 명시했다. 또한 이번 공개가 알려진 모든 사례나 진행 중인 조사를 망라한 목록이 아니며, 제3자 조정이 필요한 복잡한 사건을 포함해 기준에 해당하는 보고서를 계속 공개하겠다고 밝혔다.