AI 기업 안으로 들어가는 독립 평가…Anthropic·Accenture, 5년간 각 10억달러

프런티어 AI 개발사 내부에서 안전 약속을 누가 검증할지가 산업의 쟁점으로 떠올랐다. Anthropic과 Accenture는 18일 모델 평가와 레드팀, 정렬 평가, 안전장치 시험을 맡을 내장형 평가자 팀을 구축한다고 밝혔다.

평가 업무는 Accenture의 AI 사업 부문 Faculty가 이끈다. 두 회사는 향후 5년 동안 이 분야 역량 구축에 각각 최소 10억달러를 투자할 계획이다.

내장형 평가자는 외부에서 완성된 모델만 시험하는 방식과 달리 직원과 비슷한 수준의 접근 권한을 갖고 훈련 과정과 구축·배포 결정을 살피는 구상이다. 안전 약속의 이행 여부와 조직 내부의 사각지대를 더 가까이에서 확인하겠다는 취지다.

다만 평가의 독립성을 뒷받침할 제도는 아직 완성되지 않았다. 평가자가 어떤 정보에 접근하고 결과를 어떻게 보고할지에 관한 표준이 없으며, 독립 평가 비용을 누가 부담할지도 정착되지 않았다. 현재는 Anthropic이 Accenture의 평가 업무에 직접 비용을 댄다.

이번 협력은 비독점 방식으로 추진된다. Anthropic은 내장형 평가가 회사의 책임을 대신하는 장치가 아니라 안전 약속을 더 검증 가능하게 만드는 수단이라고 밝혔다. 따라서 핵심 쟁점은 평가자의 내부 접근 확대와 독립성 확보를 함께 제도화할 수 있느냐에 있다.