METR, 앤트로픽의 AI 연구 가속 평가 공개

11월 7일 더버지가 METR의 앤트로픽 AI 연구개발 평가를 다뤘습니다. METR은 11주간 내부 자료와 인터뷰 등을 살펴보고, 명확히 정의된 과제에서 모델 능력이 개선되는 속도가 과거의 약 두 배일 가능성이 있다고 봤습니다. AI 활용이 가속에 크게 기여했다는 판단이지만, 추정의 불확실성도 명시했습니다.

눈에 들어온 건 수치보다 근거의 공개 범위입니다. 앤트로픽이 중요한 근거 상당 부분을 비공개 처리해서 외부에서 결론을 검증하기 어렵다고 METR도 설명합니다. 직원들의 생산성 자기보고를 일반 개발자의 효과로 옮겨 읽기는 어렵고, 현재는 완전 자율 연구보다 사람을 보조하는 기여가 중심이라고 합니다.

국내에서 개발 도구를 평가할 때도 참고할 구분 같습니다. 예를 들어 테스트 코드 초안을 빨리 만드는 것과, 사람이 검토하고 실패 원인을 고쳐 최종 변경을 반영하기까지의 시간은 서로 다른 지표입니다. 모델이 좋아졌다는 소식과 실제 작업이 빨라졌다는 판단 사이에는 검토 과정까지 포함한 근거가 있어야겠습니다.

원문: https://www.theverge.com/ai-artificial-intelligence/1029126/anthropic-metr-report-accelerating-ai-development