벤치마크 점수에서 ARC-AGI-3 이 뭐였지? 

궁금해서 AI에게 물어봤습니다.

"AI가 처음 보는 새로운 문제를 얼마나 스스로 이해하고 풀 수 있는지를 측정하는 점수"

점수가 높을수록 암기형 AI 보다 인간처럼 새로운 문제를 해결하는 능력이 좋다는 건데요.

다만, 일반적인 IQ 점수나 AI 성능보다는 특정한 형태의 일반화, 추론 능력에 가점을 둔 벤치마크라고 해요.

99.9%

(Arc Prize 공홈에서는 62.7%)

프로바이더 어댑터 하네스(?)를 사용하면 99% 수치에 근접한다고 해요.

이게 또 뭔 뜻인가 봤더니, 요청 시 모델 내부 추론 상태를 보존하고 대화가 길어지면 압축해서 이어붙이는 방식이라고 합니다.

그래서 이미 요청한 내용을 처음부터 다시 분석할 필요가 없더군요.

99.9%는 그러면 마케팅적 점수라고 봐야하고

유의미한 점수로 한발짝 나아갔다고 표현해야하는게 맞겠습니다.

AGI 시대의 시작이죠.

올 한해만 모델이 여러차례 공개되며 점수가 미친듯이 올라가고 있습니다.

내년에 또 어떻게 바뀌고 또 내후년은 어떨까

도무지 예측이 안됩니다.

인간의 예측을 넘어서 AI 발전이 또 어떻게 다가올지

가드레일은 빵빵하니 설정해두고 이들은 일하고 있는거겠죠.