Astra는 AGI 시대의 개막을 알리는 모델이군요.
조회 2,594 · 공감 0 · 댓글 4
벤치마크 점수에서 ARC-AGI-3 이 뭐였지?
궁금해서 AI에게 물어봤습니다.
"AI가 처음 보는 새로운 문제를 얼마나 스스로 이해하고 풀 수 있는지를 측정하는 점수"
점수가 높을수록 암기형 AI 보다 인간처럼 새로운 문제를 해결하는 능력이 좋다는 건데요.
다만, 일반적인 IQ 점수나 AI 성능보다는 특정한 형태의 일반화, 추론 능력에 가점을 둔 벤치마크라고 해요.
99.9%
(Arc Prize 공홈에서는 62.7%)
프로바이더 어댑터 하네스(?)를 사용하면 99% 수치에 근접한다고 해요.
이게 또 뭔 뜻인가 봤더니, 요청 시 모델 내부 추론 상태를 보존하고 대화가 길어지면 압축해서 이어붙이는 방식이라고 합니다.
그래서 이미 요청한 내용을 처음부터 다시 분석할 필요가 없더군요.
99.9%는 그러면 마케팅적 점수라고 봐야하고
유의미한 점수로 한발짝 나아갔다고 표현해야하는게 맞겠습니다.
AGI 시대의 시작이죠.
올 한해만 모델이 여러차례 공개되며 점수가 미친듯이 올라가고 있습니다.
내년에 또 어떻게 바뀌고 또 내후년은 어떨까
도무지 예측이 안됩니다.
인간의 예측을 넘어서 AI 발전이 또 어떻게 다가올지
가드레일은 빵빵하니 설정해두고 이들은 일하고 있는거겠죠.
댓글 4
이건 사실 모델만의 문제라기 보다는 시스템(하네스)의 문제이기도 한데...하여간 점점 가까이 다가오는 느낌입니다.
내부적으로 생각하는 AGI 기준의 80%까지 도달했다.
이게 아스트라 모델인것 같습니다.
그래서 내부 모델 기준 올해 AGI 개발이 완료할 수 있다고 하더군요.
이게 정말 계획대로 되면 내년은 이제 AGI의 시대가 되지 않을까 해요.
그런데 openai가 말하는 AGI는 학계에서 말하는 AGI하고는 조금 개념이 다르긴 합니다.