· 톺아보기

AI 성능 경쟁의 그늘…'벤치맥싱' 뭐길래

_딘_ ·

조회 4,792 · 공감 0 · 댓글 3

[테크톡노트] AI 성능 경쟁의 그늘…'벤치맥싱' 뭐길래  | 연합뉴스

리더보드 점수 높여도 실전 성능은 별개…벤치마크 딜레마

국내 '독파모' 평가서도 쟁점…비공개·실무 평가 병행론 부상

 


독파모 ‘벤치맥싱’ 논란에 AAII 입장…"평가 방법론 지속 업데이트" | 지디넷코리아

AAII, 독파모 평가서 25% 차지…"추론 로그까지 들여다본다"





출처 : https://n.news.naver.com/mnews/article/001/0016252950?sid=105 https://n.news.naver.com/mnews/article/092/0002434032?sid=105

댓글 3

  1. 쭈태공 ·
    중국거 실제 수준대비 너무 높게 나오죠
  2. 제갈클 ·
    쪽집게 과외를 받아서 문제풀이만 달달달 외워서 시험은 잘 보지만
    복잡하고 변화하는 현실에서 써보면 거의 문제를 해결 못하는 고학력자를 보는거 같군요.
  3. 동그리a ·
    결국 과기정통부만의 비공개 벤치마크를 가지고 평가하는 식이나 실사용자 A/B테스트 (챗봇 아레나)가 필요하죠

    요즘은 agentic loop가 핵심이다보니 아레나로만은 부족한 느낌이긴 한데...

새로운소식 최근 글

새로운소식 목록 더 보기