모두의공원

독파모 2차 평가‘AA 1위’ 모티프, 진입 유력 ‘실전 사용성’ 변수 9

1
2026-08-18 09:46:57 수정일 : 2026-08-18 09:47:34 203.♡.8.219
예룰루랄라

https://www.edaily.co.kr/News/Read?newsId=01505526645548304

PS26081700686.jpg


AAII는 100점 만점에 배점이 25점 밖에 안되어서 이게 전부는 아닙니다만, 모티프의 선방과 LG연구원의 죽상이 눈에 띄네요. SKT 모델은 STEM쪽이 강해보이구요.


모티프와 업스테이지는 벤치마크 맥싱 업체로부터 AAII용 학습데이터를 구매했다고 하는데, 사용자 평가와 전문가 평가가 너무 떨어지지 않으면 사실 별 문제는 안될 거 같네요. 이게 사실 벤치마크로 경쟁하는 사업자들이 대부분 쓰는 방법이라, 오히려 SKT와 LG연구원은 왜 구매를 안했나 싶기는 하네요.

좀 있으면 발표할텐데 어디가 떨어질런지...

예룰루랄라 님의 게시글 댓글
SIGNATURE
개인 신상 관련 내용이 있는 글은 일정 시간 후 삭제하기도 합니다.
서명 더 보기 서명 가리기
모웅키
IP 116.♡.20.137
09:55 2026-08-18 09:55:45
·
벤치맥싱 데이터셋 사서 실성능이랑 괴리된 벤치마크 점수 만들라고 지원하는 것은 아니지 않나요?
예룰루랄라
IP 211.♡.199.221
10:00 2026-08-18 10:00:50
·
@모웅키님 당연히 실성능이랑 괴리된 벤치마크 점수 만들기를 목적으로 하는 사업자는 없겠죠. 결과가 기본 성능에 비해 벤치마크 과적합이 되는 경우가 있다는 말이죠.
독파모는 실사용 평가 배점이 높으니 그런 걱정은 안해도 될 듯 합니다.
베모레클
IP 121.♡.114.192
09:57 2026-08-18 09:57:14 / 수정일: 2026-08-18 09:57:40
·
모티프 라는 말이 과거엔 리눅스나 유닉스의 윈도 매니져를 부르는 이름이었는데,
요즘은 LLM 모델 이름으로 소비되네요 ...
뭐..좋은 뜻인가 보네요? 사전적 의미가 무엇이길래...??
예룰루랄라
IP 211.♡.199.221
10:01 2026-08-18 10:01:25 / 수정일: 2026-08-18 10:02:32
·
@베모레클님 회사 이름이 모티프 테크놀로지입니다. 사전적 의미는 우리가 아는 그 모티프, 주제? 이지 않을까요.
건기
IP 39.♡.230.107
10:02 2026-08-18 10:02:36
·
@베모레클님 motif가 회사 이름이네요 ㅎㅎ
베모레클
IP 121.♡.114.192
10:13 2026-08-18 10:13:27
·
@예룰루랄라님

주제, 사상, 동기 라고 하네요.
모티브 랑 같은 어원이라네요.
eeeeee
IP 118.♡.84.40
10:27 2026-08-18 10:27:04 / 수정일: 2026-08-18 10:27:21
·
예전부터 이해 못했던게 LG엑사원 올려치기였죠
특정 벤치마크에만 고점이고
전문가 모델은 무거워서 써먹지도 못하고
가벼운 온디바이스 모델은 외국 무료 ai어플과는 비교도 안되게 허접했거든요
예룰루랄라
IP 203.♡.8.219
10:32 2026-08-18 10:32:06
·
@eeeeee님 사실 엑사온이 성과를 냈던게 한국이 AI 불모지였던 시절이라 글로벌 벤치마크 성과를 낸 부분은 인정해주고 싶네요. 다만 연구원이라는 특성상 서비스를 위한 하네스가 약한 단점이 있겠구나 싶었지, 모델 자체 성능은 기대한 바가 있었던터라 좀 아쉽네요.
eeeeee
IP 118.♡.84.40
11:22 2026-08-18 11:22:27
·
@예룰루랄라님 결국 LG엑사원이 최종 3위 안에 들어 올라갔네요
목록으로
글쓰기
글쓰기
목록으로 댓글보기