https://m.edaily.co.kr/News/Read?newsId=04270566645548632&mediaCodeNo=257
모티프는 벤치마크 평가에서 24.6점(AAII 11.9점, NIA 12.7점), 전문가 평가에서 27.1점을 받았다. 하지만 사용자 평가에서는 14.1점(전문 사용자진 8.4점, 일반 국민 5.7점)에 그쳤다.
——
사용자 평가 전체 평균은 17.6점이라니 여기서 점수가 갈렸나보네요. 스타 탄생의 순간인가 했는데 아쉽네요.
앞으로 AI 뉴스에서 자주 만나기를 바랍니다.
모티프의 벤치는 진짜 인상적인 결과죠.
아무래도 직원수가 적은 회사라 실사용 디테일까지 챙기기는 어렵나 봅니다.
모티프 베타 버전 서비스에서 너무 영어가 난무하다는 평이 있기는 했습니다. 제가 겪었던 건 sushi, itinerary 인데, 전반적으로 영어 많이 섞어쓰는 패션잡지 느낌이 있었어요. 그 이후 개선이 많이 안되었을까요.
모델 제작자에게 모델을 활용한 완성형 엔드유저 서비스까지 제시하라는 평가기준인건가 싶었어요
실질적으로 SOTA 모델인 Opus 5(Max)의 AAII 점수가 63점인데 100점 만점 기준으로 점수를 환산하니 배점 취지에 비해 변별력이 너무 약해지는 것 같습니다.
하한/상한을 15~65점 정도로 범위를 잡아 AAII 점수를 정규화해서 채점했으면 훨씬 좋았을 것 같습니다.