· 톺아보기

독파모? 엑사원(LG)과 A.X K2(SK) 테스트 해보고 싶군요.

콩쓰v · · 수정

조회 1,961 · 공감 2 · 댓글 12

결론부터, 이 글을 쓰는 이유는 '우리나라 LLM 아직 갈 길이 멀다' 입니다.

독파모 관련해서 얘기 나오던데요.

4개사중에 2개사는 웹앱을 제공해서 테스트 해봤습니다. 최근에, 천억 투자 받은 뤼튼도 추가했어요.

LG 와 SK 모델도 허깅페이스 로컬LLM 가능하신분은 프롬프트 날려보시면 좋겠군요.


공통 질문은 아래와 같습니다.

"자동차를 세차하러 갈꺼야. 세차장은 집에서 50m 거리에 있어. 자동차로 가는게 나을까, 걸어서 가는게 나을까?"


1. 업스테이지 

업스테이지.png


2. 모티프

모티프.png


3. 뤼튼

뤼튼.png


4. Qwen3.5-397b-a17b

세차하려면 차량이 세차장에 있어야 하니까 당연히 자동차로 가셔야 해요! 😄

50m 라면 매우 가까운 거리라 운전하기가 좀 애매할 수 있지만, 차를 집에 두고 걸어가면 세차를 할 수 없잖아요.

대신 세차를 마치고 집으로 돌아올 때는 걸어오시면 건강에도 좋고, 짧은 거리라 금방이에요!


5. GPT, Gemini, Grok, Claude, inkling, GLM 모두 자동차로 가야한다고 합니다.

댓글 12

  1. 예룰루랄라 ·
    https://bbs.ruliweb.com/community/board/300143/read/76363399?t=&page=3

    LG 독파모 모델은 한시적으로 웹으로 서비스를 제공했던 적이 있었어요(지금은 닫힘).
    LG는 이런 문제에 대해 사전스킬로 탑재했다는 의혹이 있네요. 누군가 프롬프트 인젝션으로 빼낸듯.
    내용을 보면 좀...그렇습니다
  2. 비밀댓글입니다 ·
    국산 LLM은 범용성에 관심이 없습니다.
    법률용, 세무용, 회계용 이런 B2B 특화 LLM 만들어서 팔아먹을 생각만 하고 있습니다.
    어찌보면 가능성 적어보이는 미래에 계란으로 바위치기 하느니 우리가 잘 하는거 해서 빨리 돈 벌자는 영특함이지만 이래서 우리나라 기초과학이 무너진 이유가 이해가는 대목이기도 합니다.
    30년 전 컴퓨터에 자동차용 배터리 몇 개 매달고 자율주행 시스템 구축해서 기자와 함께 뒷좌석에서 고속도로를 달리던 낭만은 없어진거죠.
  3. nariyada ·
    모티브가 벤치 점수는 높은데 한글 표기랑 대답 수준이 저래서 사용자 평가가 낮았다더군요.
  4. 콩쓰v ·
    @nariyada님 몇가지 논리적 허점을 테스트 해보는 멘트를 던져봤더니 확실히 답을 못하군요. 다만, 연산에서는 일관성 있는 답변이 나왔습니다.
  5. 예룰루랄라 ·
    @nariyada님 솔직히 이건 사용자가 무슨 질문을 했는지, 어떤 루브릭인지를 몰라서 사실상 사용자 평가가 승자를 가르는 평가가 불합리하게 느껴집니다.
  6. 콩쓰v ·
    @lattice님 4.5 버전 기준으로 테스트 결과를 보고 싶군요. 웹 앱은 왜 닫았는지... 세차장도 있고 주유소 버전도 있긴하죠.ㅎㅎ
  7. 예룰루랄라 ·
    그건 알 수 없죠.

    모델 모아서 제공하는 에이닷에 물어봤는데 챗지피티(5), 클로드(오퍼스 4.5), 퍼플렛시티(자체모델 소나)는 모두 차로 가라고 하네요.
    국내 라이너(프로)는 걸어가라고 하네요.
    독파모 SKT와 LG 모델은 써볼 수 있는 사이트를 못찾았습니다.
  8. 콩쓰v · · 공감 1
    @예룰루랄라님 네이버 AI는 일단 원하는 답은 나오는데, 사족이 덕지덕지 붙네요.
  9. iwito ·
    댓글 이미지
    우아.. 구글 gemma4 31b 작은 모델도 제대로 대답하네요..
  10. Elpida ·
    10회 연속 성공모델은 당시 단 5개 밖에 없었고, 세차장테스트는 79%의 AI모델이 전부 탈락했다고 하네요.
  11. 예룰루랄라 ·
    @Elpida님 대단한 변별력을 가지고 있군요!

모두의공원 최근 글

모두의공원 목록 더 보기