CLIEN

본문 바로가기 메뉴 바로가기 보기설정 테마설정
톺아보기 공감글
커뮤니티 커뮤니티전체 C 모두의광장 F 모두의공원 I 사진게시판 Q 아무거나질문 D 정보와자료 N 새로운소식 T 유용한사이트 P 자료실 E 강좌/사용기 L 팁과강좌 U 사용기 · 체험단사용기 W 사고팔고 J 알뜰구매 S 회원중고장터 B 직접홍보 · 보험상담실 H 클리앙홈
소모임 소모임전체 ·굴러간당 ·주식한당 ·아이포니앙 ·MaClien ·일본산당 ·방탄소년당 ·개발한당 ·자전거당 ·안드로메당 ·이륜차당 ·소셜게임한당 ·AI당 ·나스당 ·디아블로당 ·소시당 ·육아당 ·가상화폐당 ·골프당 ·야구당 ·걸그룹당 ·젬워한당 ·클다방 ·IoT당 ·키보드당 ·맛있겠당 ·PC튜닝한당 ·달린당 ·패셔니앙 ·사과시계당 ·캠핑간당 ·3D메이킹 ·X세대당 ·ADHD당 ·AI그림당 ·날아간당 ·배드민턴당 ·농구당 ·블랙베리당 ·곰돌이당 ·비어있당 ·FM당구당 ·블록체인당 ·보드게임당 ·활자중독당 ·볼링친당 ·냐옹이당 ·문명하셨당 ·클래시앙 ·콘솔한당 ·요리한당 ·쿠키런당 ·대구당 ·DANGER당 ·뚝딱뚝당 ·개판이당 ·동숲한당 ·날아올랑 ·전기자전거당 ·e북본당 ·갖고다닌당 ·이브한당 ·물고기당 ·도시어부당 ·FM한당 ·포뮬러당 ·안경쓴당 ·차턴당 ·총쏜당 ·땀흘린당 ·하스스톤한당 ·히어로즈한당 ·인스타한당 ·KARA당 ·꼬들한당 ·덕질한당 ·어학당 ·가죽당 ·레고당 ·리눅서당 ·LOLien ·Mabinogien ·임시소모임 ·미드당 ·밀리터리당 ·땅판당 ·헌팅한당 ·오른당 ·영화본당 ·MTG한당 ·소리당 ·노키앙 ·적는당 ·방송한당 ·바다건너당 ·찰칵찍당 ·그림그린당 ·소풍간당 ·심는당 ·패스오브엑자일당 ·라즈베리파이당 ·품앱이당 ·리듬탄당 ·노젓는당 ·Sea마당 ·SimSim하당 ·심야식당 ·윈태블릿당 ·미끄러진당 ·축구당 ·나혼자산당 ·스타한당 ·스팀한당 ·파도탄당 ·퐁당퐁당 ·테니스친당 ·테스트당 ·빨콩이당 ·공대시계당 ·여행을떠난당 ·터치패드당 ·트윗당 ·창업한당 ·VR당 ·시계찬당 ·WebOs당 ·위스키당 ·와인마신당 ·WOW당 ·윈폰이당
임시소모임
고객지원
  • 게시물 삭제 요청
  • 불법촬영물등 신고
  • 쪽지 신고
  • 닉네임 신고
  • 제보 및 기타 제안
© CLIEN.NET
공지[점검] 잠시후 서비스 점검을 위해 약 30분간 접속이 차단됩니다. (금일 18:15 ~ 18:45)

모두의공원

챗지피티 o1 프로 성능이 예상 보다 못하다네요. 9

1
2024-12-06 19:01:39 수정일 : 2024-12-06 19:04:49 122.♡.56.205
천문공

모두 아시겠지만...벤치 점수는 점수일 뿐입니다.

참고가 안 되는 건 아니지만 살 사용 성능하고 괴리가 적지 않은 편입니다.


그럼에도 챗지피티의 경우 자사의 다수 모델이 같은 벤치를 받는 경우가 많았기 때문에

대조 가능한 비교군이 충분하므로 최신 오원프로의 성능이 전 보다 나아졌음을 부인하긴 어려운데요.


무려 200달러짜리 이 플랜을 이미 결제하고 사용해 본 사람들이 전하는 말에 의하면,

더 나은 답변을 주긴 하는데...열배 가격의 가치를 하느냐면... 아니라고 합니다.


그 이유는 프리뷰 버전에서 보여준 추론 과정을 그대로 답습하기 때문입니다.

예를 들어 다른 추론 방법, 더 나은 추론으로 기존에는 풀지 못했던 문제를

프로에서 풀 수 있어야 할 터인데,

추론 방법이 거의 같다 보니 프로버전임에도 프리뷰가 풀지 못한 문제는

프로도 풀지 못한다는 것입니다.


게다가 일부 오류가 있는 것인지, 프리뷰 보다 못한 결과가 나올 때도 있고,

코딩에 있어서 기존에 불가능했던 부분이 가능해졌다던지 하는 것이 아니어서

아무래도 사용량이 아주 많고,

그 답변의 질 차이가 조금이라도 더 나은 것이 자신의 생산성 향상 및

시간 절약 등으로 인한 이득이 큰 업무에 한해 200달러의 가치를 할 것으로 보이고,

이 정도 민감한 정도가 아니라면....굳이...가 될 수 있겠습니다.


즉, 아주 사소한 차이가 나의 생산성에 매우 큰 영향을 받는

일부가 아니라면 ... 굳이 사용할 필요가 지금 당장은 없는 것 같습니다.

천문공 님의 게시글 댓글
  • 주소복사
  • Facebook
  • X(Twitter)
댓글 • [9]
언어분석
IP 218.♡.131.195
12-06 2024-12-06 19:03:25 / 수정일: 2024-12-06 19:05:54
·
프로 플랜은 무제한 사용에 의미를 두라고 하는 분위기라고 하네요.

o1 pro는 무제한이 아니고, o1이 무제한일거에요

o1 프로 모델은 그 첫 시작점 모델이라고 하네요. 완성형이 아닌, 시작형 모델이요.

앞으로 모델이 더 출시된다고 하니 기다리는 것도 의미있을 듯 합니다.
그시절그때
IP 218.♡.203.3
12-06 2024-12-06 19:03:35
·
프리뷰 하루에 100번씩 호출해서 쓰는 헤비유저용 아닐까요?

근대 4o도 오늘보니 미친듯 똑똑해졌던데요 ㄷㄷㄷ
언어분석
IP 218.♡.131.195
12-06 2024-12-06 19:05:35
·
@그시절그때님

샘 알트만에 따르면, "하루종일 ai를 사용하고, 정말 어려운 문제를 해결하기 위해, 정보를 얻기 위한 극소수만" 프로 플랜을 고려하길 바라고, 그 외 거의 모든 사용자는 무료나 월 20달러의 플러스 모델을 사용하는 것이 가장 좋다고 하네요.
천문공
IP 122.♡.56.205
12-06 2024-12-06 19:05:56
·
@그시절그때님
미친듯이요?
혹시 클로드에서 옮길만한 메리트가 있을 정도인지 궁금하군요.
그렇다면 옮기는 것도 고려해 볼 수 있으니까요.
그시절그때
IP 218.♡.203.3
12-06 2024-12-06 19:08:26
·
@천문공님 ocr로 읽어서 번역하는거 시켰는데....엊그제랑 비교해서 장님이 눈뜬 수준의 변화를 느꼈습니다.

주말에 코딩도 좀 시켜보려고요.

클로드는 안써서 모르겠어요. gpt는 25달러짜리 2계정 쓰고 있어요.
cEnoch
IP 175.♡.60.29
12-06 2024-12-06 19:20:27
·
@천문공님 지금 둘다 동시에 결제하고 있는 입장에서 말씀드리면, 저는 코딩에서는 여전히 3.5 sonnet 이 더 낫다고 느껴집니다. 사실 o1이 더 잘풀 때와 3.5 sonnet이 더 잘풀때가 갈리는데 제 느낌에는 sonnet과 gpt o1이 각각 6:4 정도의 비율로 더 나은 답을 줬던 것 같습니다.

그 외에 프로젝트 관련된 문서 작성에서는 claude 쪽이 여전히 더 프롬포트 순응도라던지, 맥락이해등이 더 낫다고 느겨서 claude 사용중입니다.
이니셜225
IP 61.♡.79.26
12-06 2024-12-06 19:10:55
·
클로드는 팀에디션으로 써도 제약이 너무 커서 잠깐 집중하고 몇시간을 못쓰게 되는데 딱 이만큼 성능만 나와주면 저는 쓸것 같아요
cEnoch
IP 175.♡.60.29
12-06 2024-12-06 19:13:09 / 수정일: 2024-12-06 19:20:45
·
개인적으로 o1 성능은 그 센세이셔널 했던 벤치마크 성능에 비해, 실 사용환경에서의 체감 퍼포먼스가 상당히 떨어진다고 느껴집니다.

애플이 gsm8k 를 만들면서 말했던 "Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer." 이게 저는 맞다고 봐요. 물론 gsm8k 에서 o1 을 가지고 테스트한건 아니지만서도 말이죠.

결국 실 사용 환경에서 우리가 진짜로 풀게 될 문제들, 정해진/진부한 문제세트 말고 통섭적 사고가 필요한 일에 어느정도의 퍼포먼스를 보여줄 수 있는지를 나타낼 수 있는지 제대로 보여줄 수 있는 벤치마크의 연구가 필요한거 아닌가 생각됩니다.
균쌤
IP 59.♡.7.134
12-06 2024-12-06 19:18:40
·
저는 아직도 gpt-4 를 쓰고 있습니다. 주로 코딩에 쓰는데 4o보다 체감상 훨씬 정확하거든요.
새로운 댓글이 없습니다.
이미지 최대 업로드 용량 15 MB / 업로드 가능 확장자 jpg,gif,png,jpeg,webp
지나치게 큰 이미지의 크기는 조정될 수 있습니다.
목록으로
글쓰기
글쓰기
목록으로 댓글보기 이전글 다음글
아이디  ·  비밀번호 찾기 회원가입
이용규칙 운영알림판 운영소통 재검토요청 도움말 버그신고
개인정보처리방침 이용약관 책임의 한계와 법적고지 청소년 보호정책
©   •  CLIEN.NET
보안 강화를 위한 이메일 인증
안전한 서비스 이용을 위해 이메일 인증을 완료해 주세요. 현재 회원님은 이메일 인증이 완료되지 않은 상태입니다.
최근 급증하는 해킹 및 도용 시도로부터 계정을 보호하기 위해 인증 절차가 강화되었습니다.

  • 이메일 미인증 시 글쓰기, 댓글 작성 등 게시판 활동이 제한됩니다.
  • 이후 새로운 기기에서 로그인할 때마다 반드시 이메일 인증을 거쳐야 합니다.
  • 2단계 인증 사용 회원도 최초 1회는 반드시 인증하여야 합니다.
  • 개인정보에서도 이메일 인증을 할 수 있습니다.
지금 이메일 인증하기
등록된 이메일 주소를 확인하고 인증번호를 입력하여
인증을 완료해 주세요.