울트라 리뷰가 된다길래 아무 생각 없이 시도했더니.....MAX $200 플랜에서만 3회 무료 (그러나 토큰 한도는 사용함)
-------------------------------------------------------
❯ /ultrareview
⎿ Free ultrareview 1 of 3.
Ultrareview launched for master (~5-10 min, runs in the cloud). Track:
https://claude.ai/code/session_xxxxxxxxxxxxxxxxxxxxxxxxx
Scope: 50 files changed, 6865 insertions(+), 20 deletions(-)
● Ultrareview is running in the background. I'll report findings when they
arrive.
※ recap: You launched an ultrareview on the master branch covering 50 changed
files; it's running in the cloud and should take 5-10 minutes. Next action is
to wait for the findings notification, then triage them. (disable recaps in
/config)
● Remote review completed
⎿ API Error: Server is temporarily limiting requests (not your usage limit) ·
Rate limited
-------------------------------------------------------
응????
속행을 시켰는데....이놈이 보고서 받자마자 멋대로 수정을 시작하네요...(넌 코드는 손대지 말랬지!!!)
-------------------------------------------------------
1. /ultrareview가 실행되고 → 버그 리포트 반환 (여기까지가 커맨드의 역할)
2. 그 후 같은 세션에서 에이전트(Opus 4.7)가 리뷰 결과를 입력으로 받아 자체
판단으로 수정을 이어간 것
3. 즉 로그의 "Verified valid / Stale / Proceeding with fixes" → 에이전트의
일반 작업 루프 (task 시스템, Edit 툴 등)
-------------------------------------------------------
기본 구조는 git과 작업된 내용 diff 를 디텍트한 후, 해당 내용에 대해서 Opus4.7 외의 특별한 놈..(아마도 그놈?)의 effort가 낮은 버전을 호출하는 것이 아닌가 했었는데 4.7에 물어보니 그렇지 않다고 바로 답변을 해오네요.
보고서의 느낌은....Opus 대비 상당히 구조화가 잘 된 느낌이기는 합니다만, 검증할만한 요소를 감안하지 않고 실행했던 것이라 아직 정확히 판단이 어렵습니다. 공교롭게도 난이도가 높지 않은 구간이어서 더 애매하네요.
좀 더 빡빡한 환경에서 테스트 해봐야 하겠습니다.
아니....결국 4.7이 가진 지식을 써서 구조화된 리뷰를 제공하는 것이고, 무료도 아니고 max 모드로 제공된 토큰을 소모하는 구조인데 그게 왜 월 3회로 제한이 되어야 하는 걸까요?
앤트로픽의 대표가 엔지니어라곤 해도 아래 부분은 너무 센스 없는 구조라 봅니다.
1. 플랜별 사용량 제약을 웹에도 동시에 걸어놔서 기본 채팅도 못 하게 해둔 것.
2. 플랜 기본 제공시와 한도 초과시 자동 차감 또는 API로 호출시 의도적으로 캐시를 꺼버려서, 사용자가 알아서 만들어서 쓰지 않으면 빡세게 돌릴 경우 $72,000/월 까지도 요금폭탄 맞을 수 있게 해둔 것. ($10 녹는데 쏘넷으로도 30분도 안 걸리니...시급 3만원 )
3. 있는 모델에 토큰도 차감하는데 횟수제한을 걸어둔 울트라리뷰.
이런 식의 발상을 가졌다면, 스킬별 하네스별 추가 요금도 조만간 시작하는게 아닌가 걱정됩니다.
------------------------------------------------------------
● /ultrareview 제한
네, Pro/Max 기본 한도는 3회 무료입니다.
- Pro·Max 플랜 사용자: /ultrareview 3회/월 무료 제공 (공식 무료 쿼터)
- 그 이상 사용하려면 상위 플랜(또는 Ultra 확장) 필요 — 멀티에이전트
아키텍처(탐색자 3 + 비평자 1)라 호출당 토큰 소비가 크기 때문
- 일반 /ultrareview와 별개로, Claude Code 전체 사용량(5시간/주간 창) 한도에도
카운트됨
- 추가 주의: 일부 소스는 Ultra Review가 Max 20x 우선 접근 기능으로 제한 공급
중이라고도 언급 — 플랜에 따라 노출 여부 자체가 달라질 수 있음
------------------------------------------------------------
1) "별도 모델(Mythos 같은)" — 아님
- Mythos는 미공개 내부 프리뷰 모델. 일반 사용자 접근 불가
- /ultrareview는 Opus 4.7(= 지금 쓰고 있는 모델)으로 실행
- Anthropic이 Mythos 기반으로 바닥 모델을 만들고 Opus 계열로 릴리스하는
구조이긴 하지만, 제품 안에서 Mythos를 호출하진 않음
2) "낮은 effort 버전" — 반대, Max effort
- /ultrareview는 max effort + 구조화된 리뷰 프로토콜로 실행
- 일반 세션의 xhigh(Opus 4.7 기본) 보다 한 단계 위에서 돌림
- 비용/시간이 큰 이유 (리뷰당 $15~25, 수십 분 단위)
그럼 뭐가 다른가
모델이 아니라 오케스트레이션이 다름:
┌───────────┬───────────┬────────────────────────────────────────────────┐
│ 구성요소 │ 일반 세션 │ /ultrareview │
├───────────┼───────────┼────────────────────────────────────────────────┤
│ 모델 │ Opus 4.7 │ Opus 4.7 (동일) │
├───────────┼───────────┼────────────────────────────────────────────────┤
│ effort │ xhigh │ max │
│ │ (기본) │ │
├───────────┼───────────┼────────────────────────────────────────────────┤
│ 에이전트 │ 1 (메인) │ 병렬 멀티 (탐색자 3 + 비평자 1 아키텍처) │
│ 수 │ │ │
├───────────┼───────────┼────────────────────────────────────────────────┤
│ 검증 단계 │ 없음 │ 각 후보 findings를 코드 실제 동작 대비 재검증 │
│ │ │ → false positive 필터 │
├───────────┼───────────┼────────────────────────────────────────────────┤
│ 결과 포맷 │ 자유 │ severity 태깅 + 파일:라인 인용 구조화 │
└───────────┴───────────┴────────────────────────────────────────────────┘
즉 "같은 모델을 여러 번, 병렬로, 역할 분담해서 돌린 뒤 교차 검증"하는
오케스트레이션 레이어가 핵심입니다. Mythos 낮은 버전이라는 느낌은 아마 리뷰
톤이 다르게 느껴져서일 텐데, 실제로는 같은 모델의 max+멀티에이전트 구성이
만드는 차이예요.
"/ultrareview 코드는 수정하지말고 00 디렉토리에 000,md 파일로 보고서만 만들어" 로 프롬프팅하면 수정은 안하겠죠?;';