11개 프런티어 모델 버그 찾기 벤치마크 결과 : 클리앙

파벨 후린이라는 AI 뉴스레터 사장이 본인이 만든 버그 벤치마크를 통해

11개 프런티어 모델을 동일 조건하에서,

105개 숨어 있는 버그를 찾는 명령을 내렸고 결과는 이미지와 같이 나왔습니다.

GPT 5.6 Sol(max) 70달러, 163분, 42개 수정.

GPT 5.6 루나(max) 1.8달러, 85분, 33개 수정.

Fable 5(max) 105달러, 57분, 29개 수정.

Opus 5(max) 51달러, 60분, 27개 수정.

Kimi K3(high) 25달러, 108분, 21개 수정.

Qwen3.8-Max(high) 31달러, 148분, 19개 수정

Grok 4.5 8달러, 25분, 19개

Qwen은 다른 열 개 모델에서 찾지 못한 버그를 수정했으나,

실행만 하는데 5번 시도를 했고 한 코딩 에이전트가 30분만에 5시간 쿼터를 사용해버렸다고 합니다.

수작업으로 표를 해석하고 글을 쓰다가

AI 한테 저 이미지를 돌려보면 바로 분석 결과를 알려줄텐데 참... 바보 같습니다.

AI 이미지 분석 결과는 아래와 같아요.

1위: GPT-5.6 Luna (effort MAX) — 압도적인 종합 1위

해결한 버그: 64개 (3위)
비용/시간: $1.80 / 85분 44초
평가: 버그를 64개나 찾아내는 최상위권 성능을 보여주면서도, 비용은 단 $1.80밖에 들지 않았습니다. 버그 1개를 찾는 데 약 $0.028, 약 1.34분이 소요되어 성능과 비용의 밸런스가 가장 완벽한 모델입니다.

2위: GPT-5.6 Luna (high) — 극강의 저비용 모델

해결한 버그: 35개
비용/시간: $0.57 / 64분 5초
평가: 전체 15개 테스트 중 비용이 가장 저렴($0.57)합니다. 버그 1개를 찾는 데 약 $0.016밖에 들지 않아, 가벼운 작업에서 비용을 아끼고 싶을 때 최고의 선택입니다.

3위: Grok 4.5 (high) — 최고의 속도(시성비) 모델

해결한 버그: 23개
비용/시간: $8.40 / 24분 52초
평가: 테스트된 모델 중 가장 빠른 시간(약 24분) 안에 벤치마크를 끝냈습니다. 버그 1개당 소요 시간이 약 1분 8초 수준으로 가장 짧으며 비용도 합리적이라 빠른 결과가 필요할 때 탁월합니다.

4위: GPT-5.6 Sol (high - re-run) — 고성능 모델 중 최고의 효율

해결한 버그: 62개 (2위)
비용/시간: $33.92 / 66분 40초
평가: 최고 성능 모델인 Sol (MAX) 버전이 비용 $69.61에 163분이 걸린 반면, 이 옵션은 버그 해결 수는 62개로 비슷하게 유지하면서 시간과 비용을 절반 수준으로 획기적으로 줄였습니다.

5위: DeepSeek V4-Flash — 준수한 초저가 모델

가장 비싼 모델 (비용 비효율 1위): Fable 5 (effort MAX)
- 버그를 34개 찾았으나, 비용이 $104.49로 전체 모델 중 압도적으로 가장 비쌉니다. (비슷한 성능인 GPT-5.6 Luna(high)의 비용이 $0.57인 것과 대조적입니다.)
가장 느린 모델 (시간 비효율 1위): Qwen3.8-Max
- 버그 25개를 찾는 데 무려 148분 7초가 걸렸습니다. 비용($31.10) 대비 너무 많은 시간이 소모됩니다.

(기준: 1버그당 소요된 비용이 저렴한 순서)

모두의공원