☐ 우리는 클로드, chatGPT, Gemini에 질문을 하고 답변을 받습니다.
- 그 사이에 무슨 일이 벌어지는지는 보이지 않습니다.
- 모든 것이 백단에서 이뤄지기 때문입니다.
- 그래서 답변이 느리거나 안 나오면 그저 답답해할 뿐입니다.
- 마치 수도꼭지를 틀면 물이 나오는 것처럼, 질문을 넣으면 답이 나오는 게 당연하다고 여기게 됩니다.
그 비용을 처음으로 재봤습니다.
☐ 최근 KAIST 유민수 석좌교수 연구팀이 이 비용을 실제로 측정했습니다.
- AI 에이전트가 실제 서비스 환경에서 얼마나 많은 계산 자원과 전력을 쓰는지 세계 최초로 체계적으로 분석한 것입니다.
☐ 결과가 꽤 놀랍습니다.
- 간단하게 누진제가 없는 사무실 전기로 환산해봤습니다.
☐ 추론하는 AI 에이전트는 질문 한 걸을 처리하는데 348.41Wh의 전력을 소비했습니다.
- 기존 생성형 AI의 단순 질의응답보다 최대 136.5배 수준이라고 합니다.
☐ 348.41Wh라고 하면 평균 약 40원 정도의 비용이 나옵니다.
- 여기에 기후환경요금 9원, 연료비조정요금 5월, 부가세, 전력기금까지 얹으면 여름철 기준 한건에 약 58원 정도가 됩니다.
- 반면 기존 생성형 AI의 단순 질의응답은 한 건에 약 2.6Wh, 전기요금으로는 0.3원꼴입니다.
- 하루에 100건씩 한달을 쓴다고 치면 17만원 정도, 웬만한 작은 사무실 한 달 전기요금과 맞먹는 수준입니다.
생각을 돈으로 치환해보면
☐ 이 연구가 흥미로운 점은 ‘생각한다’는 행위를 돈으로 치환해서 보여줬다는 것입니다.
- 일반적인 답변보다 추론을 하고 여러 단계를 거칠수록 훨씬 더 많은 비용이 소모됩니다.
- 더 깊이 생각할수록 전기료가 더 나가는 셈입니다.
☐ 이렇게 보면 역설적으로 인간의 생각은 얼마나 저렴하게 진화했는가 하는 생각이 듭니다.
- 사람의 뇌는 하루 종일 켜져 있어도 약 20W 정도만 쓴다고 합니다.
- AI 에이전트가 질문 하나 처리하는 데 쓰는 348Wh라면
- 사람의 뇌는 17시간 돌릴 수 있습니다.
- 수억 년의 진화가 만들어낸 효율이 어느 정도인지 새삼 실감하게 됩니다.
모방의 청구서
☐ 딥러닝은 사람의 생각하는 메커니즘을 모방한 것입니다.
- 유민수 교수는 이번 연구가 “그 지능을 구현하고 유지하기 위해 얼마나 많은 전력과 비용이 필요한지를 정략적으로 제시한 첫 사례”라며, AI에이전트가 보편화되는 시대에는 AI 모델과 데이터센터 인프라, 전력 인프라까지 통합적으로 공동 설계해 최척화하는 접근이 더욱 중요해질 것이라고 밝혔습니다.
☐ AI 시대의 경쟁력이 ‘더 똑똑한 AI’에서 ‘더 효율적인 AI’로 옮겨가고 있다는 진단입니다.
☐ 생각해보면 인간의 뇌도 무한한 에너지를 쓸 수 없었기에
- 제한된 자원 안에서 최대한 효율적으로 생각하는 방향으로 진화해왔습니다.
- 이제 AI도 같은 길목에 서 있는 것 아닌가 싶습니다.
- 무작정 더 크고 똑똑하게 만드는 시대를 지나
- 적은 자원으로 잘 생각하는 법을 배워야 하는 시대로 말입니다.