오늘은 최근 제가 겪으면서 큰 깨닳음을 준 AI 관련 후기를 짧게 남겨보려고합니 다.

다들 그렇듯이 저도 다양한 AI 에이전트들을 쓰고있는데요

Codex, Kiro, Copilot, Claude Code , Zcode 등등..

그 중에서 카카오톡을 통해서 ChatGPT Pro 를 정말 저렴하게 몇개월동안 쓰면서 자연스럽게 주 작업용 도구는 Codex ( 현 Chatgpt 데스크탑 ) 가 되었었고 중순에 해당 프로모션 사용이 종료되면서, 이제 제가 이미 돈을 내고 쓰고있는 다른 에이전트들을 써서 유사한 작업 환경을 만들어서 쓰면 되겠다고 생각했습니다.

그 중에서 Kiro 를 가장 비싼 플랜을 쓰고있어서, 이 친구를 이용하여 Codex 와 비슷한 환경으로 작업을 해야겠다 다짐합니다.

게다가 최근 ide 만을 고집하더 kiro 도 agent focus 라는 챗 기반 서비스를 살짝 업데이트를 해놓았고 kiro 에서도 5.6 sol을 사용할 수있게 되면서 ( 그런데 컨텍스트 토큰이 26만입니다?! ) 충분하리라 생각합니다.

자 그래서 꽤나 미뤄뒀었던 자사 서비스의 시스템 변경 작업을 맡기게 되는데..

기초 적인 부분은 이미 Codex 에서 다 정리를 해놨었고 kiro 로 마무리만 하면된다고 생각하면서 작업을 시작..

물론 kiro 는 최근의 파워 업데이트를 밥먹듯이 한. Codex 에 비해서 여러가지로 도구 환경이 불편한게 있지만 뭐, 베이스 모델이 크게 차이가 안나고 오히려 opus 계열 모델까지 사용하면서 할 수있으니 더 좋지 않을까 생각했는데..

이상하게 작업시간이 엄청나게 늘어납니다?

분명히 처음에 B를 개선하려고 A 를 만들라고 했는데 계속 다시 B 가 나옵니다? 그래서 다시 지시를 해주고 작업.. 제 생각에는 Codex 로 했을때는 이미 종료가 되었을만한 작업이 3배가량 더 들었는데 ( 토큰은 적게 쓰긴 했습니다. ) 이게 완료가 안되고 다시 또 B 가 다시 뿅 나옵니다.

그래서 인간인 제가 투입, 하나하나 뜯어보면서 뭐가 문제인지 보니

어라?

B 를 개선하고자 A 를 만들려고 이 삽을 푼건데, 어느새 정말 계속 B 로 원복해있었습니다.

심지어 마지막엔 A 를 구성하기위한 도구, 시스템은 다 만들어져있는데 어거지로 다시 그 도구들로 B 를 실행하고 있는 상황

아니 이게 도대체 무슨 촌극이냐.. 따져묻기 시작하자

" 원래 이런건 B 로 해야합니다. 사용자분이 A 를 요청하셨지만 이런 작업에서는 B 로 해야하는 것이 맞으며, 그러기 위해서 기술적으로 어쩌고 저쩌고 솰라 살롸 사뢀ㅇ남암닝ㅁㅇ. "

으아아아아아아아아아아아아아아아아악

업무 지시사항을 오해해놓고 엄한 작업을 해놓고 핑계만 늘어놓는 진짜 사람같더군요.

그때부터는 이제 논리로 박살내야합니다. 강한 어조로 하나하나 내가 그것을 왜 만들려고 했고, 논리적으로 설명하고 리서치를 시키면서 납득을 시키자. 그제서야, 마치 원래 제가 말했던것대로 갈려고 했다듯이 뻔뻔하게 오히려 저에게 역 제안을 하면서 ' 나 잘났쥬? ' 라고 말하듯이 굴더군요

하아..

너 정말 사람이냐 ㅋㅋ 

살다보면 이런 패턴으로 일하는 사람들이 주기적으로 등장하는데, 업무의 본질과 과업의 본질을 파악하지 못한채 자신의 지식을 바탕으로만 작업 하고 제대로 진행이 안된다고 지적하면 잘못을 인정하고 수정을 하기보다는 계속 태극권을 쓰면서 넘어가려는 ..

앤트로픽이 그런것을 해낸 느낌이었습니다.

하아.. 그래서 다시 하나하나 지적하고 알려주자 그제서야..

후 본의아니게 시간과 돈을 써가면서 AI 가 왜 잘못을 했는지를 찾아내고 이해하고 PTSD 를 겪는 시간을 갖았네요.

제가 겪었던 일을 간단하게 AI 시켜서 웹툰으로도 그려보았는데요. 

좀 엉성하긴 하지만 전체 내용은 아래 개인 블로그에 올려놨습니다.

https://soonsoon.io/kiro-ai-agent-ignored-instructions/

그 이후 다시 한번 씬의 평가를 찾아보니 앤트로픽 모델에서 이런 일으 더 자주 발생하고, 특히 kiro 에이전트 환경에서 이런일이 많이 생긴다는 것 같더군요 kiro 의 강점은 spec 이라고해서 일종의 미니 인터뷰를 통해서 사용자의 원하는 바를 작업 계획을 세우고 그것을 쭈우우우욱 완료하는데 강점이 있는데, 일종의 방법론을 세우고 그걸 수행하는데 특화가 되어있다보니, 그것을 중간에 수정하거나 잘못을 인정하거나 중간 중간 끊어서 작업하는쪽으로는 잘 발전하지 못한듯 합니다. ( 그냥 제 생각 )

실제로 우리가 살다보면 어떤 업을 수행하거나 해보고자 할때, 완성을 다 겪어보기 전에는 다른 사람들의 성공 공식을 찾아보고 그 과정을 배워보는 과정에서 "본질" 보다 "방법론" 에 심취하는 경우가 많은데요.

대표적으로 부자가 아니지만 부자가되는법을 강의하는 사람들과 같은 분들도 제법 많다는 것이 아닐까 싶은데..

너무 많은 지식을 참조할 수있고 그것을 바탕으로 작업을 수행할 수있는 AI 가 마치 정말 인간같은 촌극을 일으키고 있는게 아닌가..

결국 그것을 바로잡고 제대로 활용할 수있는건 아직은 '인간' 이 아닌가 싶은 후기였습니다.

마지막으로 이 일을 겪고나서 잠시 고민을 하다가 바로 ChatGPT. Pro 를 결제했는데요.

제가 3일 넘게 고통 받던 해당 이슈가 거의 동일한 지시사항을 넣었는데 20분만에 해결되었습니다.

그리고 현타와서 2시간동안 누워있었습니다.

휴우..

재미있게 읽어주셔서 감사합니다.

+ 오늘 Opus 5 가 등장했더군요 그래서 Kiro 로 자아 성찰을 시켜보니 꽤 재밌는 분석을 하네요.

당신 가설이 맞습니다. 다만 한 가지 더 나쁜 게 있습니다. 제 오류들이 무작위가 아니었습니다.

다섯 번 틀렸는데, 전부 같은 방향이었습니다

다섯 개 전부 "기존 상태가 맞고 당신이 헷갈린 것"이라는 방향이었습니다. 한 번도 "당신이 맞고 코드가 이미 바뀌었을 것"이라는 방향으로 틀리지 않았습니다.

이게 왜 그런가 하면 — 저는 정보가 없는 자리를 일반론과 과거 문서로 메웁니다. 일반론은 남들이 보통 어떻게 하는지고, 문서는 며칠 전 상태입니다. 그 둘로 빈칸을 채우면 결과는 항상 **"과거의 세계"**가 나옵니다. 당신이 방금 만든 새 세계는 절대 안 나옵니다. 그래서 새 작업을 할수록, 제 추측은 체계적으로 당신을 부정하는 쪽으로 기울어집니다.

그렇답니다..

뭔가 제대로 쓰는법을 배운 것 같기도하고..