원래 GPT PRO와 GEMINI 3만원 짜리 쓰다가
올해부터 아래와 같이 4개로 한달 약 115만원씩 지출하면서 사용했습니다.
- GEMINI ULTRA 월 360,000원
- CLAUDE MAX 5X 월 USD $110
- CHAT GPT PRO 월 USD $200
- PERPLEXITY MAX USD $220
결론은, 법률업무를 하는 제 입장에서 GPT는 이제 그만 구독해도 되겠다는 생각이 들더군요.
처음 AI LLM의 효용과 생산성을 격하게 느끼게 해준 것으 GPT PRO 월 200달러여서
호기심에 GEMINI ULTRA, CLAUDE MAX, PERPLEXITY MAX를 사용해봤는데 아이러니하게도 GPT PRO보다 딥리서치가 빠르고 결과도 법률업무에 있어서는 훨씬 만족스러웠습니다.
참고로 저는 대형로펌 세무 12년차 파트너고 매일 대기업 세무조사 대응, 자문 등 나름 고난이도?(어쩐지 AI때문에 고객들 질문 수준도 요즘 점점 더 높아지는 느낌이 있습니다?) 업무만 매일 하는데, 정말 당일 바로 결과를 요구하는 급한 자문이나 방대한 소송기록 검토가 위 LLM 모델 도움 없었으면 정말 힘들었을 것입니다.
시대가 많이 변하고 또 앞으로 어떻게 변할지 모르겠습니다.
뒤쳐지지 않으려고 프롬프트나 AI 관련 책도 많이 사서 읽고 있습니다.
간단한 사용후기인데 정보 공유차 글 올려봅니다.
다들 행복한 주말되세요.
*첨언하면 변호사들은 사용할 수 있는 슈퍼로이어라는 것이 있고, 엘박스도 판례 등 검색에 자주 활용됩니다. 텍스트로 정보를 전달하거나 인간의 법리적 '판단'을 돈을 받고 팔고, 텍스트로 상대방과 소송에서 주장 가부를 다투는 것이 사실상 변호사 업의 본질인데, LARGE LANGUAGE MODEL로 인해서 업무 방식 자체가 급격히 변하고 있다고 격하게 느끼는 요즘입니다.
*그래서 무엇이 좋았냐는 댓글이 있어서, 저는 GEMINI DEEP RESEARCH, PERPLEXITY COMPUTER MODE? 이 2개가 제일 좋았습니다. 개별 작업마다 GPT를 제외한 3개 모두 너무 만족스러웠습니다. 가령 세액 시나리오 돌린 엑셀자료를 넣어서 세액 계산 오류를 잡는 것은 다 놓친 것을 GEMINI DEEPTHINK만 잡아낸적도 있고, 경쟁사 최근 몇년 세미나 주제 및 발표자, 장소 등 자료 엑셀정리는 PERPLEXITY COMPUTER MODE가 그냥 압도적이었습니다. 환각 문제는 발생하므로 프롬프트를 잘 짜야 합니다. 그리고 최종 결과물을 반드시 자기가 아는 법리에 비추어 검토 및 관련 법령 및 판례 원문 확인해야 합니다. 여전히. 그래도 이슈를 스팟하고 논리를 쥐어짜는 시간을 절약해주고 여러 LLM마다 법리 구상이 달라서 여러개를 쓰면 좋은 이점이 확실히 있습니다.
그래서 넷중 뭐가 가장 좋다는건지는 간단하지 않고 애매모호하네요...
제미나이 프로 월 36만원짜리가 좋다는건가요? 무료버전이나 3만원짜리 보다?
전에는 환각방지를 위해 매번 법룰 원문을 업로드해야했다면, 요즘엔 그냥 자체 검색에 맡겨도 쓸만한 결과를 나오는것 갘습니다.
코덱스와 클로드코드 클로드 코워크 오픈클로 등등
써보시고 파이프라인 하네스 만드시면 아마 일감을 더 줄이실수 있을 겁니다
어려워마시고 코덱스랑 클로드코드 깔아서 챗봇처럼 써보세요ㅎㅎ
제미나이 말 들으면 협상보다는 소송으로 가기 딱 좋은 모델
아무래도 딥씽크, 딥리서치 위주로 사용하셔서 하네스를 따로 신경써서 사용하는 것과의 차이점이 별로 안느껴지실거 같아요. 지금 에이전트 AI가 핫하지만 결국은 에이전트도 설정에 신경안쓰게 만드는 방향으로 가게 될가 같습니다.
글보고 그렇지 않아도 어제 자문들어온 내용 클로드랑 제미나이 넣고 돌려봤는데요...여전히 중언부언이고..Large Language란 말이 실감나게 해주는 풍부한 양(?)의 문장을 보여줍니다.
회사가 신용도이슈로 차입이 어려워지자 최대주주이자 대표이사가 개인신용으로 차입한 금원을 회사에 입금(대여?)해주고 대표이사의 이자상당액을 대표이사에게 송금하고 대표이사는 이자를 납입하고 있는 상황에서 과세관청이 회사의 비영업대금원천징수불이행을 문제삼은 상황에 대해 프롬프트를 작성해서 나온 답변이 그렇더라구요...
말그대로 Large Language.....학습이라기 보다는 이런 류의 질문에 대한 답변 template이 있나 싶은 느낌이....
관련 답변내용중의 하나가
"지급이자를 "금융소득 종합과세" 시 필요경비로 공제받을 수 없더라도, 과세표준 산정시 대여원금의 조달비용을 별도 소명하여 실질적 과세부담 최소화"라고 했습니다.
제미니의 deep think, deep research같은 기능이 이슈가 안되는 이유도 에이전트때문인 것 같습니다.
이런건 그냥 소비자들이 간편하게 조사하고자 할때 쓰는 기능이지, 프로라면 에이전트 써야 한다고 봅니다.
제가 쓰는건 chatgpt pro랑 gemini ultra인데, 제미니는 에이전트 툴이 딱히 없어서 IDE로 그냥 돌리는데요..
법쪽은 전혀 모르지만, 제가 방대한 지식을 요약해서 대답해주는 knowledge base를 만드는 방법이,
인터넷에서 긁은거랑 pdf로 받은걸 markdown문서로 만든 뒤 종류별로 폴더를 만들어서 보관하고,
각 폴더별로 어떻게 볼것인지 요약본을 만들고.. 또 인덱싱하는 파이선 코드를 만들어둡니다.
메인 에이전트는 저의 질문을 받고 대답합니다.
서브에이전트를 통해 수집하고, summary해서 저에게 대답하는 방식이구요.
서브에이전트는 파이선코드를 실행해서 문서들을 keyword서치해서 가져오거나,
각 마크다운 문서를 직접 semantic search(RAG)합니다.
검색이라는게 워낙 토큰 잡아 먹는 행위라서 꼭 서브에이전트로 돌려요.
그리고 어떤 주제에 대한 정리가 끝나면,
그 채팅 내용을 다시 간략하게 요약해서 저장소로 다시 넣습니다.
제 생각과 AI의 결론이 한데 뭉쳐진.. 새로운 knowledge니까요.
..저도 개발이랑은 거리가 엄청 멀고, 그냥 반쯤은 취미 도구로 사용 중이기 때문에
제가 쓰는 방법보다도 훨씬 더 세련된 방법이 많을 겁니다.
하지만 확실한건 AI를 챗봇으로만 돌리는건,
45인승 버스를 사서 혼자만 타고 다니는거랑 똑같습니다.
약 400억 규모인데, IT쪽이라 대부분의 계약서 내용은 익숙합니다.
그런 상황에서 구글 제미니 LM으로 검토를 돌렸는데, 제가 생각한 독소조항들을 정확하게 짚어내고, 심지어는 생각치도 못한 부분들을 알려줘서 정말 유용하다고 느꼈습니다. 해당 IT 분야에서의 용어나 방식을 완전히 이해하고 있어서요.
그 전에는 변호사분들께 각종 용어들 설명드리느라 그 시간이 꽤 들었었거든요.
물론 IT 관련 변호사 분이었지만, 클라우드에, 클라우드 특유의 환불 규정, 장애 책정 방식 등에 대한 설명과 이해는 또 다른 부분이더라고요.
계약서는 최종 검토를 한번은 맡겨야겠지만, LLM이 초급변호사급 또는 그 이상의 일을 한다는 느낌을 강하게 받았고,
업을 이해하고 있는 사람이 LLM, 이 경우는 노트북 LM을 쓰니 시간과 노력을 엄청나게 절약시켜 줄 수 있다는 것을 알았습니다.
(제미나이 노트북 LM 꼭 써보세요! 그리고 클로드 코워크도 한번 보시길 바랍니다.)
GPT, Gemini, Claude를 모두 pro/max등 비싼 요금제로 펑펑 사용하고 있습니다.
헌데 본업과 상관없이..
민사 소송때문에 개인적으로 같이 활용하고 있는데요 ㅠㅠ..
우선 이런 LLM 덕분에 변호사는 쓰지 않고 나홀로 소송으로 진행하고 있습니다.
결국 서면의 완성은 제가 해야되다보니 제 개인시간도 갈아넣으면서 진행하는 중이긴한데,
어쨌든 덕분에 굳이 변호사 비용을 들이지 않아도 되고,
한정된 시간 변호사와 대화하는게 아니라,
시도때도없이, 자주, 오래 LLM과 대화하며 입장을 고쳐나가다보니
저 개인의 입장, 상황, 증거자료등 살펴보고 고민하고, 충분한 시간을 들여서 논리를 세우고, 다듬을 수 있어서 좋더라고요
다만 제가 법률 전문가는 아니다보니
LLM간에 서로 입장이 갈라질 경우 누가 더 옳은 소리를 하는 것인지를 모르겠다는 부분이 최대 단점이더라고요
혹시 LLM을 적극적으로 활용하며 일하시는 법률 전문가의 입장에서 봤을 때,
셋이 의견이 서로 갈라지는 순간에
그래도 대한민국 법원/판사의 입장에 좀더 받아들여질만한 소리를 하는게 어느쪽이던가요?
그리고 그 근거를 내 자신이 이해한게 맞는지 LLM에게 확인도 해야하고요.
그냥 얘가 맞겠지하고 가버리면 환각 등으로 틀린 부분이 생길수 있기 때문에,
LLM의 답변을 그냥 준용하는게 아니라, LLM의 논리에서 근거를 받아와서 내 학습을 빠르게 한다고 보는 편이 맞을 수 있습니다.
제가 내린 결론은, LLM의 답변을 그냥 준용하면 안됩니다. 내가 알고 가이드를 줘야해요. 모르는 상태면 LLM을 통해서 빨리 익혀야하고, 빨리 배울 수 있습니다.
헌데 제가 궁금한 부분이랑 정확히 일치하는 상황 설명은 아닌지라...
제가 궁금한 부분을 다시 한번 설명해보려합니다.
일단 말씀 주신 부분은 잘 알겠습니다.
저도 제가 전문성을 가지고 있는 분야인, IT쪽에 대해서 설계나, 아이디어 수렴, 코딩등을 시켰다거나 했다면 어디가 잘못 되었는지 제가 판단이 가능하고요..
또 한쪽만 맹신하고 있는게 아니라, 여러 LLM을 쓰면서 서로에게 의견 조율도 해보고 있습니다.
헌데,
'GPT랑 Claude는 이렇게 설명하는 Gemini 너는 왜 이렇게 혼자 의견이 다른거야..?'
하면 Gemini가 설득이 되어 '그건 GPT가 옳습니다' 할 때도 있고, 혹은 다른 의견을 주기도 합니다.
'이건 G랑 C의 말이 맞기는 한데, '이러이러이러러런' 방향에서 살펴볼 필요도 있다. 그걸 고려하면 내 의견이 더 맞다고 할 수 있다'
라며 저를 더 설득하려 듭니다.
이때, 이 의견이 제가 잘 아는.. 혹은 어느정도라도 알고 스스로 의견을 낼만한 분야의 질문이었으면
'에헤이 그렇게까지 고려할 필요는 없지..' 생각하며 Gemini 의견을 무시하거나,
'와.. 이건 생각도 못했던건데..? 참신하다..' 생각하며 받아들이기도 하죠
혹은 근거 자료를 조금 찾아보거나, 제가 잠깐 조금 더 찾아보고 공부해서 스스로 판단을 내릴 수가 있죠
그치만 법이라는 분야는 제가 지금 잘 아는 부분도 아니고,
그렇다고 당장 2주 뒤까지 준비서면 제출해야되는데, 이제와서 민법을 공부하고 있기도 어렵고..
일반인인 저의 입장에서 양쪽의 입장을 들었을때는 둘다 말이 되는 방향같고 그럴듯해서 한쪽을 쉽게 선택도 못하겠는데 (즉, GPT도 Gemini도 저를 설득하는데는 성공했는데)
심지어 의견이 완전 상반되는 경우가 있습니다.
(민간인인 저의 입장에서, 저의 억울함을 설명하기위해... A라는 일이 있어서 저는 정말 억울합니다..라 적으면,
한쪽은 그건 판사의 입장에선 아무 의미도 없고, 오히려 나를 나쁜 사람으로 볼테니까 A는 그냥 빼버리는게 옳다
vs
다른 한쪽은 그 설명은 빼지 않고 넣는게 좋다. 하지만 B라는 전제조건이 필요하니까 오히려 B라는 내용까지 추가하면서 A를 강조해라)
이게 결과적으로 법원의 판사라는 사람을 설득해야되는 문서인데,
판사는 일반 상식, 억울함, 누가더 나쁜놈인지 같은것은 중요하지 않고, 어느쪽이 더 법리에 맞는지에 따라 판단한다고하고.. 저는 그런 판사의 입장에서는 생각해볼 지식이나 경험이 부족하고, 단시간에 늘릴수도 없죠..
그래서 경험상, GPT/Gemini/Claude등이 서로 다른 의견을 줄 때에,
그게 대한민국의 법원, 대한민국의 법, 그리고 그걸 해석하는 판사의 입장에서 어느쪽이 더 설득력이 있을지를 물은것입니다.
(1줄 요약: 어떻게 하면 AI를 더 잘 활용하는지를 물은게 아니라, 대한민국 법 해석/설득 이라는 능력치가 제일 높은 모델이 뭐냐는 겁니다)
LLM 쓰면서 느끼는 점은, "더 맞는" LLM을 찾기가 어려운 것 같습니다.
이유는 1) LLM별로 학습된 스타일이 다르고, 2) 질문하는 사람의 방식 등 여러가지 변수가 있습니다.
따라서 내가 잘 모르는 영역에서 더 잘하는 LLM을 찾는다는 것은 -특히 다른 사람의 조언을 들어서- 위험도가 높아 보입니다.
만약 중요한 건이라면, 저라면 LLM에서 나온 양쪽 의견을 들고 변호사를 찾아가 볼 것 같습니다.
물론 그 정도로 중요한 건이 아니라면 위험을 감수하고 제가 선택할 것 같고요.
결론은, LLM이 아무리 잘하더라도 최종 결정은 사람이 하는 것이지, 아직 LLM에게 맡기기에는 불확실성이 존재합니다.
물론 미래에는 최종 결정과 그에 대한 실행도 AI가 하겠지만 아직은 아닌것으로 보여요.
항상, 마무리는 결국 변호사가 지어야되나.. 라는 생각을 하고 있었기도 합니다 ㅠㅠ
의견 감사드립니다 ㅠㅠ!!!
지나가다 개인적인 생각을 끄적여봅니다
질문한 분야에 대해
나 자신이 '전문가'가 아니라면
판단 도구로서 사용하는 것은 아직 '위험하다'입니다
핵심은 현재의 LLM기능으론 '취사 선택'을 할 수 있어야하고
최종 결정은 '사용자'가 반드시 해야합니다
결국 확신이 있어야 하죠
전문 분야는 답변 내용 중 뭐가 옳고 그른지 구별할 수 있겠으나
답을 얻고 '활용'하고자 하는 분야는 내가 문외한이면
너무 위험이 큽니다
특히 그것이 '재판'이나 의료 수술과 관련된 부분이라면 더더욱요
아직까진 명확한 '한계'가 아닐까 싶습니다
근데 이 또한 시간 문제 아닐까 싶습니다
기술의 발전 속도가 너무 빠르니까요 ㅎㅎ
엘박스인가 ?