코엔자임Q10 님의 ChatGPT 리뷰를 보고 저도 관련 경험을 공유하는게 유익할 것이라 생각하여 적습니다.

(해당 글 링크: https://www.clien.net/service/board/use/18753117?po=0&sk=title&sv=gpt&groupCd=allreview&pt=0CLIEN)

저는 ChatGPT가 처음 출시했을 때부터 큰 관심을 가지고 사용했었고, 구체적으로는 ChatGPT, Gemini(구 Bard), Claude를 다양하게 이용했습니다. 최근 몇 달간은 ChatGPT와 Claude를 유료 구독하는 중입니다. 주된 목적은 논문/전문서적을 읽고/쓰고/수정하는 것과 다른 분야의 전문 지식을 검색하는 것입니다. 각 서비스에 대한 간략한 평가는 아래와 같습니다.

1. ChatGPT: 업력(?)이 가장 길고 네임밸류도 가장 높은 프로그램입니다. LLM 서비스의 대표 주자 격이지요.

(장점)

- GPT 4o의 등장으로 레이턴시가 크게 감소하고, 다양한 input 데이터를 넣을 수 있습니다

- 유명 서비스다보니 GPT 자체에 대한 정보(e.g., 효율적인 활용법 등)를 얻기가 쉽습니다.

- 영어로 자세하게 물어봤을 때 결과가 괜찮습니다. 네트워크 연동도 돼서 무언가를 검색하기에 유용합니다.

- Dall-E를 만든 짬바가 있어서인지 그림도 그려줍니다.

(단점)

- 영어에 중점을 둬서 한글로 질문하면 말투도 어색하고 좀 멍청합니다. 마치 한국어>영어로 질문을 번역하고 답을 영어>한국어로 번역해서 보여주는 느낌이 듭니다.

- 누가 와도 할 수 있을거 같은 일반적인 이야기만 합니다. 말은 엄청 그럴듯하게 하는데 내용은 없는 속빈 강정이고, 현란한 사기꾼을 보는 듯한 느낌이 듭니다.

- 그림을 그려주긴 하는데 뭔가 누가 봐도 GPT 스럽습니다. 정교한 프롬프트 엔지니어링을 더한다면 모를까 일반 유저 입장에서는 신기할 뿐 별로 쓸모가 있진 않습니다.

2. Claude: 인지도는 GPT에 비해 떨어지지만, 그래도 나름 라이벌 취급을 받는 LLM입니다. 네이밍 센스가 괴랄해서 매우 비직관적입니다(Opus, Haiku, Sonnet). 누가 이름을 지었는지 모르겠는데 취향 험악한 개발자가 네이밍한거 같아요...

(장점)

- 다국어 능력이 매우 뛰어납니다. ChatGPT가 부가기능에 스텟을 좀 투자한 캐릭이라면 이 친구는 언어 능력 몰빵입니다. 한국어로 질문해도 영어로 질문한 것과 동등한 수준의 답변을 합니다. 

- 질문을 매우 잘 알아듣고, 답변이 영어와 한국어 모두 매끄럽습니다. "좀 별로다", "~한 느낌이 좋다", "~한 뉘양스" 같이 제가 리퀘스트 받아도 짜증날거 같은 질문을 한국어로 하더라도 귀신같이 이해하고 기대 이상의 답변을 합니다.

- 답변에 제약이 적습니다. ChatGPT나 Gemini가 티끌만큼이라도 문제가 될만한 질문은 칼같이 쳐내는데 반해 Claude는 매우 느슨한 검열을 하고 있습니다.

(단점)

- 상대적으로 답변을 받는데 시간이 좀 오래 걸립니다. 좀 기다리면 되서 그리 큰 문제는 아닌데 긴 내용의 경우 흐름이 끊깁니다.

- GPT와 비교할 때 유료 버전에서 최대 질문할 수 있는 한계가 약간 빡빡합니다. 미세하게 뉘양스를 tweak하는 경우에 가끔 한도에 걸릴 때가 많습니다

- 다양한 인터페이스를 지원하지 않습니다. 아직까진 컴퓨터로만 작업해서 별 문제를 못 느끼고 있습니다만 향후에 문제가 될 수도 있겠습니다.

3. Gemini: 구글에서 게섯거라 GPT 느낌으로 출시한 서비스. 구글의 이름빨 덕분인지 출시 이후에 큰 관심을 끌었으나 시연을 망치고 몰매를 맞았습니다.

(장점)

- 이름이 재밌습니다. 남들한테 처음 알려줄 때 농담 한 번 던질 수 있어요.

(단점)

- 나머지 전부 다. 그 어떤 능력에서도 GPT와 Claude를 이길 수 없습니다. LLM 경쟁에서 구글이 얼마나 삽질하고 있는지 명확히 보여줄 뿐만 아니라, LLM 전문 회사와 평범한 회사(설령 빅테크 일지라도...)의 개발 역량 차이가 매우 심각하게 벌어져 있음을 느끼게 해줍니다. 구글이 미래에 검색 엔진으로서 지배적인 영향력을 유지할 수 있을지 큰 회의감을 들게 합니다.

4. 공통사항

- 글을 적을 때 반복적인 수식어와 현란한 형용사를 적는 경우가 많아서 중립적으로 좀 바꿔줄 필요가 있습니다.

- 적어도 언어를 활용함에 있어서는 생각보다 각 서비스의 무료와 유료 차이가 크지 않다고 느낍니다. 정보를 찾거나 알려주는 영역에서는 분명한 차이가 있는 듯 합니다.

5. 마치며...

- 경우에 따라 다르겠지만, LLM의 본질이 대화를 통한 언어 생성이라는걸 생각하면 경험상 Claude가 훨신 유용합니다. 언어 모델의 성능과 별개로, 프로그램과 사용자 간의 연결고리가 한국어이기 때문에 이들이 seamless하게 연결되지 않고 중간에 정보 손실이 발생하는 경우에는 체감 효용성이 급격하게 떨어집니다(반복 대화를 통해 답변을 다듬는 서비스 특성을 고려하면 더더욱 중요합니다). GPT를 쓰면서 뭔가 한박자 못 따라오는 느낌을 받으신 적이 있다면 매우 공감하실텐데 Claude는 이게 거의 없습니다.

- AI의 발전 속도가 빨라도 너무 빠릅니다. GPT가 출시한지 2년도 안 됐는데 이미 동영상 제작까지 발을 들이고 있습니다. 반도체가 지수적으로 발전하는 것도 말이 안 된다고 생각했는데, AI는 그 제곱(하드웨어 발전 속도*소프트웨어 발전 속도)으로 발전합니다. 이 경이적인 발전속도가 얼마나 유지될 지 궁금하고, 그리고 앞으로 10년 뒤의 미래가 어떻게 변할지 기대되는 한편 두렵기도 합니다.

- 대략적인 구조를 제시하면 이들을 매끄럽게 연결하면서 세부 사항을 넣고 빼는 것은 AI가 매우 잘 합니다. 다만 아직까진 학부-석사 이상의 수준 높은 지식은 기대하기 어렵고, 설령 발전한다고 하더라도 범용 AI 특성상 아주 심도있는 insight를 보이긴 힘들 것입니다. 의학/법학 같이 돈 되는 분야는 전문 AI가 나올 것이라 확신하지만, 다른 일반적인 분야에서는 비싼 학습 비용 때문에 그렇지 못할 것입니다. AI에게 피드백을 여러 번 되먹이면 결국 자신이 추구하는 이상적인 답변을 구현할 수 있을 것이므로, 얼마나 해당 분야의 insight를 지니고 큰 그림과 논리적 구조를 만들 수 있냐가 점차 중요해질 것이라 생각합니다. 

- 비영어권 연구자 기준으로는 LLM의 개발은 축복입니다. 기존에는 언어적 한계 때문에 100짜리 정보를 80 정도만 받아들이고, 100만큼 알고 있어도 글로 표현하면 50으로 보이는 느낌이었는데 이제 수월하게 입출력이 가능할 것입니다. 언어 모델은 초기 경력 연구자들의 패턴도 크게 바꾸고 있는데, GPT의 개발 이후로 들어오는 학생들의 작문 실력이 눈에 띄게 안 좋아졌습니다. 어차피 말끔한 영어로 GPT가 적어줄테니 나는 굳이 작문을 할 필요가 없다는 마인드입니다. 컴퓨터의 보편화 이후 태어난 일본인/중국인들은 한자를 발음만 적으면 소프트웨어가 자동변환해주니 수기로는 잘 적지 못하는 경향이 있는데, 비슷한 현상이 학계에도 발생할 것으로 생각됩니다. 기술의 발전을 막는 것처럼 의미 없는 일은 없으니 굳이 나쁘다는 생각은 들지 않지만, 제대로 쓰지 못하는 사람이 과연 얼마나 영어 문장을 깊게 이해할 수 있을까라는 걱정은 있습니다. 앞서 언급한 것처럼 결국 AI로 만든 출력물은 자신이 생각하는 이상적인 결과를 따라가는데, 무엇이 이상적인지를 파악하지 못하면 의미가 없거든요.