주로 개발자들이 질문 답변하는 사이트 스택 오버플로우에서, 최근 공개된 대화형 AI ChatGPT를 사용한 무성의한 답변이 급증하자, 임시 정책으로 사용을 금지한다는 공지가 올라왔습니다. 비슷한 AI 사용에 대한 부분도 스태프들이 논의한다고 합니다.
금지 이유는
- ChatGPT가 쓰는 내용은 정확한 내용이 아닌 경우가 많아서 질문자에게 도움이 되지 않는데
- 아주 쉽게 글을 뽑을 수 있기 때문에 정확성을 검토하지 않고 답변 숫자만 늘리기 위해 올리는 사람이 너무 많다고 합니다.
- 이런 답변이 많아질수록 재검토해야 할 양도 늘어나니 자원봉사로 운영되는 스택 오버플로우에 피해만 된다는 것이 이유입니다.
공지가 게시된 후 ChatGPT를 사용하는 것 같은 회원이 보이면 그렇게 하지 못하도록 추가적인 제재가 들어갈 수 있다고 합니다.
* 전문은 아래 링크 참조
- Temporary policy: ChatGPT is banned
https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
근데 스택오버플로우 입장에서는 빡치긴 하겠네요.
스택오버플로우 답변 리뷰하다 보면 형식도 안갖춘 것들을 걸러내는건 아주 쉬운데....ChatGPT 는 틀린 답변이더라도 우선 형식은 갖춰서 그럴싸하게 보인단 말이죠.
리뷰해야하는 것들은 "정답"을 사실상 리뷰해줄 수 없고 (그럴꺼면 걍 직접 답변을 달죠) 형식만 보게 되는데 ChatGPT 답변 정도의 형식이면 자동 통과라...
뭔가 대답을 주절이 길게 써놓았는데 자세히 보면 질문과 교묘하게 내용이 다르네요 ㅋㅋㅋ
질문은 “나 듀얼부팅 네이티브 시스템에서 같은 파이썬 코드를 윈도우랑 리눅스 에 돌렸는데, 리눅스가 훨씬 느려. 둘다 파이썬 3.10.2 를 썼어” 식인데
답변은 “님 VM 환경에서 성능이 다를 수 있고 버전이 파이썬 2.7.8+ 으로 서로 다른거 다르니 성능이 다를 수 있다...“ 라고면서 10줄 가까이 답변을 한게 있네요;;
대략적인 추론으로 분량만 채우면 커뮤니티가 붕괴되겠네요.
필요한 조치라고 생각합니다.
User: What is the meaning of 킹받아
AI: "킹받아" is a Korean slang word that means "accepting something as the king of that thing." It is used to describe something that is the best or the most impressive in its category. For example, if you have eaten a really delicious burger, you might say "이 버거 킹받아" which means "This burger is the king (of all burgers)."
그럴싸한 답을 만들어 주는게 있는가 하면 이렇게 완전히 틀린 내용을 말하는 경우가 있더군요.
아직은 재미 차원에서 접근해야지 여기서 '답'을 얻기 위한 질문을 던지면 안될 것 같다는 인상을 받았습니다.
(기술적으로 같은 기반인 코드 파일럿만 해도 코드에 대해서 이해가 있는 사람이 계속 긴장하고 제안내용을 모니터링하면서 어색한 부분을 고쳐쓴다는 전제하에서 퀄리티가 괜찮은거지 무지성으로 추천 하는 코드를 이어붙인다고 뭐가 나오지 않으니까요)
얼마전 메타의 논문생성(만 하는건 아니지만) AI가 과학계의 비판세례를 받은 것에 대해 대해 연구자는 비난과 비판은 다르다며 억울해 했지만, 저는 과학계의 반응은 당연하다고 생각합니다. 그럴싸한 실제로 있는지도 모르는 저널/연구/연구자의 이름을 인용해대며, 권위있는 거짓말을 만드는 기계가 될텐데 (지금 수준에서는)재앙이죠.
ChatGPT의 약점? 또는 맹점인 거 같습니다.
"모르는 것을 모른다고 하지 않고 오히려 무조건 뭐라 말을 한다."
어라? 쓰고보니까 대단한 인공지능인데요? 상당히 사람과 비슷한 것 같기도 ㅎㅎㅎ....
ChatGPT는 모르는 걸 모른다고 할 수 있는 선택지가 없는 걸까요? 흠...
과거 블로그, 언론기사 형태의 광고가 등장하면서 많은 사람들이 속아넘어갔듯이 말입니다.
그럴싸한 짤방 이미지 섞어대면서 답변 쓰면 어휴... 생각만해도 골치아프네요.
이렇게 생성된 컨텐츠들은 구글 검색등 모든 키워드를 오염시키는 파급력을 낼것 같습니다.
ChatGPT를 보면서 느낀건.. 아 이제 검색엔진들 어떻게하나 였거든요.
아마도 구글은 AI로 생성된 컨텐츠의 신뢰도를 보여주는 방법을 찾을테고 AI는 그것을 다시 치팅하는 방법을 찾아내겠죠. 말 그대로 폭풍전야처럼 보이네요.
알바들은 이제 저거 쓰겠네요
주사위를 던졌을때 기대값이 얼마냐란 답은 잘 내놓는데 주사위 눈이 1-6이 아닌 게 들어가거나 값이 달라지면 수십번 리젠해도 잘못된 답변만 내놓더군요.
24면체 주사위의 기대값은?
기대값은 주사위를 던져서 나올 수 있는 모든 결과 값의 평균을 나타냅니다. 일반적인 주사위는 6개의 면이 있으므로, 기대값은 (1 + 2 + 3 + 4 + 5 + 6) / 6 = 3.5 입니다. 24면체 주사위의 경우도 마찬가지로, (1 + 2 + 3 + 4 + 5 + ... + 24) / 24 = 12.5가 기대값이 됩니다.
요렇게 답변해주는데, 실패한 질문은 무엇이었나 궁금합니다.
질문을 어떻게 하느냐에 따라서도 원하는 결과를 얻을 수 있을지 여부가 달라질거 같습니다..
와~ 저런 뻘짓을.. 로직을 만들어 계산을 돌릴때도 있고 그냥 애먼 값을 불러다 바로 찍기도 하나보네요
스택오버플로우는 지금 당장 공짜 노동 논란이 계속되오고 있어서...