ChatGPT 가 많은 관심을 받고 있고 많은 분들이 사용하고 계시는데 그 유용성은 제가 더 말 할 필요가 없을 것 같고
저는 ChatGPT 를 사용하는데 있어 매우 조심해야 할 경우를 예를 들어보겠습니다.
좀 전문적인 내용이고 복잡할 수도 있어 맨 밑에 있는 결론을 여기 먼저 적어 보면
제 질문에 대해 ChatGPT 가 제시한 답변이 기존 알려진 사실과 완전히 반대이고
ChatGPT 가 근거로 제시한 논문의 제목, 저널 정보, DOI 모두 존재하지 않는 거짓입니다.
ChatGPT 가 제시한 정보와 근거가 너무 구체적이라 사실이라고 믿기 쉽지만 실제로는 거짓 정보 일 수 있고
ChatGPT 를 사용한 사람이 궁극적으로 그 정보에 대한 책임이 있을 터이니 이런 점을 고려해서 사용하시면 좋을 것 같습니다.
그러면 실제 예를 들어보겠습니다.
특정 단백질과 질병에 관한 연구는 질병의 치료법을 찾거나 원인을 이해하기 위해 중요합니다.
그래서 한 가지 예를 들어 ChatGPT 에게 간암이 발병할 경우 그 수치가 (발현이라는 용어를 일반적으로 사용합니다.) 현저히 감소하는 PEMT 라는 단백질과 간암의 관계를 ChatGPT 에게 물어 봤습니다.
영어로 물었고 번역은 필요한 부분만 제가 했습니다.
우선 실제 대화내용을 캡쳐해서 보여드리고 아래 주요 부분을 발췌해서 필요한 설명과 번역을 붙였습니다.
===============
=내 질문: how is PEMT related to liver cancer? (PEMT 가 어떻게 간암과 연관이 있지?)
=ChatGPT: PEMT (phosphatidylethanolamine N-methyltransferase) is an enzyme that plays an important role in the =production of phosphatidylcholine, a type of phospholipid that is a major component of cell membranes.
==> (여기까지는 PEMT 에 대해 정확하게 정의 합니다.)
=Studies have suggested that PEMT may be involved in the development of liver cancer.
=이 아래에서 부터 기존에 잘 알려진 내용과 완전히 반대되는 내용을 기술해서 깜짝 놀랐습니다.
="PEMT expression has been found to be increased in liver cancer cells compared to normal liver cells. This =increased expression of PEMT may contribute to the growth and proliferation of liver cancer cells by increasing =the production of phosphatidylcholine and altering the composition of the cell membrane.
=해석: PEMT 의 발현은 정상세포에 비해서 암세포에서 높아지는것이 보고 되었다. 이렇게 PEMT 발현이 높아지는것이 암세포의 분열에 기여하는것 같고 그것은 포스파티딜 콜린의 생성을 증가 시키고 세포막의 성분을 변화시키는 것에 기인한다.
==============
요약하면 기존에 간암에서는 PEMT 발현이 매우 "낮아지는것이" 잘 알려져 있는데 ChatGPT는 PEMT 발현이 "증가한다"라고 반대로 설명하고 있고 그 기전에 대해서도 "포스파티딜 콜린의 생성을 증가 시키고 세포막의 성분을 변화" 라고 상당히 구체적으로 기술 합니다.
그래서 좀 더 궁금해서 그러면 ChatGPT 의 대답의 근거가 되는 참고문헌 (출처)을 달라고 해봤습니다.
===============
=내 질문 : give me literature reference for your answer "PEMT expression has been found to be increased in liver cancer cells compared to normal liver cells." (그러면 네가 이야기한 "PEMT 발현이 간암에서 정상세포에서 보다 증가 되어 있다"고 한 참고 문헌을 알려줘)
=ChatGPT: Sure, here is a reference to support my previous answer:
=(아래에 구체적인 참고 문헌을 DOI 와 함께 제시 합니다.)
=Liu, H., Li, M., Li, Y., Lei, H., Zhang, Q., Li, C., Li, X., Liu, L., Liu, J., & Li, X. (2019). PEMT is a prognostic marker and contributes to growth and metastasis of hepatocellular carcinoma. Journal of Cellular and Molecular Medicine, 23(11), 7487-7497. doi: 10.1111/jcmm.14508
===============
여기서 정말 뻔뻔하다고 생각되는 것은
1) 위의 논문 제목 "PEMT is a prognostic marker and contributes to growth and metastasis of hepatocellular carcinoma" 이 실제로 존재하지 않는다는것과
2) 논문의 인용정보인 Journal of Cellular and Molecular Medicine, 23(11), 7487-7497
가 실제 존재 하지 않는다는것 (해당 저널의 23권 11호에 7487 로 시작되는 페이지 자체가 없으며 7474-7489 페이지에 걸친 논문이 다른 제목으로 존재합니다..)
3) 심지어는 DOI 10.1111/jcmm.14508 이것도 존재하지 않습니다.
요약하면 논문의 제목, 저널 정보, DOI 모두 거짓입니다.
https://www.clien.net/service/board/park/17787514CLIEN
AI용 구라제거기가 필요하겠네요..;;
마지막에있는 논문 제목 검색하니까 교묘히 짜집기 했네요.
논문 제목에선 단어하나 바꿨어요.
원래 논문은
TPX2 is a prognostic marker and contributes to growth and metastasis of human hepatocellular carcinoma
https://www.mdpi.com/1422-0067/15/10/18148
그냥 잘못된 정보를 보여주는것 같은데요?
사실상은 사실인지 거짓인지 알지 못하는 거잖아요.
개발자들은 아마도 이런 버그 알고 있겠지만 고치게 되면 논문외에 다른 결과물도 영향 받으면서 그럴싸한 답이 줄어들었을 겁니다..
당장의 인기를 위해서 버그를 수정하지 않았다면 뻔뻔하다고도 할 수 있을것 같습니다.
AI가 왜 그렇게 학습을 했는지 개발자들도 이해하지 못한답니다. 학습할 수 있는 신경망을 만들었을 뿐 이게 정답이라고 가르쳐준게 아니라서...
예 논문 오류 났다고 전체를 바꾸기는 어렵겠죠. 이만큼이라도 결과물이 나온것은 훌륭하고요
하지만 논문이 이런식인것을 알았다면 언젠가는 정리해서 빨간 화면으로 경고는 해줘야 한다고 봅니다. 소송의 나라 미국에서 당하지 않으려면요.
프로그래밍 언어의 존재하지 않는 스펙을 실제 존재하는 것처럼 있다고 아주 거짓부렁을 자연스럽게 치는거 보고
잘 걸러 들어야겠다 싶더군요. 도움이 되는 부분은 분명 존재하긴 합니다만..
오히려 GPT는 Generate... 창작에 더 유능해 보입니다
좋은 정보 감사합니다.
전체적으로는 매우 그럴듯?합니다. 하지만 각각의 디테일을 찾아보면 있을 수 없는것들이 눈에 보이죠.
언어모델이라서요.. 정답과 진실을 찾아 말하도록 설계된것이 아니고 가장 그럴듯한 언어들을 조합해서 가장 그럴싸하게 표시해주는 계산을 할뿐이라고합니다. 잰 지가 뭔 말을 하는지도 모르고 이해도못합니다.
워낙 그럴싸하게 말을 지어내기때문에 인간이 ai라고 착각을 할정도인데 이 기능이 필요한 분야가 참많죠 의외로..
완전한 정보를 준 뒤 해석하게 하는 용도로는 쓸만하구요. 특히 4.0에서는 그런 부분은 아주 훌륭합니다.
특정 분야에 대해 (물론 매우 전문적인 분야입니다) 잘 정리된 review article 좀 찾아 달라고 했더니 위 본문 내용처럼 매우 그럴싸한 제목들의 논문들을 제시하길래 그 제목으로 검색했더니 없는 논문이었습니다..!!
학습된 가중치가 없으면 무작위입니다. 말 그대로 아무말 대잔치이기 때문에 유사한 소스도 없습니다
왜 그런 결과가 나왔는지 전혀 추론이나 근거가 없기 때문에
법적 이슈나 중요한 의사판단의 근거로는 부적합하죠
반면, 의사판단이나 가치판단이 들어가지 않는 단순 노가다 작업에는 최적입니다.
모델:
GPT-4
PEMT는 간암과 어떤 관련이 있습니까?
PEMT(Phosphatidylethanolamine N-methyltransferase)는 세포막의 주요 성분인 포스파티딜콜린(PC)의 합성에 관여하는 효소입니다. PEMT는 주로 간에서 발현되며 포스파티딜에탄올아민(PE)이 포스파티딜콜린으로 전환되는 것을 촉매합니다.
PEMT와 간암의 관계는 여러 가지 방식으로 이해할 수 있습니다.
변경된 지질 대사: 지질 대사의 조절 장애는 간암을 비롯한 다양한 암의 발생 및 진행과 관련이 있습니다. PC 합성의 핵심 효소인 PEMT는 암세포의 지질 항상성 파괴에 관여할 수 있습니다.
염증 및 산화 스트레스: PEMT 결핍은 간 염증 및 산화 스트레스 증가와 관련이 있으며, 둘 다 간암 발병에 기여할 수 있습니다. 감소된 PEMT 활성은 간에서 염증과 산화 스트레스를 악화시킬 수 있는 PE의 축적으로 이어질 수 있습니다.
세포 신호: PC와 같은 인지질은 세포막의 구조적 구성 요소일 뿐만 아니라 세포 신호 전달에도 역할을 합니다. 비정상적인 PEMT 활동으로 인한 PC 및 기타 인지질 수준의 변화는 세포 신호 전달 경로에 영향을 미쳐 잠재적으로 암세포의 성장과 생존을 촉진할 수 있습니다.
유전적 변이: PEMT 유전자의 유전적 다형성은 효소의 활성 또는 발현에 영향을 미쳐 간암을 비롯한 간 질환에 대한 감수성을 증가시킬 수 있습니다. 일부 연구에서는 PEMT 유전자 다형성과 가장 흔한 유형의 간암인 간세포 암종 발병 위험 사이의 연관성을 제안했습니다.
PEMT와 간암 사이의 관계는 여전히 활발한 연구 분야이며 근본적인 메커니즘과 임상적 중요성을 완전히 이해하려면 더 많은 연구가 필요하다는 점에 유의하는 것이 중요합니다.
Vance, D. E., & Vance, J. E. (2004). Phospholipid biosynthesis in mammalian cells. Biochemistry and cell biology, 82(1), 113-128.
Dumas, M. E., Barton, R. H., Toye, A., Cloarec, O., Blancher, C., Rothwell, A., ... & Lindon, J. C. (2006). Metabolic profiling reveals a contribution of gut microbiota to fatty liver phenotype in insulin-resistant mice. Proceedings of the National Academy of Sciences, 103(33), 12511-12516.
While these references may not directly address the relationship between PEMT and liver cancer, they will provide you with insights into the role of PEMT in liver function, lipid metabolism, and inflammation. You may need to conduct a literature search using databases like PubMed or Google Scholar for more recent studies specifically focusing on the relationship between PEMT and liver cancer.
이게 앞으로 좋은 언론들에게는 엄청난 기회가 될 수도 있다는 의견이 있습니다. 하나의 답만 보여줘야하기 때문에, 당연히 공신력있는 언론의 주장만 보여주는 식이 될 것이고, 이러면 버즈피드 같은 스낵 미디어들은 타격을 받게될겁니다. 조선일보는 어떻게 될까요? 가 제 관심삽니다
그냥 네이버지식인 수준입니디
할루시네이션이 거짓을 말한다기 보담은 특정한 '틀'에 대한 설명을 요구할 때 하는 인간의 답변 같은 것들 말입니다. (대학교수가 어떤 사실을 인터뷰 하더라도 가끔 발견되는 오류 같은 그런 것.)
지금 제 머릿속에는 님글을 읽고
유주얼서스팩트
고문당하며 진술하는 피해자가 떠오르네요
저 역시 아무말대잔치에 가깝습니다
얘한테는 정보를 주고 그걸 요약해달라고 하거나, 소설을 써달라고 하거나, 코드를 주고 문제를 찾아달라고 하거나, 자기소개서나 이력서를 첨삭받거나.. 목적으로 쓰라고 만들어졌다고 보는게 맞아요.
정보를 찾아달라고 얘기하기에 적합한 녀석이 아닙니다. 그 목적으로는 차라리 빙이 더 알맞구요.
저 자식 순 구라쟁이예요. 그럴싸하게 말 지어내는데 특화된 언어모델일뿐이죠.
없는 논문이더라고요. 너무 진짜처럼 논문을 제시해서 직접 검색안했으면 속을뻔 했네요...
/Vollago
한계를 알고 사용하는 것이 중요하겠더군요
인터넷에 퍼진 자료들로 학습해서 잘못된 정보를 학습했다... 라고 이해해 볼 수도 있겠습니다마는..
맞다 틀리다의 논쟁거리도 안되는 구글 검색 첫줄부터 줄줄이 나오는 사실조차도 물어보면 엉뚱한 답만을 던지는거 보고 음.. 확실히 이건 검색용으로 쓰는 건 당장은 무리겠다 싶었습니다.
빙은... 결과물이 어떨까 모르겠네요.
물론 로드뷰까지 동원해가며 검색해봐도 그 중에 존재하는 가게는 하나도 없었습니다. 전화번호 나온거에 전화는 차마 못해봤구요.
그래서 copilot을 기대 중입니다.
저 chat gpt의 능력을 실무에 사용하려면 MS 정도 되는 집단이 만들어야해요.
수업 때 저거 활용을 인정하냐마냐로 논란이 있던데 논란거리도 안된다고 생각합니다
그냥 활용 가치가 없어요
빙은 똑바로 찾아주던데....ㅋ
양심을 가진 인간이라면 거짓말을 할 때 입술에 침은 바를 텐데 챗GPT는 아주 자연스럽게 거짓 답변을 내뱉는다에 "아~ 이건 아니다"라는 생각이 점점 굳어집니다.
이대로 두면 챗GPT는 정말 거짓말을 아주 능수능란하게 하는 머리 좋은 인간(누군가 떠오르네요. ;;)과 다를 바 없어질 것이라는 생각이 들더군요.
A.I가 답변을 함에 있어 그 답변이 거짓인지 참인지 모르는 상태에서 아~주 그럴듯하게 답변을 한다면 그게 인간에게 무슨 소용이 있는지...
인간의 신경망을 흉내낸 기술을 만들어 놓고 니 혼자 공부해봐..라고 해서 만들어 둔거니까요.
그러니까 거짓말인지 아닌지조차 AI 스스로는 모른다는 겁니다.
뭐 아직은 완벽한 AI 가 아니라 이제 막 걸음마를 뗀 것 뿐이니 벌써부터 부정적으로 생각할 필요는 없을것 같네요
그래도 기존에 비해서는 혁신적인 발전이 있는 건 맞는거 같으니까요..
계단하나 밟고 올라 선 정도라고 봅니다. 목표는 아직도 멀어요 ^^
막상 보면 알려준 내용과 전혀다른..
진짜 그페이지에서 가져온건지 의심되더라구요
chatGPT는 대화라는 목적을 가지고 GPT를 fine tuning한 녀석일테니까요.
아마 학술적인 용도로 사용하려면 좀 다른 방식으로 마무리를 해서 내 놔야 할 것 같습니다.
황교안 아버지가 서천에 만든 꽃밭이라며 국가 정원으로 지정 됐다고 거짓말을 뻔뻔하게 하더라고요.
솔직히 이런 식은 큰 문제라고 봅니다.
책은 커녕 웹문서조차 못 읽는, 유튜브 같은 영상에만 길들여진, 심지어 그마저도 쇼츠 영상처럼 금방 보고 마는 것만 찾는 요즘 사람들이 정말 많지요. (* 요즘 제가 듣고 충격받은 것 중 하나는, 어느 교사가 학부모들에게 가정통신문을 돌렸더니 어느 부모가 읽기 귀찮다며 유튜브 영상으로 만들어 링크를 카톡에 공유해 달라는 요청을 받았다는 이야기입니다.)
제가 종종 댓글 등에서 의견을 나누어 보고 느낀 건.. 이들은 그냥 생각 자체를 싫어하고 지식 자체를 혐오합니다. 그리고 눈앞에 펼쳐진 게 얼마나 진지하고 심각한 주제인지도 느끼지 못하고, 모든 세상만사를 무조건 '밈'으로 받아 들이지요.
이런 덜떨어진 인간이 다수가 되고, 거기에 AI의 악의적인 구라가 엮이면 무슨 결과가 나올지 심히 우려됩니다. 생각보다 심각한 결과가 나올지도 모르겠는데요.
만약 이로 인해 역사가 더럽게 흘러가고 문명이 퇴보한다면, 공교육의 붕괴가 큰 원인 중 하나로 꼽히게 될 것입니다.
이때 그게 맞나고 물어보면 한번 맞다고 하고 다시 재차 물으면 아니라고 사과하는 경우가 많았어요
찾기 어려운 정보면 모를까 간단한 것도 그러니까 확률로도 설명이 안되는 제작자의 의도가 있나 싶은 생각까지 들 정도네요 아니겠지만..
링크 타고가면 엉뚱한 논문 나오고
데이터는 내가 제공을 해주고 이걸 어떻게 가공해줘 라고 이용하는게 바람직하다고 합니다.
오늘자로 올라온 정인성 작가겸 인공지능개발자 분이 말씀하신걸 보면 좀 이해가 빨리 되는것 같습니다.
이부분부터 보시면 이모든 이슈에 대한 답을 해주고 있습니다.
프로그램의 목적자체가 이용자에게 진실을 제공하는게 아닙니다.
방대한 텍스트데이터를 학습해서 그걸 기반으고 최대한 사람같이 글을 쓰는게 목적인 인공지능이에요.
얼마나 사람이 쓴 글같이 보이냐가 중요한거지 그 내용이 맞냐틀리냐가 중요한 모델이 아닌데 이걸로 사실여부가 중요한 정보를 뽑아내려고 한다면.
그건 애시당초 그사람이 툴을 잘못 선택한거죠.
이게 하도 이슈가 되니 좀더 진실을 말하게 패치했다고는 하는데 그래봤자 진실여부가 학습한 데이터 기준일거라...
인터넷에 거짓정보가 수도없이 돌아디니는걸 생각하면 사람들 기대만큼은 안될거같습니다.