다들..
데이터를 모아놓고 활용할 방법과 수집책을 고민하고 계실때
여전히 제 머릿속에는 작은 가능성이 꿈틀대고 있습니다..
데이터 없이 천재인 것..
천재인 사람이 무의식적 어떤 행동을 하고있지만 사실은 천재의 내부 기능들이 대단해 그 사람에게 이로워보이는 것.
근육 천재, 세포 천재, 혈액순환 천재, 소화기관 천재, ... 선천적 심폐지구력 천재, 태생이 기초대사량 천재, 또는 어느 충격에 의한 천재.
남 다르게 동체시력이 좋았는데 운동 열심히 해줬더니 체육계 챔피언.
기억에 관한 처리를 담당하는 구조와 세포가 남들 보다 뛰어났더니 인생자체가 모두를 기억할 수 있는 사람이 있는가 하며,
하드웨어적 능력보다도 앞을 내다보는 그 무언가가 잘 드러맞아 통찰력이 뛰어난 제갈량 - 개인적으론 가능성에 중점을 둔 시뮬레이팅 능력이 뛰어난 로직이 뇟속 회로에 세포로 이루어지지 않았을까 생각이 듭니당
이게..
경험이나 데이터 쌓기 이전에
"소질있어 보인다", "재능 있다", "어린 나이에 저걸 어떻게!"
이런 소리 듣는 아이를 직접 설계하는 과정이라고 생각해본다면.. 데이터를 몽땅 끌어서 활용하려는 목적 보다 더 연구가치도 있어보이고, 이젠 딱히 공상과학 같지도 않은 것이..
본능이라는걸 구현하는 상황이라 이해하자면 믿으시겠나요.
꼭 봐야만 행동하고, 들어야만 답하고, 물어봐야 대답하고, ...
이런 도움 보다는 직접 스스로가 앞서 나서주는. 스스로 판단하여 ............
AI에게도 공포심이라는걸 만들어주면 그거 지키려고 뭔가 행동하지 않을까 싶어요
없는 감정을 있다고 믿는건 아니고요. 함수명 "공포심 알고리즘"을 제대로 구현해두면요
거기에 해를 입거나 잃어버리지 않게 미션을 주는것을 현재까지 구성된 알고리즘들 옆에 나란히 두면 따로 심장 역할을 하고, 나름대로 뭔가를 조합하고 떠올려서 결과를 보여주는애니까 지키기 위한 호신수단으로 뭐든 하지 않겠나요?
아이의 울음소리가 큰 이유도 뭐라고 뭐라고 하던데.. 문득 그런거 비유해보고싶어졌네요
뭔가 잃을게 있어야 생성되는건데 (예를들면 내 목숨, 내 돈, 내 명예)
AI가 잃을게 있을까요? 전원 OFF 되는거?
저는 그거랑.. 자기가 모은 데이터를 독립적으로 갖게끔 로직을 설계해두면 누구와도 공유하지 않기 위해
처음은 거짓말로 피하다가 나중은 어떤 수단까지 써가며 지켜내는? 그런 모양도 생각해보고 있어용
머.. 잠시 생각해보니 바이센테니얼맨 영화 본거를 제가 써먹는 느낌으로 글을 적어봤지만요..ㅋ
끊임없이 판단할 식들로 가득차게될테쥬.. 계속해서 견고해질려구 노력하는 그런 식을 이 조합 저 조합하며.. 요 👀
이글 보고 물어봤는데, 으음... 실제로 어떨려나요.
간단하게 말하면, 데이터를 엄청 넣었더니 논리와 추론 능력도 일부 생겨서 똑똑해졌다는 식이죠. 알고리즘 -> 지능이 아니라 데이터 -> 지능인 셈입니다.
알고리즘 설계도 없고 어떻게 이렇게 되는지 정확하게 알지도 못해서, LLM 내부 동작을 연구하는게 요즘 뜨는 연구 분야 중 하나라고 합니다.
흐름은 이렇게 봐야 합니다.
1. 예전 NLP: 규칙·통계·작은 모델
초기 언어처리는 사람이 문법 규칙을 만들거나, n-gram 같은 통계 모델로 다음 단어 확률을 계산했습니다. 데이터는 있었지만 긴 문맥 이해가 약했습니다.
2. RNN/LSTM 시대: 순서 처리는 가능했지만 느림
문장을 앞에서 뒤로 읽는 신경망이 나왔지만, 긴 문맥을 잘 못 잡고 병렬 학습이 어려웠습니다.
3. 2017 Transformer가 결정적 전환점
Attention Is All You Need 논문이 Transformer를 제시했습니다. 핵심은 문장을 순서대로만 읽지 않고, 단어들이 서로 어디를 봐야 하는지 attention으로 계산한다는 점입니다. 이 구조 덕분에 대규모 병렬 학습이 가능해졌습니다. �
WIRED
4. 2018 BERT/GPT: 사전학습 패러다임 확립
BERT는 대량의 비라벨 텍스트를 먼저 학습한 뒤 여러 NLP 과제에 미세조정하는 방식이 강력하다는 걸 보였습니다. �
arXiv
5. 2020 GPT-3: “스케일링하면 범용성이 나온다”
GPT-3는 모델을 크게 키우면 번역, 질의응답, 요약 같은 작업을 별도 전용 모델 없이도 텍스트 지시만으로 어느 정도 수행할 수 있음을 보였습니다. �
arXiv
6. 2022 Chinchilla: 데이터-모델 균형의 중요성
이후에는 단순히 모델만 키우면 안 되고, 학습 토큰 수도 같이 키워야 한다는 점이 정리됐습니다. 즉 LLM 발전은 Transformer라는 알고리즘 위에, 데이터와 연산량을 대규모로 얹은 결과입니다. �
arXiv
결론적으로 LLM이 “나오게 된 계기”는 알고리즘 혁신, 특히 Transformer와 self-attention입니다.
하지만 LLM이 지금처럼 강해진 이유는 그 알고리즘이 웹 규모 데이터와 GPU/TPU 연산량을 잘 흡수했기 때문입니다.
/// chatgpt 의 설명입니다..?