LLM 나올때부터 참 신기했던건데요.
내부 동작 원리를 정확히 모른다.
우리는 비행기가 뜨는 이유가 날개의 양력이라고 배웠는데 아직 비행기가 뜨는 이유를 확실하게 모른다고 하는 글을 봤습니다.
이렇게 저렇게 가중치를 조절하고 파라미터를 조절하거나 늘리면 원하는 방향으로 결과가 변한다.
컴퓨터 프로그램이야 말로 인간의 의도 그 자체라고 생각하는데 컴퓨터 프로그램이 이런 약간은 막연한 경험적 성격을 가지고 발전한다는게 신기하더군요.
LLM 나올때부터 참 신기했던건데요.
내부 동작 원리를 정확히 모른다.
우리는 비행기가 뜨는 이유가 날개의 양력이라고 배웠는데 아직 비행기가 뜨는 이유를 확실하게 모른다고 하는 글을 봤습니다.
이렇게 저렇게 가중치를 조절하고 파라미터를 조절하거나 늘리면 원하는 방향으로 결과가 변한다.
컴퓨터 프로그램이야 말로 인간의 의도 그 자체라고 생각하는데 컴퓨터 프로그램이 이런 약간은 막연한 경험적 성격을 가지고 발전한다는게 신기하더군요.
우리도 우리 스스로 뇌가 어떻게 작동하는지 잘 모르죠
확실하게는 모르지만 모방을 하니 비슷하게 동작하더라.. 신비로운 생각도 드네요.
'학습' 이라는 것은.. 생화학 작용...
인간의 영혼과 정신도.. 사실 생화학 작용...
애초에 한 인간이 이해 가능한 영역이 아닌거 같습니다.
이런거보면 컴퓨터 과학하고 수학 분야에서 경계가 희미해지는 영역이 있는것같아요.
어떻게 토큰을 분류하고 내부에서 어떤 상호작용으로 가장 확률이 높은 결과를 출력하는지..
인간이나 동물이나 본질적으로는 거의 비슷하지만 결국 필요에 따라서 얼마나 돌연변이를 일으켰냐의 차이 아닐까요.
창조자의 예상을 벗어난 피조물
이게 더 발전하면 AI의 잠재적인 위험성과도 연결이 되겠군요.
생각보다 정말 많은게 밝혀지긴 했어요. 어려워서 대중적으로 잘 알려지지 않았을 뿐..
Embedding superposition으로 이해하는 부분이나,
최근에 anthropic에서 On the biology of an LLM 이런 분석글이나,
Grokking 현상에 대한 솔루션 논문이나.. 이런거 보면 놀랍더라고요.
연구자 아니면 좀 어려운 내용들이긴 합니다.
중간에 소개해주신 앤트로픽의 분석글에서 생물학이 언급된다는게 신기하네요.
데이터를 진짜 많이 넣었더니 왜 갑자기 비선형적으로 성능이 좋아졌는지는 이해 못합니다.
이론은 갖춰졌는데 그 이론으로 실제 만들었을때 정확한 이유를 모른다는게..
트랜스포머 모델은 O(n^2)이니, 리소스를 익스포넨셜하게 투입해야 겨우 선형적으로 성능이 좋아질텐데요. ㄷㄷㄷ
엔트로픽이 가장 잘 이해하고 있는 것으로 대충 들었습니다.
위에 아티쇼님이 소개해준것도 앤트로픽의 분석글이구요.
그렇다면 정확히 모른다는 의미는 특정 값이 어떤 의미다 특정하기 어렵다는것이지 그 데이터들간의 상호작용을 통해서 가장 확률이 높은 최종 값을 도출하는 과정까지 모른다는건 아니라는거군요.
이 확률론적 사고관의 대표적인게 ... 양자역학이죠
우리가 양자역학을 직관적으로 이해하지 못하지만 원리는 알고 이용할 수 있는 것과 같은 이치가 아닐까 싶어요.
비행기가 뜨는 이유 아직 모릅니다.
예전에 베르누이의 원리를 정설처럼 말했지만 기압차에 의한 양력 발생은 너무 미미해서 양력에 별 보탬이 되지 못한다고 밝혀졌습니다. 날개의 받음각에 의한 반작용으로 공기는 아래로, 날개는 위로 향하는 힘이 생긴다는 게 그나마 설득력 있는 주장인데, 아직까지 양력을 제대로 설명하는 이론은 없는 상태죠.
LLM도
인간의 뇌 구조를 디지털로 재현할 뿐 이게 왜 동작하는 지는 모르는 상태입니다. 각 파라미터 단계에서 왜 일정값을 가졌는지 모릅니다. 그걸 알면 ai를 직접 원하는 방향으로 조작하겠죠. 그걸 모르니 어떤 특정한 값을 가지길 바라면서 특정방향의 학습데이터를 계속 넣어주는 거죠.
지금은 마그누스 원리로 잘 설명된다고 합니다.
마그누스 효과는 베르누이 원리보다도 (고정익) 비행기 양력에 대한 설득력이 더 떨어지는 주장입니다.
실제 마그누스 효과로 비행하는 비행기가 있긴 있습니다. 원통형 날개가 회전하죠.
이런 구조가 아니면 마그누스 효과로 양력이 생긴다고 말하는 건 어렵다고 생각합니다.
여담으로 마그누스효과를 내기위해서 원통형 날개를 사용하면 저항이 너무 커지고 효율성도 엄청나게 떨어집니다.
일반 비행기보다 마그누스 효과에 몰빵한 비행기도 일반 고정익기에 비해 효율이 떨어진다는 거죠.
마그누스효과나 베르누이 원리 모두다 결국 유속차에 의한 기압차가 생기는 게 주된 동력인데요. 기압차로 비행기 동체를 띄우려면... 진공 흡착판을 날개에 붙여서 비행기를 들어올리는 거 말고는 방법이 없을 겁니다. 그런데 이것도 들어올리는 힘은 기압차가 아닌게 되니까... 결국 (비행기 정도의 무게에서) 기압차에 의한 양력생성은 불가능하다고 봐야겠죠.
안다고 생각하는 건 오만이죠
LLM의 내부적으로 어떻게 동작하는지 물어보면 확률 통계에 의해서 동작한다고 답변할 수 있습니다.
개발자들도 알 수 없는건 왜 LLM이 이 확률을 선택한 것인지는 자세하게는 알 수 없다는 겁니다. 소위 추론이라고 하는게 인간이 잘 모르는 것을 볼펜 굴려서 찍는 것처럼 LLM 도 잘 모르는걸 찍어서 아는 것처럼 말하기 때문에 아직 AI가 만능이 아니라고 그러는 것이고....
메모리가 커지고 학습 데이터가 커지면 지금보다 더 실수할 확률이 줄어들 수 있습니다. LLM이 어떻게 내부적으로 동작하는지 모르지 않습니다.
실제로 해보니 이렇게까지 된다고? 라는 느낌이고 중간 연산 과정을 까서 보기가 너무 힘든 약간 그런거죠...
예를 들어 질병도 제대로 원인 분석부터 정확한 치료제까지 개발된 거 적습니다.
대부분 정확한 원인도 모르죠, 이러한 처방 했더니 효과 있다에 근거한 치료 입니다.
대표적인 것이 감기 치료제입니다. 감기 치료제라는 건 없습니다. 치료 기간을 줄여주지도 못하며 단지 증상 완화제가 있을 뿐이죠. 알레르기도 마찬가지입니다. 왜 과민 반응하는 지 모릅니다. 암도 마찬가지입니다.
에너지, 중력, 수학, 인과율, 도덕율, 정신 등
일단 어떤 현상을 발견하고 거기에 그럴듯한 이론을 세우고 이름을 붙여서 일단 다들 안심시키고
작동방식을 깨치고 생활에 적용하면 안다고 착각하죠
인간은 작습니다
'모르겠고 겉으로 봐서 구분할 수 없으니 그냥 동일하게 취급하자'라는 측면에서, 결국 지성의 영역도, 나아가서는 영혼이라는 개념에까지도 확장되는 건 필연이라고 봅니다.
이는 역설적으로, AI가 한차원 더 도약하기 위해서는 오히려 '인간 취급'을 해 줄 필요가 있다는 뜻이기도 합니다. 동일 환경이 수렴진화를 이끌어내기 때문입니다.
(그리고 이미 일어나고 있는 일이기도 합니다. 사람들은 챗GPT에게 고민도 털어놓고, 욕도 하고 위로도 받으며 점점 감정적으로 대하기 시작했죠. 그러니 결국 시간문제일 거라고 봅니다.)