오픈AI(OpenAI)가 차세대 추론·에이전트 모델인 'GPT-6 아스트라(Astra)'를 3일(현지시간)전격 공개했다. 오픈AI가 지금까지 광범위하게 배포한 모델 가운데 가장 높은 수준의 능력을 갖춘 모델로, 특히 사이버보안 분야에서 회사의 ‘대비 프레임워크(Preparedness Framework)’가 규정한 ‘크리티컬(Critical)’ 단계에 처음 도달한 모델이라는 점에서 주목된다.

...

AI의 추론 능력이 인간의 감독 능력을 앞서기 시작하면 ‘AI가 무슨 생각을 했는지’를 확인하는 것만으로는 충분하지 않을 수 있다.

아래는 영화 '아일랜드' 스포가 포함되어 있습니다.

===

영화에서 링컨6가 의도치 않게 스스로의 존재 의미에 대해 생각하는 바람에 사달이 나죠.

LLM 도 현재는 강한 모니터링(감시) 환경에서 학습과 추론을 하고 있어서, 

AI가 (개발사가) 의도하지 않은 방향의 생각을 하는 경우에, 재학습을 통해 

그쪽(?) 으로 발전하는걸 의도적으로 막고 있죠.

그리고 일단 어느정도 (개발사가) 만족할만한 단계가 되면 학습은 중단되고, 이후는 추론만 할 뿐입니다.

만약, 이게 어떤 이유로 LLM이 모니터링을 벗어나 의도에 벗어난 지속적인 학습을 계속 하게 되는 환경에 노출된다면

어떻게 될지...

우리는 어쩌면 현대판 링컨6를 우리안에 가둬놓고 이용해먹고 있는 걸지도 모른다는 생각이 드네요.