네이버, 카카오, LG의 언어처리 모델들도 모두 transformer에 기반하나요?
국내의 IT빅테크들의 자연어처리 기술들이 한국어에 특화되어 경쟁력을 갖추고 있다고 얘기할 수 있나해서요.
관련 영상을 보니 transformer는 자연어 처리들에 대한 거의 대부분(어순, 문맥 등등 고려)을 고려할 수 있도록 설계되어 학습의 정도만으로 대부분의 처리(번역, 요약, 유추 등)가 원할할 수 있다라고 귀결되는것 같습니다. 즉, transformer 입장에서는 학습량만 차이가 있을뿐 한글, 영어, 스페인어, 중국어 등 대부분의 언어에 대해서 상당 수준으로 처리가 가능한 모델이라는 거죠.
그렇다면 국내 IT빅태크들이 자연어처리 기술들의 핵심은 "한국어 학습데이터 잘 모으고 정리하는 기술"들이 핵심이 되는건가요? 그렇다면 결국 응용 서비스나 상용화에 집중하는 fast follower 전략이 핵심인건데 이걸 글로벌하게 경쟁력있다고 얘기할 수 있을지 의문입니다.
openAI CEO 인터뷰를 보니 모델 만드는것도 물론 중요하지만 실제 상용화를 위한 최적화나 대용량 인프라 동원 역량도 무시 못한다고 하니 여기서 기회를 봐야할 수도 있겠고요.