완전히 막힌 것은 아니겠지만,
중국이 미국AI 신 모델 나오면 벌이던 엄청난 작전들이 상당 부분 막히면서...
격차가 다시 벌어지고 있습니다.
이게 전 같으면 벌어지려다가도 다시 좁히는 과정으로 이어지곤 했지만
요즘은 그런 징조가 없는 상황입니다.
중국AI는 증류 + 자체 알고리즘으로 발전해 왔는데요.
어느 쪽에 무게가 더 컸는지 밖에서는 알 수 없었습니다.
게다가 세계 유수의 AI 학자 및 전문가 중 상당수가 중국인이고,
그 중 적지 않은 수가 중국 본토로 돌아갔기 때문에 중국 자체적인 알고리즘 혁신의 무게가 적지 않으리라 보기도 했는데요.
오픈AI와 엔트로픽은 ... 보는 사람만 보는 거긴 하지만,
이전에도 종종 증류 시도를 적발했다는 식의 보고서를 자사 공홈에 올리곤 했습니다.
최근에는 이걸 방어하는 능력이 향상 되었는지, 어떻게 방어했다는 것도 다 공개하고 있습니다.
즉, 효과적인 방어를 하고 있다는 얘기로,
서두에 언급했다시피 완전히 방어하는 것은 사실상 불가능하지만,
현재 가장 중요하게 다뤄지는 추론 과정에 대한 추적을 어렵게 만들어 두었고,
증류를 위해 엄청난 수의 가라 계정을 통한 단기간의 증류(자동화)를 막는데는 성공한 것 같습니다.
요즘 격차가 줄어들 기미는 커녕 계속 벌어지는 모습을 보면...
증류 영향이 중국AI 자체 역량 보다 더 컸던 모양입니다.
AI를 미국은 이미 차단한 적이 있고 중국도 따라잡으면 공개안할탠대 이런거 보면서 그런 이상한 소리는 더 안봤으면 좋겠습니다.
원래는 무거운 모델의 질문 - 답변 쌍을 가벼운 모델을 학습시켜서 가벼운 모델의 성능향상을 꾀하는 기법이죠 제프리힌턴 교수가 제안한거구요
그걸 중국에서는 자체 모델 성능 개량에 사용한 거구요
우리는 미국 눈치보느라 못하거든요
중국이 언제까지나 가중치를 공개해서.. 풀어주지는 않죠. 근래 하는 걸 봐도..
어차피 독자적으로 하긴 해야 합니다. 좀 덜 똑똑해도..
내 품안의 도구는 가지고 있어야죠.
중국 내부적으로도 잡도리 했을 것 같네요.