머리 좋고 저보다 나은 전문성을 가진 이들이 많을텐데...

어째 전문가 구성이 애매...하단 말이죠.

가장 쓸데없는 구성이...AI 스타트업 대표라던지,

관련 업계 종사자들입니다.  

서로 서로 다 아는 사이라는 말이죠.

그럼 어떻게 구성해야 하는가....대안은 있는가...에서

제가 대안을 꼼꼼하게 연구해서 고안해 보았습니다.

# 도메인-산업 활용 전문가 40명

각 산업 별 실제 업무 적용을 해본전문가 집단으로 도메인 지식 이해도를 평가합니다.

예를 들어 건축 공학에서 활용하시는 분, 법률, 의료, 과학, 수학,  로봇, 소프트웨어, 디자인 등등 각 도메인 별

활용성과 정확도를 분석하는 이들입니다.

# AI오픈소스 엔지니어 25명

조건을 두고 랜덤 선별합니다.

- 깃허브 스타 200 이상, M?DL오픈소스 라이브러리 기여 이력, 데이터셋/벤치마크 제작 경험 등의 최소 기준 통과자.

- 오픈소스 중 에이전트 분야의 활동 이력이 있을 경우 가산점.

- 이 부분은 국내외 전문가를 가리지 않습니다. 해외 전문가도 가능.

# AI 안정성 레드팀 20명

보안 취약점, 악의적 프롬프트 방어, 데이터 편형 및 환각

# 학계 15명

학계는  빼 버리고 싶지만,  나름 의미가 있게 구성하면 되지 싶습니다.

특히 알고리즘 개발이나 자연어처리 등의 경험이 있을 경우 가산점을 주어 선발합니다.

책상물림들이라면... 학계에 이빠이 배정하겠지만요.

# 기존 구성

## 전문가 평가 위원회 35점

학계 5명, 산업계 3명, 연구계 2명

-> 배점이 이리 높은데 고작 이런 숫자와 구성이라니...장난 하는 것도 아니고... 너무 하다는 생각 안 드시나요.

평가 항목

- 개별 전략 및 기술, 개별 성과 및 계획, 파급 효과 및 생태계 기여 계획

- 모델의 독자성 최소 기준 점검

-> 장난이 너무 심한 것 아닙니까.

이런 기준이면 모델 성능이 뭔 소용이 있을까요.  개발 전략 ,  파급력 등에 대한 평가라니..ㅋㅋㅋㅋㅋㅋㅋ

적당히 해야지,  책상물림이 뇌내 망상으로 짜는 것도 아니고... 너무 한 것 아닌지...

이런 부분은 배점이 그렇게 높을 필요도 없지만, 

최종 우승 선정 단계에서 일부 고려 해야 하는 대목입니다.

## AI 전문 사용자단 15점

AI모델을 도입해본 AI 스타트업 사장(49인)

-> 클리이막스입니다. 국가 사업이 완전 초딩 수준으로 전락하게 되는 결정적 대목.. 사장 데려다가 뭘 하겠다고...

한심합니다. 오히려 각 도메인 별 전문가를 모집하다 보면 그 중에 일부 스타트업 사장이 있을 수 있는 것이죠.

이게 자연스럽고 말입니다.

# 결론

비중은 조금씩 다르게 할 수 있지만, 우선 하는 것은

AI의 실제 쓸모가 발생할 도메인 별 전문가들의 평가를 가장 중요시 해야 한다는 생각입니다.

실제 현재 가장 잘 활용하는 분들의 경우 자신만의 하네스를 구축하여,

보통 사람들 보다 훨씬 정교하게 활용 중인 경우가 꽤 있습니다.

또한 모델이 수시로 나오기 때문에 ... 다는 아니나 적지 않은 수가

자신만의 평가 방법 테스트를 만들어 수시로 점검하는 경우가 있을 정도로

적극적 활용하는 분들이 있습니다.

전문가라고 모셔 놓은 사람들이 면면이 중요합니다.

최종 제언.

35점 배점의 전문가 평가 위원회와 사용자단을 구별하지 아니 합니다.

AAII 50점 (상향)

전문가 및 사용자 평가 50점

전문가 및 사용자 평가 구성

최 상단에 제가 올려 놓은 구성 또는 보완한 구성으로  100인을 선정하여,

철저한 블라인드 테스트를 합니다.

이상입니다.