｢독자 AI 파운데이션 모델｣ 프로젝트 2차 단계평가 기준과 결과에 대해 상세히 설명드립니다.

기업별 세부 점수 공개에 대해서는 평가에 대한 투명성 확보와 기업들에게 미칠 직간접적 영향 등을 감안하여 1차 단계평가와 동일한 수준에서 공개합니다.

1. 주요 보도내용(이데일리, 조선일보 등, `26.8.19)

 

□ “독파모 2차 평가, 세부 점수 공개 요구 … “평가 과정 투명하게 알려야””, “국민 혈세 들어간 '국대 AI' … “순위 공개 왜 안 하나”” 제하 기사에서,

 

 ㅇ 평가 지표 및 평가 결과 산출 기준 등을 투명하게 공개할 필요가 있다는 지적이 제기되고 있으며,

 

 ㅇ 1차 평가와 다른 순위 공개 방식으로 2차 평가 결과를 공개하여 국민의 알 권리가 충족되지 않는다는 지적이 나오고 있다고 보도

 

 

2. 설명내용

 

１ 과기정통부는 공정·투명한 평가가 중요하다는 가치 아래, 독자 AI 파운데이션 모델(이하 독파모) 프로젝트 선정평가(`25.8월) 및 단계평가(`26.1월, `26.8월) 기준과 결과를 공개해왔습니다.

 

 ㅇ 독파모 프로젝트는 단순한 순위 경쟁이 아닌 우리 AI 생태계의 육성과 확장을 목표로 하고 있는 만큼, 평가 결과에 따른 기업의 직간접적 피해 최소화, 기업의 점수 공개 의향 등을 고려하여 결과 공개 범위에 신중을 기해 왔습니다.

  

 ㅇ 이번 2차 단계평가 발표에서는 지난 1차 단계평가시 각 항목별 1위 기업을 발표한 것이 점수 이상으로 1위 기업에 대한 인식제고 효과, 나머지 기업에 대한 낙인효과가 크다는 지적이 있어서, 항목별 1위 기업과 점수를 공개하지 않기로 한 것입니다.

 

 ㅇ 이에 대해, 일부 언론에서 투명성 문제를 제기한 바, 이러한 논란이 우리나라 AI 생태계 발전에 도움이 되지 않는다고 판단해 1차 단계 평가 발표시와 동일한 수준에서 평가 항목별 1위 기업과 그 점수를 공개하기로 하였습니다.

 

２ 2차 단계평가 기준은 1차 단계평가 이후 제기된 ①독자성 점검, ②활용성 관련 평가 강화 필요성을 반영하여 배점을 상향(배점 10→15점)하고 정예팀 간 합의를 거쳐 아래와 같은 기준을 설정한 바 있습니다.

 

３ 세부 평가기준과 세부 결과 등에 대해 설명드리겠습니다.

 

① 벤치마크 평가(배점 40점) 

구분	주요 내용
벤치마크 평가 (40점)	개요	“글로벌 + NIA 벤치마크 기반으로 AI모델 성능 평가”
	방안	① (글로벌 벤치마크 평가) 글로벌 주요 리더보드(AAII*)에서 활용하는 벤치마크를 활용하여 AI모델 성능 평가      * Artificial Analysis Intelligence Index   ② (NIA 벤치마크 평가) ▵수학, ▵지식, ▵장문이해, ▵안전성, ▵신뢰성, ▵한국어, ▵지시이행 분야를 아우르는 NIA 벤치마크 기반 평가
	배점	▸ ① 글로벌 벤치마크 평가 25점 + ② NIA 벤치마크 평가 15점

 

 ㅇ 벤치마크 평가는 AAII(Artificial Analysis Intelligence Index, 이하 AAII) 벤치마크 평가(배점 25점)와 NIA 벤치마크 평가(배점 15점)로 구성됩니다.

 

①-1 AAII 벤치마크 평가(배점 25점)

 

 ㅇ AAII 벤치마크 점수 측정 방법 등은 6월말 AA(Artificial Analysis, 이하 AA)에서 공표한 기준을 채택하였습니다.

  

< AAII 벤치마크(v4.1 기준) >

범주	벤치마크	가중치
		개별	범주
에이전트(Agents)	GDPval-AA v2	20%	34%
	τ3-Banking	14%
코딩(Coding)	Terminal-Bench v2.1	16%	24%
	SciCode	8%
일반(General)	AA-LCR	6%	18%
	AA-Omniscience	12%
과학적 추론(Scientific Reasoning)	HLE(Humanity’s Last Exam)	12%	24%
	GPQA Diamond	6%
	CritPt	6%
계		100%	100%

 

 ㅇ AAII 벤치마크 평가는, AA가 직접 평가 결과를 도출해 제공하였고, AAII 벤치마크 점수는 25점 만점 스케일링해 최종 점수에 반영하였습니다. 

   ※ 예 : AAII 점수 60점일 시, 최종 점수는 15점(=60점×(25/100)) 반영

 

 ㅇ AAII 벤치마크 평가 점수는 모티프테크놀로지스 정예팀이 11.9점의 최고점을 득점하였고, 4팀의 평균 점수는 9.48점(소수점 셋째자리 이하 반올림)입니다.

 

①-2 NIA 벤치마크 평가(배점 15점)

 

 ㅇ NIA 벤치마크 평가는 7개 분야(▵수학, ▵지식, ▵장문이해, ▵안전성, ▵신뢰성, ▵한국어, ▵지시이행) 벤치마크 데이터셋으로 NIA에서 평가 결과를 도출하고 15점 만점 스케일링해 최종 점수에 반영하였습니다. 

   ※ 예 : NIA 벤치마크 평가 점수 60점일 시, 최종 점수는 9점(=60점×(15/100)) 반영

 

 ㅇ NIA 벤치마크 평가 점수는 SK텔레콤 정예팀이 13.4점의 최고점을 득점하였고, 4팀의 평균 점수는 13.05점입니다.

 

② 전문가 평가(배점 35점)

 

구분	주요 내용
전문가 평가 (35점)	개요	“전문가 평가위원회를 구성하여, 제출 서류 + AI 사용 심층 평가”
	방안	① (평가위원회 구성) 외부 전문가로 평가위원회 구성   ② (평가) 정예팀의 평가 서류 등을 기반으로 AI 개발 성과, 향후 계획 무빙타겟 기반, 사용성, 생태계 파급계획·효과 등 심층 평가(QnA 병행)     ※ 팀별 점수는 위원별 평가 점수 중 최고·최저를 제외한 나머지 평가점수 산술평균
	배점	▸ ① 개발 전략 및 기술 10점 + ② 개발 성과 및 계획 10점 + ③ 파급효과 및 기여계획 15점    ※ 독자성 최소기준 점검 등 병행

  

 ㅇ 전문가 평가는 다수 외부 전문가(산업계 3명, 학계 5명, 연구계 2명)로 평가위원회를 구성해 추진하고, 정예팀이 제출한 평가서류 등을 바탕으로 약 5일 간의 서면평가와 QnA를 병행해 진행하였습니다. 

   ※ 질의서 전달(위원회→정예팀), 답변 회신(정예팀→위원회) 등을 거쳐 전문가들의 궁금증을 해소해가며 최종 전문가 평가 점수 도출

 

 ㅇ 전문가 평가 기준은 1)개발 전략 및 기술 10점, 2)개발 성과 및 계획 10점, 3)파급효과 및 기여계획 15점이며(독자성 최소기준 점검 병행), 각 평가위원 별 점수는 이를 합산하여 산정하였고(총 35점), 세부 평가 기준은 아래와 같습니다.

 

< 전문가 평가 기준 >

분류	평가항목	세부항목	배점
개발 전략 및 기술	전략	▸ 개발 전략 수립 및 실행     - 당초 계획 대비 수행 충실도 및 성실성   - 개발 과정 중 리스크 관리 능력 및 대응의 적절성   - 컨소시엄 참여기관 간 협력 네트워크 실적	10
	기술력	▸ 개발 기술의 우수성·혁신성     - 기술적 독자성 및 이를 기반으로 한 성능 향상·수준   - 자원 활용·처리의 혁신성 및 효율성  - 안전하고 신뢰성있는 AI모델 개발 기술력      ※ 독자성 평가요소 예시 : ▴하이퍼파라미터 변경 등 양적 변형, ▴모듈·블록 레벨 등 질적 변형, ▴데이터 파이프라인의 효율적 개선 및 혁신 ▴아키텍처 수준 혁신 등
개발 성과 및 계획	성과	▸ 개발 성과의 달성도 및 확장 가능성     - 개발 성과의 우수성 및 성능 달성도   - 개발 모델의 사용성 및 실용성   - 개발 모델의 다양한 도메인/시나리오 적용 가능성	10
	계획	▸ 향후 개발 계획     - 무빙타겟 기반 대응 전략의 혁신성 및 구체성   - 차기 목표·계획의 도전성·우수성 및 실현 전략   - 차세대 기술 도입 및 혁신 계획   - 지속적 개선을 위한 피드백 체계 및 대응 전략
파급효과 및 기여계획	생태계 파급	▸ 국내 AI생태계 등 파급효과 및 기여 계획     - 국민 AI 접근성 증진 실적 및 지원 계획   - 전분야 AX 지원 등 AI생태계 파급실적 및 기여계획   - AI 모델 공개를 통한 AI생태계 확장 실적 및 계획   - 대학·스타트업, 국산 AI반도체 생태계 지원 실적·계획	15
	글로벌 파급	▸ 글로벌 파급력 및 지속 가능성     - 개발 모델의 글로벌 파급력 및 향후 파급계획   - 국가 AI 경쟁력 강화에 대한 기여 수준 및 전략   - 글로벌 시장 진출 실적 및 계획
계			35
독자성 최소기준 점검	▸ 본 프로젝트로 금번 개발한 AI 파운데이션 모델이 ① 기술적, ② 정책적, ③ 윤리적 측면의 독자성 기준을 미충족함(체크 시 미충족 판단)		□

  

 ㅇ 아울러, 새롭게 참여한 모티프테크놀로지스와 기존 정예팀 간 공정 경쟁 지원을 위해, 모티프테크놀로지스 정예팀의 국내 AI생태계 파급효과 평가는 새로운 독자 AI모델 기반이 아닌, 기존 AI모델의 현장확산 실적·계획까지 폭넓게 종합(정예팀 합의사항)해 평가하였습니다.

 

< 평가기준(모든 정예팀에 공히 안내) 발췌 >

ㅇ (현장확산) 기존 3개 정예팀은 독자 AI모델 + 파생모델 기반 현장확산 실적·계획을 평가하고, 모티프 정예팀은 기존 AI모델의 현장확산 실적·계획까지 포함해 평가     ※ 파생모델 : 독자 AI모델 또는 동 모델의 아키텍처 기반으로 확장·재구성하거나, 독자 AI모델의 기술적·학습적 연속성을 공유하면서 확장·재구성한 AI모델(이를 입증할 자료 제출 병행)

 

 ㅇ 정예팀별 평가점수 산출은 위원별 평가점수 중 최고·최저 점수를 제외한 나머지 평가점수를 산술 평균하였습니다.

 

 ㅇ 이를 종합한 전문가 평가 점수는 LG AI연구원 정예팀이 29.5점의 최고점을 득점하였고, 4팀의 평균 점수는 28.75점입니다.

 

③ 사용자 평가(배점 25점)

 

구분	주요 내용
사용자 평가 (25점)	개요	“AI User 집단 구성, AI 사용성 평가”
	방안	① (집단 구성) AI 전문 사용자진(50명 이하) + 일반 국민(200명 이상) 참여진 구성   ② (평가) 정예팀 AI모델 적용한 AI서비스 웹사이트 기반 AI 사용 평가     ※ 웹사이트별 UI/UX가 아닌 AI모델의 성능을 중심으로 평가되도록 Guide
	배점	▸ 각 사용자가 절대평가*하여 점수를 합산하고, 전문 사용자진 평가 15점, 일반 국민 평가 10점 만점으로 스케일링하여 최종점수 반영      * 1점매우미흡 → 2점미흡 → 3점보통 → 4점우수 → 5점매우우수

 

 ㅇ 사용자 평가는 AI모델의 활용성과 정예팀의 AI 서비스 역량 평가 등을 강화하기 위해서, AI 전문 사용자진 평가(배점 15점)와 일반 국민 평가 (배점 10점)로 구성하였습니다.

  

 ㅇ 각 팀의 AI 사용 웹사이트를 기반으로 AI 사용성(Usability) 등에 대한 평가를 진행하였습니다.

 

 ㅇ 또한, ①평가단 대상 프롬프트 가이드라인 제공*, ②AI사용 웹사이트 내 정예팀별 AI모델 평가 순서 무작위 제공, ③일정시간(최소 3분) 이상의 충분한 사용자 평가 지원 등을 통해 평가의 공정성을 높이기 위해 노력하였습니다. 

    * AI사용 웹사이트의 UI·UX가 아닌, AI 모델이 생성하는 콘텐츠의 내용과 품질 등을 중심으로 평가를 진행해주길 안내

 

③-1 AI 전문 사용자진 평가(배점 15점)

 

 ㅇ AI에 대한 전문적인 식견·경험 등을 갖추고, 일반 국민 대비 실제 다양한 AI 개발 과정 에서 AI모델을 폭넓게 사용해 본 AI 스타트업 대표들로서 이해충돌 확인 등을 거쳐 50명이 선정되어, 실제 49명이 평가에 참여하였습니다.

 

 ㅇ AI 전문 사용자진의 평가는 절대평가로서, 최저 1점부터 최고 5점까지 점수를 부여하도록 하였습니다. 

   ※ 1점(매우미흡) - 2점(미흡) - 3점(보통) - 4점(우수) - 5점(매우우수)

 

 ㅇ 각 AI 전문 사용자가 절대평가하여 점수를 합산하고, 15점 만점 으로 스케일링하여 최종 점수를 산출하였습니다. 

   ※ 예 : 전문 사용자진(49명)의 점수 합산 후 평균 점수가 3.7점일 시, 최종 점수는 11.1점(=3.7점×(15/5)) 반영

 

 ㅇ 이를 종합한 AI 전문 사용자진 평가 점수는 SK텔레콤 정예팀이 11.6점의 최고점을 득점하였고, 4팀의 평균 점수는 10.53점(소수점 셋째자리 이하 반올림)입니다

 

③-2 일반 국민 평가(배점 10점)

 

 ㅇ 일반 국민 평가단의 경우, 일반 국민에 대한 대표성 제고를 위해, 충분한 기간 동안 공모한 후, 국내 주민등록인구 통계 기준으로 성별·연령별 쿼터를 설정하고, 시스템을 통해 무작위로 200명이 선정되었고, 실제 185명이 평가에 참여하였습니다. 

   ※ 상기 인원 모두는 4개 정예팀과 이해충돌 확인 등을 거쳐 확정된 인원임 

 

 ㅇ 국민 평가단의 평가 역시 정예팀별 절대평가로 진행되어, 최저 1점부터 최고 5점까지 점수를 부여하도록 하였습니다. 

   ※ 1점(매우미흡) - 2점(미흡) - 3점(보통) - 4점(우수) - 5점(매우우수)

 

 ㅇ 각 사용자(일반 국민)가 절대평가하여 점수를 합산하고, 10점 만점 으로 스케일링하여 최종 점수를 산출하였습니다. 

   ※ 예 : 일반 국민(185명)의 점수 합산 후 평균 점수가 3.7점일 시, 최종 점수는 7.4점(=3.7점×(10/5)) 반영

 

 ㅇ 이를 종합한 일반 국민 평가단 평가 점수는 LG AI연구원 정예팀이 7.6점의 최고점을 득점하였고, 4팀의 평균 점수는 7.03점(소수점 셋째자리 이하 반올림)입니다.

 

４ 독파모 프로젝트는 단순한 순위 경쟁이나 탈락 팀 선정을 목적으로 하는 것이 아니라, 우리 AI기업들이 경쟁을 넘어 성장하고, 국내 AI 생태계의 질적 성장과 확장을 견인하는 데 그 취지가 있습니다.

 

 ㅇ 평가 결과 공개에 따른 일부 기업의 예기치 않은 직·간접적 피해를 최소화하는 한편, 평가 과정·결과에 대한 공정성과 투명성이라는 가치 역시 균형 있게 고려하여, 1차 단계평가 결과 공개와 같은 수준으로 2차 단계평가 결과를 공개하였습니다.

 

５ 앞으로도 과기정통부는 독파모 정예팀을 비롯한 다양한 기업들이 이번 프로젝트의 결과에 머무르지 않고, 각자의 AI 모델과 기술을 지속적으로 발전시켜 국내 AI 생태계에서 그 가치를 인정받고 실제 현장에서 활용·확산할 수 있도록 정책적 지원을 확대해 나가겠습니다.