• 언어모델의 크기가 커질수록 모델의 정확도가 향상됨 (Scaling Law)
  • 온디바이스AI가 독립성, 프라이버시 등에 유리하지만 거대 모델을 온전히 담기에 개인 단말에 많은 제약 존재
  • 부족한 온디바이스 HW 자원 (프로세서, 메모리 등)으로 인한 사용자 경험 저하(정확성, 응답성)를 극복하는 고효율 AI 추론 SW 기술
  • 제한된 메모리 환경에서 다양한 앱과 공존하며 적절한 정확도와 응답성을 유지하며 거대모델 구동 가능
  • 빠르고 작은 용량의 주메모리와 느리지만 용량이 큰 보조 메모리 계층을 혼용하여 보다 큰 거대 모델을 구동하면서도 정확성과 빠른 응답성(토큰 생성 속도)을 유지
  • 메모리 활용 제약이 큰 휴대 단말에서 거대언어모델 기반 문서 요약 및 분석, 문서 작성 보조, AI비서 서비스 등
  • 개인 정보, 기업 정보 등 기밀성이 중요한 응용 분야에서 서버/클라우드로의 정보 유출 없는 온디바이스 AI
  • 담당자 : 고광원 (고성능컴퓨팅시스템연구실) / kwangwon.koh@etri.re.kr
  • 부담당자 : 박은지(고성능컴퓨팅시스템연구실) / pakeunji@etri.re.kr

ETRI(한국전자통신연구원)

(34129) 대전광역시 유성구 가정로 218 ㅣ Tel. 1466-38


운영사무국 ㅣ (주)엠앤씨 커뮤니케이션즈

Tel. 02-6925-3966 | Fax. 02-6235-6634 | etricon2024@gmail.com
(06114) 서울 강남구 강남대로 126길25, 3F ㅣ 사업자등록번호 204-86-26455


Copyright ⓒ ETRI Conference 2024 All rights reserved.