

- 언어모델의 크기가 커질수록 모델의 정확도가 향상됨 (Scaling Law)
- 온디바이스AI가 독립성, 프라이버시 등에 유리하지만 거대 모델을 온전히 담기에 개인 단말에 많은 제약 존재
- 부족한 온디바이스 HW 자원 (프로세서, 메모리 등)으로 인한 사용자 경험 저하(정확성, 응답성)를 극복하는 고효율 AI 추론 SW 기술



- 제한된 메모리 환경에서 다양한 앱과 공존하며 적절한 정확도와 응답성을 유지하며 거대모델 구동 가능
- 빠르고 작은 용량의 주메모리와 느리지만 용량이 큰 보조 메모리 계층을 혼용하여 보다 큰 거대 모델을 구동하면서도 정확성과 빠른 응답성(토큰 생성 속도)을 유지

- 메모리 활용 제약이 큰 휴대 단말에서 거대언어모델 기반 문서 요약 및 분석, 문서 작성 보조, AI비서 서비스 등
- 개인 정보, 기업 정보 등 기밀성이 중요한 응용 분야에서 서버/클라우드로의 정보 유출 없는 온디바이스 AI

- 담당자 : 고광원 (고성능컴퓨팅시스템연구실) / kwangwon.koh@etri.re.kr
- 부담당자 : 박은지(고성능컴퓨팅시스템연구실) / pakeunji@etri.re.kr