5시간 전
사용자에 즉각 반응하는 ‘온디바이스 AI’
2026.03.07 07:02
데이터센터를 기반으로 운영되는 AI 서비스는 비싼 데다, 개인정보 유출 가능성이 크다는 단점이 있다. 이에 데이터센터를 거치지 않고 개인용 컴퓨터(PC)나 스마트폰에 내장된 칩이 AI 연산을 직접 처리하는 ‘온디바이스(On Device) AI’에 대한 관심이 커지는 상황이다. 이미 테슬라의 자율주행차에서는 차량에 내장된 AI 칩 ‘풀 셀프 드라이빙(FSD) 컴퓨터’를 통해 AI 기능이 작동하고 있다.
한번 사면 구독료 없이 AI 이용 가능
최근 삼성전자 갤럭시 스마트폰에도 퀄컴의 모바일 SoC(System on Chip) ‘스냅드래곤’이나 삼성전자의 모바일 애플리케이션 프로세서(AP) ‘엑시노스’가 탑재되고 있다. 아이폰17에는 애플이 설계한 칩 ‘A19’가 들어간다. 모두 기기의 AI 기능을 운영하는 칩들이다.엔비디아는 AI 구동에 최적화된 AI 전용 PC ‘엔비디아 DGX 스파크’를 출시하기도 했다. 이 제품에 들어 있는 ‘GB10 그레이스 블랙웰 슈퍼칩’은 파라미터가 약 2000억 개인 AI 모델을 가동할 수 있다. AI 연구자들이 사용하기 적합한 성능으로, 가격은 약 3000~4000달러(약 430만~570만 원) 수준이다.
최근 PC에 AI 비서 ‘오픈클로(Openclaw)’를 설치해 컴퓨터 내 파일을 알아서 정리하거나 이메일을 분류하게 하는 서비스가 주목받고 있다. 이 서비스를 잘 실행할 수 있는 컴퓨터로 애플 실리콘 기반의 ‘맥 미니(Mac Mini)’가 인기다. 컴퓨터 내에서 AI 비서를 실행하려면 컴퓨팅 자원이 필요한데, 맥 미니가 적은 전력으로 AI 비서를 운영하는 데 최적화돼 있기 때문이다.
챗GPT 같은 생성형 AI 서비스를 이용하려면 매달 구독료를 내야 한다. 하지만 온디바이스 AI 서비스는 AI 모델을 운영하는 칩을 내장한 기기를 한번 사기만 하면 매달 추가 요금 없이 이용할 수 있다. 대다수 생성형 AI 서비스 구독료가 매월 20달러(약 2만9000원)부터 많게는 200달러(약 29만 원)까지로 비싸다는 점을 고려하면 온디바이스 AI는 합리적인 선택일 수 있다.
온디바이스 AI는 개인정보 유출에 대한 사용자의 불안감을 낮추기도 한다. 데이터센터를 기반으로 작동하는 AI를 사용하다 보면 AI가 나에 대해 많은 것을 알게 될수록 더 많은 나의 개인정보가 데이터센터로 전송된다는 사실이 걱정스러워진다. 내 직업과 업무, 나이, 거주지, 연봉, 재산 수준, 가족 등 정보가 데이터센터로 흘러들어간다. 하지만 온디바이스 AI는 내가 소유한 기기 안에만 개인정보가 저장되기 때문에 상대적으로 개인정보가 유출될 가능성이 적다. 내 PC 속 파일이나 데이터에 AI가 접근해 조작할 수 있는 AI 비서가 발전할수록 정보 유출 우려는 더욱 커진다. 온디바이스 AI의 중요성이 강조될 수밖에 없는 이유다.
로봇 발전에 중요한 온디바이스 AI
온디바이스 AI는 향후 크게 성장할 로봇이나 증강현실(AR) 안경 같은 기기에서도 중요한 역할을 한다. 이 기기들이 데이터센터를 통하지 않고 기기 내 AI 칩을 통해 AI 연산을 수행해야 하는 이유는 바로 속도 때문이다. 돌발 상황에 대한 빠른 판단이 중요한 자율주행차에 온디바이스 AI가 필요한 것과 같다. 로봇이 동작을 바꿀 때마다 매번 데이터센터로 데이터를 보내야 한다면 로봇이 움직이는 속도가 느려질 수밖에 없다. AR 안경 역시 사용자가 지금 보고 듣고 있는 것에 대해 AI가 곧장 반응해야 하기에 빠른 속도가 생명이다.온디바이스 AI가 발전할수록 AI 가속기가 중요해진다. 기기 내에 장착돼 저전력으로 작동하는 작은 신경망처리장치(NPU)와 AI 칩에 최적으로 연결되는 LPDDR, SRAM 같은 메모리 반도체들이다. 개인 기기에 들어가는 작은 AI 가속기들은 데이터센터만큼 성능을 내지는 못하겠지만 보안 문제에 안심하면서 빠르게 AI 기능을 활용할 수 있도록 사용자들을 도울 것이다.
앞으로 AI 시장은 고성능 반도체가 집약된 데이터센터와 저전력 반도체를 품은 온디바이스 AI로 양분될 전망이다. 복잡한 AI 모델 훈련과 대규모 추론은 데이터센터에서, 일상적이고 즉각적인 AI 작업은 기기 내 AI 가속기가 처리하는 것이다. 즉 온디바이스 AI는 데이터센터를 대체하는 것이 아니라, 새롭게 열리는 또 다른 시장이다.
저작권 보호를 위해 본문의 일부만 표시됩니다.
원문 보기 →댓글 (0)
첫 번째 댓글을 작성해보세요!
OpenClaw의 다른 소식
모든 소식을 불러왔습니다