티스토리 뷰
매장 에스프레소 머신이 갑자기 멈춘 날, 저는 생각보다 빨리 냉정해졌습니다. 콜드브루를 꺼내 손님께 드리면서 속으로는 "구조 자체가 문제였구나"를 되뇌었는데, 나중에 AI 반도체 이야기를 접하고 그 느낌이 묘하게 겹쳤습니다. 기존 컴퓨터 구조의 병목 현상을 뿌리째 바꾸려는 시도가, 그날 제가 배운 교훈과 꼭 닮아 있었기 때문입니다.
폰 노이만 구조, 왜 한계에 부딪혔나
일반적으로 컴퓨터는 빠를수록 좋다고만 알려져 있지만, 제 경험상 속도만큼 중요한 건 구조 자체의 효율입니다. 현재 대부분의 컴퓨터와 서버는 폰 노이만(Von Neumann) 아키텍처 위에서 작동합니다. 여기서 폰 노이만 구조란? 연산을 담당하는 장치(CPU·GPU)와 데이터를 보관하는 메모리가 물리적으로 분리된 설계 방식입니다. 사무실과 서류 창고가 건물 두 동에 나뉘어 있어서, 직원이 서류 한 장을 꺼내러 매번 뛰어다녀야 하는 상황과 같습니다.
AI 모델이 복잡해질수록 이 왕복 거리가 발목을 잡습니다. LLM(대형 언어 모델)을 구동할 때 연산 칩이 쉬는 시간이 오히려 데이터 전송 대기 시간보다 짧아지는 역전 현상까지 발생합니다. 이를 메모리 병목(Memory Bottleneck)이라 부르는데, 쉽게 말해 아무리 빠른 요리사가 있어도 재료를 가져오는 사람이 느리면 음식이 늦게 나오는 것과 같습니다. 국제반도체표준협의기구(JEDEC)에 따르면 최신 GPU 연산 처리 능력 대비 메모리 대역폭 성장 속도는 절반에도 미치지 못하는 수준으로, 이 격차는 해마다 벌어지고 있습니다(출처: JEDEC).
HBM(High Bandwidth Memory), 즉 고대역폭 메모리가 한동안 해결책처럼 여겨졌습니다. 메모리를 수직으로 쌓아 데이터 전송로를 넓힌 기술인데, 저는 이걸 보며 "창고 통로를 넓힌 것일 뿐, 창고와 사무실이 붙어 있지는 않다"는 생각이 들었습니다. 근본 구조는 여전히 그대로라는 점에서, 임시방편에 가깝다고 봤습니다.
PIM 기술이 바꾸는 연산의 판도
이 한계를 정면 돌파하는 방식이 PIM(Processing-In-Memory) 기술입니다. PIM이란? 메모리 반도체 내부에 연산 기능을 직접 탑재하여, 데이터가 CPU나 GPU까지 이동하지 않고도 메모리 안에서 바로 처리되도록 설계한 구조입니다. 서류를 보관하는 캐비닛 자체에 계산기가 내장되어 있어서, 직원이 자리에 앉은 채로 결과를 받아보는 상황에 비유할 수 있습니다.
카이스트 연구팀이 개발한 '소울메이트'는 여기서 한 발 더 나아갔습니다. 기존 PIM이 메모리 안에 작은 연산 장치를 징검다리처럼 배치하는 방식이었다면, 소울메이트는 메모리 셀(Cell) 자체를 연산 소자로 바꾸는 구조를 구현했습니다. 메모리 셀이란? 데이터를 0 또는 1로 저장하는 반도체의 최소 단위인데, 이 단위 자체가 스스로 계산까지 수행하도록 만든 것입니다. 데이터 이동 거리가 분자 수준으로 줄어들기 때문에 이론적으로 전력 손실이 0에 가까워집니다.
여기에 더해 소울메이트는 디지털 방식이 아닌 아날로그-하이브리드 연산 구조를 채택했습니다. 기존 반도체가 전기 신호를 0과 1, 두 가지 상태로만 처리했다면, 이 방식은 전압을 미세하게 조절해 수천 가지 연속 값을 한 번에 처리합니다. 전등을 켜고 끄는 방식이 아니라 조광 다이얼로 밝기를 조절하듯, 훨씬 많은 정보를 단 한 번의 신호로 처리할 수 있게 됩니다. 이를 통해 연산 속도는 높이고 소비 전력은 기존 대비 수백 배 줄이는 성과를 실험실 단계에서 입증했다고 알려져 있습니다.
뉴로모픽 반도체와 온디바이스 AI의 결합
PIM이 기존 구조의 연산 효율을 끌어올린 진화형이라면, 뉴로모픽(Neuromorphic) 반도체는 아예 인간 뇌의 신경망 구조를 하드웨어로 재현한 혁신형입니다. 뉴로모픽이란? 뇌의 뉴런과 시냅스가 전기 신호를 주고받는 방식을 모방하여, 필요한 순간에만 전력을 소비하는 이벤트 기반(Event-Driven) 설계를 반도체에 적용한 것을 말합니다. 인간의 뇌가 수천억 개의 신경세포를 가지고도 고작 20W 안팎의 에너지만 쓰는 원리를 그대로 칩에 옮긴 것입니다.
소울메이트가 주목받는 또 다른 이유는 온디바이스(On-Device) AI 구현 능력입니다. 온디바이스 AI란? 클라우드 서버를 거치지 않고 기기 자체에서 AI 연산을 완결하는 방식을 말합니다. 지금 우리가 쓰는 스마트폰 AI 기능 대부분은 사실 데이터를 원격 서버에 전송해 처리한 결과를 다시 받아오는 구조입니다. 솔직히 이건 예상 밖이었습니다. 스마트폰이 직접 처리한다고 생각했는데, 실상은 복잡한 AI 판단의 상당 부분이 클라우드를 거치고 있었던 것입니다.
소울메이트 수준의 초저전력 온디바이스 AI가 현실화된다면, 그 파급력은 다음 세 가지 영역에서 즉각 나타날 것으로 보입니다.
- 자율주행: 차량 내부에서 실시간 판단이 완결되어 통신 지연으로 인한 사고 위험이 제거됩니다.
- 의료·군사: 외부 서버 전송 없이 민감 데이터를 기기 안에서만 처리해 정보 유출 리스크가 사라집니다.
- 개인 AI 비서: 내 언어 습관, 건강 상태, 감정 패턴을 클라우드 없이 기기 안에서 학습하고 진화하는 완전 개인화 AI가 가능해집니다.
상용화까지 넘어야 할 현실적인 장벽
이쯤에서 냉정하게 짚어볼 필요가 있습니다. 일반적으로 혁신적인 기술이 나오면 곧장 상용화될 것처럼 기대되지만, 제 경험상 현장에서는 구조를 바꾸는 것보다 그 구조에 맞춰 쌓인 기존 생태계를 바꾸는 것이 훨씬 어렵습니다. 매장 장비를 교체했을 때, 장비 자체보다 직원 교육과 운영 프로세스 정비에 더 많은 시간이 걸렸던 경험이 있습니다. 반도체 세계에서도 마찬가지입니다.
가장 큰 관문은 소프트웨어 호환성입니다. 전 세계 개발자들은 지금까지 디지털 방식의 0·1 신호 체계에 맞춰 코드를 짜왔습니다. PyTorch나 TensorFlow 같은 AI 프레임워크도 그 위에 세워져 있습니다. 아날로그-하이브리드 방식으로 작동하는 소울메이트가 이 생태계와 매끄럽게 연동되려면 전용 컴파일러와 소프트웨어 스택 개발이 병행되어야 합니다. 엔비디아가 반도체 시장을 장악할 수 있었던 진짜 무기가 칩의 성능이 아니라 CUDA(쿠다)라는 소프트웨어 플랫폼이었다는 사실은, 이 장벽이 얼마나 높은지를 잘 보여줍니다.
두 번째 과제는 양산 수율 안정화입니다. 수율이란? 생산된 칩 중 정상 작동하는 칩의 비율을 말합니다. 연구실에서 소수 제작할 때와 달리, 매달 수백만 장씩 양산하는 과정에서 아날로그 소자는 온도·전압의 미세한 변화에도 특성이 달라질 수 있어 균일한 품질 유지가 까다롭습니다. 다행히 국내 메모리 반도체 제조사들은 세계 최고 수준의 대량 양산 인프라를 보유하고 있어, 카이스트의 설계 역량과 결합하면 이 문제를 가장 빠르게 풀 수 있는 위치에 있는 것은 분명합니다. 실제로 국내 반도체 생산 능력은 글로벌 메모리 시장 점유율 기준으로 상위권을 유지하고 있습니다(출처: 한국반도체산업협회).
결론
사전에 예방하지 못한 장비 고장이 결국 프로세스 전반을 개선하는 계기가 되었듯, 기존 반도체 구조의 한계가 지금 이 혁신을 불러왔습니다. 단순 임기응변이 아니라 근본 원인을 건드리는 접근이 얼마나 중요한지, 이 기술이 다시 한번 보여주고 있습니다.
소울메이트가 실험실 밖으로 나와 실제 제품에 탑재되기까지는 소프트웨어 생태계 구축과 양산 수율 안정화라는 두 가지 고비를 반드시 넘어야 합니다. 그 과정이 순탄하지 않을 것은 분명하지만, 방향 자체가 맞다면 결국 도달하게 되어 있습니다. AI 반도체에 관심 있으시다면 PIM과 뉴로모픽 기술의 상용화 동향을 꾸준히 추적해 보시길 권합니다. 이 두 기술이 어떻게 접목되느냐에 따라, 우리가 매일 쓰는 기기의 모습이 생각보다 훨씬 빠르게 달라질 수 있습니다.
참고: 유튜브 채널 <백만사전> - "이게 진짜 가능해?" 카이스트 세계 최초로 개발한 AI 반도체, '소울메이트'에 빅테크들이 대전으로 달려오는 소름돋는 이유