티스토리 뷰
마케팅 홍보물 하나를 수정하는 데 반나절을 날려본 적이 있다면, GPT-6 에스트라의 3D 작업 데모가 왜 그렇게 눈에 밟히는지 바로 이해될 것입니다. 오픈AI가 공개한 에스트라는 블렌더(Blender)와 언리얼 엔진(Unreal Engine)을 직접 조작해 뉴욕 거리를 통째로 구현해냈습니다. 그런데 "AI가 혼자 뚝딱 만들었다"는 인상 뒤에는 생각보다 훨씬 복잡한 연산 구조와 비용 구조가 숨어 있었습니다.
1. AI 에이전트, 실제로 어떻게 프로그램을 다루는가?
저도 매장 운영과 콘텐츠 제작을 병행하면서 블렌더 같은 3D 소프트웨어를 건드려본 적이 있습니다. 낯선 버튼 하나를 찾는 데 화면 전체를 헤매다 시간을 흘려보낸 경험이 한두 번이 아닙니다. 그래서 에스트라가 4K 화면에서 폭 20픽셀짜리 버튼을 92.7% 정확도로 찾아낸다는 수치가 단순한 숫자로 느껴지지 않았습니다.
이 기술을 비주얼 그라운딩(Visual Grounding)이라고 합니다. 여기서 비주얼 그라운딩이란? 언어로 지시한 목표 대상을 실제 화면 좌표와 연결하는 기술을 의미합니다. 사람이 "저장 버튼 눌러"라고 말하면 AI가 화면 어디에 그 버튼이 있는지 직접 찾아 클릭하는 것이죠. 에스트라는 화면 전체를 축소해서 보는 게 아니라, 먼저 대략적인 위치를 파악한 뒤 해당 영역을 원본 해상도로 다시 확대해 정밀하게 식별합니다.
더 인상적인 건 결과를 스스로 보정한다는 점입니다. 카메라 구도가 잘려 소파 절반이 프레임 밖으로 나가도, 블렌더는 아무 문제 없이 렌더링을 마칩니다. 하지만 에스트라는 미리보기를 확인한 뒤 카메라를 뒤로 물리는 식으로 스스로 좌표를 수정했습니다. 언리얼 엔진으로 옮긴 뒤 충돌 판정이 빠져 캐릭터가 바닥을 뚫고 추락하는 상황도 직접 감지해 보정합니다. 일반적으로 AI는 코드를 실행하면 끝이라고 알려져 있는데, 실제로는 실행 결과를 다시 눈으로 보고 틀린 부분을 찾아 고치는 과정이 반복됩니다.
스크린스팟 프로(ScreenSpot Pro) 벤치마크 기준으로 에스트라는 92.7%를 기록했으며, 이전 모델인 GPT-5 솔은 76.9%였습니다(출처: OpenAI). 수치 차이가 크지 않아 보일 수 있지만, 실제 프로그램 조작에서 15%포인트는 작업 중단 빈도와 직결되는 격차입니다.
- 비주얼 그라운딩: 언어 지시를 화면 좌표로 연결하는 핵심 기술
- 자율 보정 루프: 결과를 재확인하고 오류를 스스로 수정
- 매니저 루프(Manager Loop): 총괄 에이전트가 목표를 쪼개 최대 96개 하위 에이전트에 분배
- 3D 형상 이해: 벤치마크 기준 에스트라 95.9%, 이전 모델 솔 83.3%
📌 AI 에이전트 다단계 조작 구조 요약
- 정밀 UI 탐색: 초고해상도 화면에서도 미세 버튼 위치 식별 (92.7% 정확도)
- 자율 결과 보정: 실행 결과를 피드백받아 구도 및 물리 오류 스스로 수정
- 대규모 협업 구조: 매니저 에이전트가 최대 96개 하위 에이전트 관리를 통해 프로젝트 완성
2. 연산비용이 매출이 되는 구조, 젠슨 황의 논리
제가 매장에서 AI 툴을 처음 도입했을 때 가장 불안했던 건 "이거 쓰는 비용이 사람 쓰는 것보다 비싸면 어쩌지?"라는 생각이었습니다. 한 번에 완벽하게 결과물이 나오지 않아 여러 번 재지시하고 수정하다 보면 토큰 비용이 생각보다 쌓이거든요. 그런데 젠슨 황 엔비디아 회장이 "컴퓨트 이즈 레버뉴(Compute is Revenue)", 즉 연산량이 곧 매출이라고 한 말을 에스트라 데모와 연결해 보면 이 불안감의 구조가 달라집니다.
과거에는 AI에게 긴 답변을 받으면 토큰(Token)을 많이 소비한다는 게 곧 비용 증가를 의미했습니다. 여기서 토큰이란? AI가 텍스트를 처리하는 최소 단위로, 단어나 음절 단위로 쪼개진 데이터 조각을 말합니다. 하지만 그 토큰으로 사람이 수십 시간 걸리던 3D 작업을 10분 만에 끝낼 수 있다면, 계산 방식이 완전히 바뀝니다. 토큰 비용보다 절감되는 인건비가 훨씬 크기 때문입니다.
오픈AI는 이 논리를 인프라 차원에서 실현하기 위해 브로드컴과 함께 자체 추론 전용 ASIC 칩인 할라피뇨(Jalapeño)를 설계했습니다. ASIC이란? 특정 용도에 최적화된 주문형 반도체를 의미합니다. 쉽게 말해 범용 GPU를 쓰는 것보다 추론 작업만을 위한 전용 칩을 만들어 와트당 토큰 생산량을 높이겠다는 전략입니다. 토큰 퍼 와트(Token per Watt), 즉 같은 전력으로 얼마나 많은 토큰을 생산하느냐가 AI 기업의 수익성과 직결되기 때문입니다.
솔직히 이건 예상 밖이었습니다. 처음엔 에스트라 데모가 단순히 "AI가 이만큼 똑똑해졌다"는 기술 과시처럼 보였거든요. 그런데 들여다보면 토큰 생산 단가를 낮추고 플라이휠(Flywheel) 수익 구조를 완성하려는 비즈니스 설계 그 자체였습니다. 플라이휠이란? 초기 모멘텀이 쌓이면 이후에는 작은 힘으로도 계속 굴러가는 자기강화 수익 구조를 의미합니다. 추론 비용이 낮아지면 더 많은 사용자가 ChatGPT와 Codex를 쓰고, 사용량이 늘면 매출이 늘고, 그 돈이 다시 인프라에 투자되는 구조입니다(출처: NVIDIA).
📌 연산량과 수익 구조 요약
- 생산성 역전: 토큰 소모 비용보다 절감되는 인건비 및 작업 시간이 압도적
- 할라피뇨 ASIC: 추론 전용 칩 설계를 통해 와트당 토큰 생산성 극대화
- 선순환 플라이휠: 연산 단가 절감 ➔ 이용자 확대 ➔ 매출 증대 ➔ 인프라 재투자의 자기강화 구조
3. 비즈니스 수율로 보는 AI 도입의 냉정한 계산
제 경험상 이건 좀 다릅니다. 에스트라가 하위 에이전트를 최대 96개까지 동시 구동해 뉴욕 거리를 만들었다는 사실은, "AI에게 시키면 알아서 다 된다"는 식의 기대치를 정확히 조정해줍니다. 매장에서 자동화 체계를 구축할 때도 마찬가지였습니다. 초기에 설정과 보정에 드는 비용과 시간이 분명히 존재하고, 그 구간을 버텨야 이후에 압도적인 효율을 얻을 수 있습니다.
오픈AI가 삼성전자와 SK하이닉스에 대규모 HBM(고대역폭 메모리) 공급을 요청한 것도 같은 맥락입니다. HBM이란? 데이터를 GPU와 ASIC에 빠르게 공급하는 고속 메모리 반도체를 의미합니다. 연산칩이 아무리 빨라도 메모리에서 데이터를 제때 꺼내주지 못하면 칩이 멈춰 기다리게 됩니다. 오픈AI가 2025년 목표로 제시한 웨이퍼 스타트 월 90만 장 규모는 당시 HBM 업계 전체 생산 능력의 두 배가 넘는 수치였습니다. 화려한 데모 뒤에 얼마나 거대한 하드웨어 병목이 실재하는지 보여주는 숫자입니다.
기업 입장에서 AI 도입의 실질적 판단 기준은 결국 하나입니다. 검수를 통과한 최종 결과물 하나를 얻기까지 드는 총소유비용(TCO), 즉 재시도 비용, 에이전트 구동 비용, 사람의 검수 시간을 모두 합산한 실제 정산 비용이 기존 방식보다 낮은가 하는 것입니다. 일반적으로 고성능 AI 모델은 비용이 비싸다고 알려져 있지만, 제가 실제로 업무에 적용해보니 한 번에 제대로 끝내주는 모델이 오히려 저렴한 모델을 다섯 번 재시도하는 것보다 최종 비용이 낮은 경우가 많았습니다.
로스팅 작업에서 원두 수율을 맞출 때도 비슷한 논리가 적용됩니다. 추출 변수 하나를 잡기 위해 생두를 여러 번 소진하면서 시행착오를 반복하는 비용이, 처음부터 정밀하게 세팅하는 비용보다 훨씬 큰 경우가 허다합니다. AI 에이전트 구조도 정확히 같습니다. 에스트라가 뉴욕 데모에서 96개 에이전트를 동시 구동한 건 "비용 면에서 과한 설정"이라고 개발자 본인도 인정했습니다. 실제 상용화 단계에서는 이 TCO를 얼마나 낮출 수 있느냐가 오픈AI의 진짜 해자(경쟁 우위)를 결정할 것입니다.
📌 AI 도입 실질 TCO 요약
- 메모리 병목 실재: 연산 효율화를 가로막는 HBM 공급 한계가 강력한 하드웨어 병목으로 작용
- 총소유비용(TCO) 중심: 단순 모델 가격이 아닌 '재시도 비용 + 검수 시간'을 포함한 정산 비용이 기준
- 실질 경쟁력: 저렴한 모델의 다중 재시도보다, 고성능 모델의 1회 정밀 완료가 더 경제적
4. 자주 묻는 질문
Q. GPT-6 에스트라가 블렌더나 언리얼을 쓸 수 있는 게 정말 가능한가요?
A. 가능합니다. 다만 AI가 3D 기술 자체를 내장한 것이 아니라, 블렌더와 언리얼 엔진이라는 기존 전문 도구를 에이전트가 직접 조작하는 방식입니다. 화면을 보고 버튼 위치를 찾고, 코드를 실행하고, 결과를 다시 확인해 보정하는 반복 루프가 핵심입니다. 일반적으로 AI가 코드만 생성한다고 알려져 있지만, 실제로는 실행 결과까지 스스로 검토합니다.
Q. 에이전트를 96개씩 돌리면 비용이 너무 많이 드는 거 아닌가요?
A. 맞습니다. 개발자 본인도 비용 면에서 과한 설정이라고 밝혔습니다. 뉴욕 데모는 상용 서비스 조건이 아닌 기술 가능성을 보여주는 시연이었습니다. 실제 비즈니스 적용에서는 에이전트 수와 재시도 비용을 합산한 총소유비용(TCO)이 인건비 절감액보다 낮을 때 경제적 의미가 생깁니다.
Q. 오픈AI가 자체 칩 할라피뇨를 만드는 이유가 뭔가요?
A. 같은 전력으로 더 많은 토큰을 생산하기 위해서입니다. 엔비디아 GPU는 범용 연산에 최적화되어 있는 반면, 할라피뇨는 AI 추론 작업만을 위한 전용 ASIC 칩입니다. 와트당 토큰 처리량이 높아질수록 추론 단가가 낮아지고, 이것이 플라이휠 수익 구조의 핵심 축이 됩니다.
Q. 소상공인이나 중소기업도 이런 AI 에이전트를 실무에 쓸 수 있나요?
A. 지금 당장 96개 에이전트를 돌리는 방식은 현실적이지 않습니다. 하지만 반복적인 디자인 수정, 마케팅 레이아웃 작업, 데이터 정리처럼 명확한 규칙이 있는 업무에는 이미 실용적인 수준으로 적용 가능합니다. 제 경험상 초기 세팅에 시간을 충분히 투자하면 이후 반복 작업에서 체감 효율은 확실히 달라집니다.
5. 결론
GPT-6 에스트라의 데모는 분명 인상적입니다. 하지만 저는 그 화려함보다 "검수를 통과한 작업 하나에 실제로 얼마가 들었는가"라는 질문이 더 중요하다고 생각합니다. 젠슨 황의 "컴퓨트 이즈 레버뉴"는 틀린 말이 아니지만, 그 연산 비용이 실제로 창출하는 가치보다 낮아지는 지점을 증명해야 비로소 대중적인 AI 도구로 자리 잡을 수 있습니다.
오픈AI가 할라피뇨 칩을 설계하고 HBM 공급을 확대하려는 것은, 현재의 전력·메모리 병목이 그만큼 현실적인 한계임을 역설적으로 드러냅니다. 기술이 빠르게 발전하는 만큼, AI 도입을 고려하는 분이라면 데모의 완성도보다 TCO 계산을 먼저 해보시길 권합니다. 지금 당장 모든 걸 자동화할 수는 없어도, 반복 업무 하나씩 비용과 시간을 실제로 재보는 것이 가장 현실적인 첫걸음입니다.
참고: 유튜브 채널 <안될공학 - IT 테크 신기술> - GPT6 Astra, AI로 돈 번다… NVIDIA 젠슨황 말을 증명하다 | Compute is Revenue