행사후기

피지컬 AI는 올해 크리스마스 선물이 될 겁니다

📅 2026년 9월 11일
🤝 Bloom × Nebius × NVIDIA
🎤 Guan-ru Huang, Nebius 클라우드 솔루션 아키텍트 · Dhruv Diddi, Nebius 피지컬 AI · Andy Lee, NVIDIA APAC 피지컬 AI & Inception · 박유빈, 디든로보틱스 CBO
📍 합정 우물
🎟️ 행사 페이지 보기

Bloom과 함께 서울에서 멋진 행사를 만들어준 Nebius와 NVIDIA에 박수를 보냅니다.

글로벌 AI 해커톤이 한국에서 막 시작됐습니다. Nebius와 피지컬 AI를 주제로 여러 업계의 AI 빌더 150명이 한자리에 모였습니다. 한국은 오랫동안 제조 강국이었고, 새로운 AI 물결이 가져올 기회도 바로 가까이 와 있습니다.

올해 크리스마스에는 아이들이 트리 아래에서 로봇 선물을 풀어보고 있을지도 모른다는 말을 들은 순간을 잊지 못할 것 같습니다. 변화가 눈 깜짝할 사이에 일어나고 있습니다. Nebius와 함께 계속 만들고, 할 수 있는 것의 한계를 계속 넓혀가 봅시다.

든든하게 지원해주신 Nebius의 Dhruv Diddi, Guan-ru Huang, Alice Lin, Daniel Colaianni 님, 영감을 주는 이야기를 들려주신 NVIDIA의 Andy Lee 님과 디든로보틱스의 박유빈 님께 깊이 감사드립니다. 멋진 Bloom 앰배서더 전창원, 이민재, 김주언, 강정민 님, 그리고 Bloom 커뮤니티 모두에게도 고맙습니다.

최소 도쿄보다는 잘하고 싶었습니다

행사장은 합정에 있는 복합문화공간 우물이었습니다. 200평 규모에 야외 마당과 실내 2층, 3층, 옥상까지 있는 곳인데 이날은 통째로 빌렸습니다. Bloom은 보통 강의실 같은 곳에서 모이고 바로 전날에도 다른 기업과 실내에서 행사를 했지만, 해커톤의 출발을 알리는 자리라 조금 다른 공간을 골랐습니다.

금요일 저녁 퇴근길과 겹치는데도 5시 체크인부터 사람들이 일찍 모였습니다. 먼저 저녁을 먹으며 옆 사람과 인사를 나누다가 5시 반에 시작했습니다. Bloom에 처음 오신 분을 여쭤보니 4분의 1쯤 손을 드셨고, 전날 행사에서 뵌 얼굴도 여럿 보였습니다.

Nebius는 미국 나스닥에 상장된 AI 인프라 회사이고, 이번 해커톤은 Nebius가 NVIDIA와 함께 여는 글로벌 해커톤입니다. 이틀 전 도쿄를 시작으로 다낭, 서울, 쿠알라룸푸르, 싱가포르, 타이베이를 돌고 런던, 파리, 베를린, 뉴욕, 토론토, 샌프란시스코까지 모두 20개 도시를 거칩니다. 오프닝에서 저는 준비하면서 든 마음을 그대로 털어놨습니다.

행사를 준비하는 입장에서 약간 경쟁 의식을 느끼더라고요. 최소 도쿄보다는 잘해야 되겠다. 최소 런던보다는 잘해야 되겠다.

20개 도시 가운데 가장 힙하고, 사람이 가장 많이 오고, 가장 많이 퍼진 행사로 남기고 싶었습니다. 디스코드에는 이 해커톤만을 위한 방을 따로 열었습니다.

오늘은 제출하는 날이 아니라 출발선입니다

이날은 결과물을 내는 자리가 아니었습니다. 해커톤은 온라인으로 진행되고, 제출 마감은 미국 태평양 시간 10월 30일 오전 10시, 한국 시간으로는 10월 31일 새벽 2시입니다. 서울 행사에 오지 않았어도 누구나 참가할 수 있어서, 이날은 팀을 꾸리고 도구를 손에 익히는 시작점으로 잡았습니다. Luma 안내에도 데모도 피칭도 없다고 적어두었습니다.

참가하려면 결과물이 Nebius Token Factory나 Nebius AI Cloud 위에서 돌아가야 하고, NVIDIA 오픈소스 모델을 하나 이상 써야 합니다. 언어 쪽은 Nemotron 3 계열, 피지컬 AI 쪽은 Cosmos와 GR00T, Sonic이 해당합니다. 트랙은 네 개입니다. Token Factory 샌드박스에서 코드를 쓰고 실행하고 테스트하는 코딩 에이전트와 개발 도구를 만드는 코딩·에이전틱 엔지니어링, 누군가 실제로 쓸 앱이나 에이전트를 만드는 앱·에이전트, 내 데이터를 내가 쥔 채 늘 켜져 있는 개인 비서를 만드는 개인용 AI, 로보틱스와 IoT와 온디바이스처럼 현실에서 감지하고 움직이는 에이전트를 만드는 피지컬 AI입니다.

상금은 모두 5만 달러가 넘습니다. 대상 2만 달러, 2등 1만 달러, 3등 6천 달러가 있고, 트랙별 우승 네 팀은 NVIDIA Jetson Orin Nano를 받습니다. Tavily를 가장 잘 쓴 팀에게 3천 달러, 도시별 우승 20팀에 500달러씩, 쓸모 있는 제품 피드백을 남긴 열 명에게 100달러와 NVIDIA 굿즈가 따로 걸려 있습니다. 도시별 우승은 오프라인 행사 참석자가 대상이라 이날 오신 분들은 서울 이름으로 응모합니다. 한 프로젝트가 받을 수 있는 건 종합상 하나, 또는 트랙상 하나와 보너스상 하나까지입니다.

제출할 것은 3분이 넘지 않는 유튜브 영상, 오픈소스 라이선스를 붙인 공개 저장소, 설명 글, 그리고 Nebius와 NVIDIA 도구에 대한 피드백입니다. 결과물의 소유권은 참가자에게 남습니다. 피지컬 AI 트랙은 영상에 실제 하드웨어나 로봇이 움직이는 장면을 1분 이상 넣어야 합니다. 시뮬레이션 화면만으로는 안 된다는 뜻인데, 이날 무대에서 나온 얘기의 상당수가 바로 이 조건과 맞닿아 있었습니다.

심사는 기본 요건을 통과했는지 먼저 거른 뒤 기술 구현, 디자인, 잠재적 임팩트, 아이디어의 질 네 가지를 같은 비중으로 봅니다. 심사 기간은 12월 1일부터 15일까지이고, 우승자는 1월 11일 무렵 발표됩니다. 9월 12일 기준으로 Devpost에 등록한 참가자는 3,589명입니다.

Nebius는 NVIDIA와 같이 데이터센터를 짓는 회사입니다

첫 세션은 Nebius의 클라우드 솔루션 아키텍트 Guan-ru Huang이 맡았습니다. 대만 출신으로 Nebius에 합류한 지 1년이 넘었고, 일본과 한국을 포함한 아시아 전역을 맡습니다.

Guan-ru가 가장 먼저 꺼낸 건 선물이었습니다. 추론 플랫폼 Token Factory에서 쓸 수 있는 100달러 크레딧과, Nebius가 최근 인수한 Tavily의 무료 크레딧 1,000이었습니다. ChatGPT나 구글 API를 쓰고 있다면 같은 방식의 API 엔드포인트로 오픈소스 모델에 바로 옮겨 탈 수 있습니다. 내부자 정보라며 귀띔한 것도 있었습니다. 보통 도시마다 한 팀씩 대표가 나오고, 서울도 거기에 들어갑니다.

Nebius를 들어본 적 있느냐는 질문에는 손이 하나도 올라오지 않았습니다. Guan-ru는 오히려 좋다며 웃었습니다. Nebius는 이미 나스닥 상장사라서, 행사에서 자기가 Nebius 소액주주라고 말을 거는 사람을 만나면 주주 가치를 극대화하려고 최선을 다하는 중이라고 답한다고 합니다. 미국 주식시장에서 성과가 좋아 이름을 아는 사람이 많지만, 그가 강조한 건 따로 있었습니다. NVIDIA의 전략적 파트너로서 NVIDIA 레퍼런스 아키텍처대로 데이터센터를 짓고, 하드웨어와 데이터센터와 소프트웨어 스택을 모두 직접 만드는 수직 통합 구조라는 점입니다. Meta와 Microsoft 같은 큰 회사들에게 인정받았고, 미국과 유럽에 이어 아시아태평양으로 넓히는 중입니다.

엔드투엔드 AI 플랫폼 계층도를 띄워놓고는 이 슬라이드의 용어를 전부 이해한다면 Nebius에서 일할 수 있으니 끝나고 찾아오라며, 한국에서 채용 중이라고 덧붙였습니다. 이날 새로 연다는 Builder Program도 소개했습니다. 가입하면 Token Factory 25달러와 Tavily 25달러 크레딧을 받고 Nebius 인증을 1달러에 딸 수 있습니다. 공식 페이지에는 LangSmith와 Toloka 같은 파트너 크레딧도 함께 올라와 있습니다. 이날 온 분들은 이미 100달러를 받았으니 못 온 친구에게 알려달라는 당부였습니다.

ML 과학자는 뽑았는데 GPU가 없습니다

Nebius는 스스로를 슈퍼컴퓨터의 성능과 하이퍼스케일러의 유연성을 함께 갖춘 AI 전용 클라우드라고 소개합니다. Guan-ru는 이 문장을 업계의 두 부류로 풀었습니다. AWS, GCP, Azure 같은 하이퍼스케일러는 데이터센터를 지을 때 AI가 아니라 범용 워크로드를 염두에 뒀고, 반대편의 GPU 임대 업체는 소프트웨어 스택 없이 GPU만 빌려줍니다. Nebius는 그 사이에서 처음부터 AI 워크로드용으로 데이터센터를 짓고 그 위에 클라우드 소프트웨어까지 얹은 쪽이라고 했습니다.

고객이 GPU를 구할 때 가장 먼저 보는 건 출시 속도입니다. AI 스타트업에게 최악은 용량을 못 구하는 상황입니다.

ML 과학자들은 패닉에 빠집니다. 채용은 됐는데 모델을 학습시킬 GPU가 없으니까요.

요즘 모델은 주 단위, 월 단위로 학습을 돌리기 때문에 중간에 클러스터가 끊기면 처음부터 다시 해야 합니다. 그래서 안정성을 보고, Kubernetes와 Terraform, CLI, SDK에 익숙한 개발자가 손에 익은 방식대로 쓸 수 있는지를 봅니다. 지금은 GPU 10개나 수백 개로 시작해도 사업이 크면 수천 개가 필요해지니, 같은 클러스터와 같은 데이터센터 안에서 함께 커질 수 있는지도 따집니다. Guan-ru는 이 대목에서 Nebius가 베어메탈 GPU만 빌려주는 곳이 아니라 클라우드 스택을 통째로 갖춘 곳이라는 점을 거듭 짚었습니다.

하드웨어 얘기는 비개발자도 알아듣게 풀었습니다. GPU 클라우드의 세 재료인 컴퓨트, 스토리지, 네트워킹을 인프라 회사의 지방, 탄수화물, 단백질이라고 불렀습니다. 사양표에서 H100과 H200은 구세대인 Hopper이고, B200과 B300은 신세대인 Blackwell입니다. 세대가 올라갈수록 GPU 메모리가 커지는데, 파라미터가 많은 모델을 구형 GPU로 학습하려면 모델을 쪼개야 하고 그만큼 유지보수와 개발자 손이 더 갑니다. 고객이 원하는 GPU를 이미 정해서 오는 이유입니다.

VM 하나에는 보통 GPU가 8개 들어갑니다. 노드 안의 GPU끼리는 NVLink로, 노드와 노드 사이는 InfiniBand로 묶어서, GPU 16개가 필요하면 8개짜리 노드 두 대를 잇는 식입니다. 같은 Blackwell이라도 GB300은 이전 세대의 인텔 CPU 대신 NVIDIA 기반 CPU를 써서 CPU와 GPU가 더 촘촘하게 붙습니다.

GPU를 쓰는 방식도 층이 나뉩니다. 가장 쉬운 건 서버리스입니다. VM도 Kubernetes도 관리할 필요 없이 컨테이너만 올리면 되고, 일회성 학습은 Jobs로, 추론은 Endpoints로 돌립니다. 인프라를 직접 다루고 싶은 팀에게는 Slurm을 Kubernetes 위에서 돌리는 오픈소스 오퍼레이터 Soperator가 있습니다. 요즘 ML 과학자는 박사과정 연구실에서 일찍부터 Slurm 스크립트를 써왔고, AWS에서 온 DevOps 엔지니어는 Terraform과 Kubernetes는 익숙해도 Slurm은 전혀 모릅니다. 한 회사에 이 두 사람이 같이 있으니 DevOps용 Kubernetes 클러스터와 과학자용 Slurm 클러스터를 함께 줍니다.

그 밖에 요즘 많이 쓰는 SkyPilot과 Ray, 관리형 Kubernetes도 있습니다. 스토리지는 분산 학습 때 모든 노드가 같은 데이터를 읽을 수 있게 붙는 공유 파일 시스템과, 데이터나 학습 체크포인트를 담는 S3 방식의 오브젝트 스토리지로 나뉩니다.

트래픽 데이터로 모델을 다시 학습시킵니다

다음은 관리형 추론 플랫폼 Token Factory였습니다. Guan-ru는 모델과 추론 제공사의 속도와 가격을 비교하는 제3자 사이트 Artificial Analysis를 아느냐고 물었는데, 이번에도 아는 사람이 없었습니다. Nebius는 이 사이트에서 DeepSeek과 Kimi를 비롯한 여러 모델 기준으로 상위 3위 안에 든다고 소개했습니다.

지금 개발자들은 대개 폐쇄형 API를 쓰거나 직접 호스팅합니다. OpenAI나 Anthropic의 폐쇄형 API는 엔드포인트와 문서가 갖춰져 있어 처음에는 가장 쉽습니다. 하지만 서비스가 커질수록 API 비용이 불어나 마진이 줄고, 성능이 기대만큼 나오지 않을 수도 있습니다. GPU 클러스터를 직접 띄우는 셀프호스팅은 추론 클러스터를 돌릴 전담 DevOps 팀이 필요하고, 원하는 만큼 GPU를 조달하지 못할 수도 있습니다. Guan-ru가 짚은 더 큰 문제는 두 방식 모두 내 서비스의 트래픽 데이터로 모델을 계속 고칠 기회를 주지 않는다는 점이었습니다.

Token Factory는 그 고리를 제품 안에 넣었습니다. 오픈소스 모델을 골라 추론을 시작하고, 트래픽 데이터를 내보내 고객이 실제로 무엇을 묻는지 본 다음 다시 post-training을 합니다. 그렇게 만든 커스텀 가중치를 원하는 GPU 타입과 리전에 전용 엔드포인트로 올립니다. Guan-ru는 이걸 모델을 계속 좋아지게 하는 선순환 고리라고 불렀습니다. 지연시간은 speculative decoding과 캐시를 고려한 라우팅, KV 캐시로 줄입니다.

추론 플랫폼은 많지만 자기 AI 클라우드를 가진 곳은 드물어서, 다른 곳에서는 GPU 타입도 서빙 리전도 고를 수 없습니다. 보안과 컴플라이언스를 맞춰야 하는 기업에게는 이 선택권이 중요합니다. 고를 수 있는 오픈소스 모델은 60개가 넘고 매주 늘어나며, PoC에서 프로덕션까지는 몇 주면 간다고 했습니다.

2초 전에 일어난 일로 학습된 모델은 없습니다

마지막은 Tavily였습니다. ChatGPT에게 어느 팀이 지금 몇 점이냐고 물으면 모델은 웹에서 답을 가져와야 합니다.

2초 전에 일어난 일을 학습한 모델은 어디에도 없습니다.
No model can be trained on that data for things that just happened two seconds ago.

그런데 웹 검색 결과는 JSON 같은 형태로 돌아와서 AI 에이전트가 읽기 어렵습니다. Tavily는 에이전트와 웹 사이에 끼는 계층입니다. 관련 URL 목록을 주는 search, URL 안의 내용을 마크다운 같은 형태로 뽑아주는 extract, URL 사이의 관계를 따라가는 crawl을 제공하고, 공식 사이트에는 여기에 심층 리서치를 하는 research와 사이트 안의 URL을 훑는 map까지 올라와 있습니다.

풀어야 할 문제는 세 가지였습니다. 모두가 2초에 한 번씩 새 글을 올리는 웹은 멈춰 있는 데이터베이스가 아니라서 정확도를 맞추기 어렵습니다. 결과가 수천 개씩 나와도 질문과 얼마나 관련 있는지가 따로 문제입니다. 수백 페이지를 뒤지게 두면 결과가 늦게 떠서 사용자가 떠납니다.

셋을 관통하는 게 최신성입니다. 웹 개발자가 최신 React 업그레이드가 왜 안 되느냐고 물었는데 2~3년 전 문서나 Stack Overflow 질문을 가져오면 쓸모가 없습니다. Tavily는 이를 위해 refresh scheduler를 둡니다. 페이지가 얼마나 자주 바뀌는지, 마지막 업데이트가 언제인지, 얼마나 자주 검색되는지, 사이트가 얼마나 중요한지 네 가지 신호를 점수 하나로 합쳐 그 사이트를 다음에 언제 다시 긁을지 정합니다. Tavily는 자체 모델이 아니라 ChatGPT, Mistral, Anthropic 같은 모델 위에 붙는 계층이라, 코딩 에이전트든 CRM 데이터 보강이든 기업 리서치든 웹에서 정보를 가져와야 하는 일이면 어디에나 들어갑니다.

발표가 끝날 때쯤이면 모두가 로봇공학자입니다

두 번째 세션은 Nebius에서 피지컬 AI 생태계를 맡은 Dhruv Diddi였습니다. 구글과 Turo, YouTube를 거쳤고, Nebius가 NVIDIA Cosmos와 Isaac Sim, Isaac GR00T를 묶어 내놓은 Physical AI Workbench가 그의 영역입니다. Dhruv는 서울이 제조의 중심이라 GPU와 로봇과 이 기술을 서울에 가져오고 싶었다며 말문을 열었습니다. 먼저 객석에 배경을 물었는데, 전통적인 소프트웨어 출신이 가장 많았고 AI 네이티브 스타트업 출신이 일부, 피지컬 AI를 이미 다 아는 로봇공학자는 몇 명이었습니다.

이 발표가 끝날 때쯤 모두가 로봇공학자가 되는 게 제 목표입니다. 뭐, 진짜로 그렇게 되진 않겠지만, 적어도 로보틱스와 피지컬 AI 용어가 편해지고 그걸로 제대로 대화할 수 있을 만큼은요.

피지컬 AI는 실제 물리 세계에 배포하는 AI 전부를 말합니다. 임베디드 시스템일 수도 있고 집 안 물건을 똑똑하게 만드는 것일 수도 있지만, 가장 가치가 큰 형태는 로보틱스입니다. 슬라이드는 디지털 AI와 피지컬 AI를 나란히 놓았습니다. 디지털 AI의 출력은 화면 속 토큰이라 환각은 그냥 틀린 텍스트이고 오류 비용은 0입니다. 피지컬 AI의 출력은 현실에 바로 연결된 모터 토크라서 환각은 물리적 충돌이 되고 오류 비용은 치명적입니다. 유리잔을 떨어뜨리지 말라는 명령 하나가 결국 관절 각도와 토크로 바뀌어야 합니다.

물리 세계에서는 실수를 할 수 없습니다. 물 한 잔 떨어뜨리는 정도의 얘기가 아닙니다. 정밀하지 않으면 정말 치명적인 결과가 날 수 있습니다.

이날 계속 듣게 될 용어도 세 가지로 정리했습니다. 로봇을 학습시키는 두 방식인 모방학습과 강화학습, 로봇판 테스트 스위트라고 할 수 있는 평가, 그리고 파운데이션 모델입니다. 로봇 쪽 사람들이 가장 많은 시간을 쓰는 곳은 시뮬레이션 학습과 시뮬레이션 평가입니다. 모델을 로봇에 올려 모터를 망가뜨리기 전에, 과열되지는 않는지 소음이 나지는 않는지 먼저 봐야 하기 때문입니다. 슬라이드에는 실험실에서 95퍼센트여도 규모가 커지면 하루 50번 실패한다는 문장이 적혀 있었습니다. 파운데이션 모델도 LLM과 달리 모터 액션과 궤적, 센서 예측을 다루고, NVIDIA의 Cosmos와 GR00T, Sonic이 여기에 해당합니다.

역사 슬라이드의 제목은 추상에 갇힌 76년이었습니다. 1950년대 튜링의 모방 게임과 규칙 기반 AI에서 출발해, 1986년부터 2012년 AlexNet까지 픽셀에서 배우는 통계의 시대를 지나, 2017년 트랜스포머 이후 언어로 추론하고 창작하지만 여전히 화면 안에 머문 생성의 시대가 왔습니다. 2023년 이후는 Cosmos 같은 월드 모델과 GR00T 같은 액션 모델이 AI에게 현실의 자유도를 주는 시대입니다. Dhruv는 앞으로 75년은 피지컬 AI의 시대가 될 거라며, 이건 자기 말이 아니라 젠슨 황이 직접 한 말이라고 덧붙였습니다.

세 대의 컴퓨터가 서로 맞지 않습니다

Dhruv가 피지컬 AI에서 꼭 알아야 한다고 짚은 건 삼체 문제였습니다. 데이터를 모으고 학습하는 공장, 시뮬레이션을 돌리는 매트릭스, 모델이 실제로 올라가는 엣지가 모두 다른 컴퓨터라는 뜻입니다. 공장은 H100이나 H200을 묶은 DGX급 GPU 클러스터이고, 매트릭스는 Omniverse와 Isaac Lab, Cosmos로 디지털 트윈과 합성 데이터를 만드는 RTX급 서버이며, 엣지는 밀리초 단위로 반응해야 하는 Jetson Thor급 온보드 컴퓨터입니다. 이 세 컴퓨터의 조건이 서로 맞지 않는 것이 로봇이 아직 어디에나 있지 못한 이유입니다.

데이터 수집이 시뮬레이션과 안 맞을 때가 있습니다. 시뮬레이션이 배포와 안 맞을 때도 있습니다. 아무것도 안 될 때도 있고, 전부 될 때도 있습니다. 온라인에서 보시는 멋진 영상은 그 전부 된 경우입니다.

로보틱스의 모델은 모두 인지, 추론, 행동으로 나뉩니다. 감각 데이터를 받아들이는 모델, 모은 정보로 다음을 추론하는 모델, 그 추론을 로봇을 움직이는 모터 궤적으로 바꾸는 모델입니다. 슬라이드의 예시에서는 VLM이 잔이 가장자리에 있다고 알아채고, 월드 모델이 이 궤적대로 가면 잔이 떨어져 깨진다고 예측하고, VLA가 최대 1000Hz로 쥐는 동작을 고칩니다. Dhruv는 로봇이라고 하면 엄청 복잡할 것 같지만 그렇지 않다고 했습니다. 데이터를 모으고, 학습하고, 학습된 모델을 배포한다는 틀만 이해하면 됩니다.

모델 이름도 같은 틀로 풀었습니다. LLM은 텍스트를 넣으면 텍스트가 나오고, VLM은 이미지와 텍스트를 넣으면 이 사진에 고양이가 있느냐는 질문에 예나 아니오로 답합니다. VLA는 이미지와 텍스트를 넣으면 로봇의 행동이 나옵니다.

VLA는 예, 아니오, 안녕하세요 같은 말로 답하지 않습니다. 이 장면과 이 명령을 봤을 때 모터가 무엇을 해야 하는지로 답합니다.

200달러짜리 로봇 팔이 객석을 돌았습니다

로봇이 배울 데이터는 세 군데서 옵니다. 가장 확장성이 좋은 건 영상이라, 로봇이 유튜브를 보고 배울 수 있다면 얼마나 좋겠느냐며 많은 사람이 이 문제에 매달리고 있다고 했습니다. 다만 스마트폰 영상에는 힘이나 관절 정보가 없습니다. 시뮬레이션은 GPU 클러스터가 하룻밤에 수백만 에피소드를 만들어내지만 물리가 근사치라 현실과 어긋납니다. 사람이 로봇을 직접 조종하는 원격조작은 행동과 상태가 완벽하게 짝지어지는 대신 한 시간에 5개에서 50개 에피소드밖에 못 모읍니다. 슬라이드에는 인터넷의 텍스트는 이미 다 썼고, 로봇에게 필요한 관절 각도와 힘과 카메라 프레임이 맞물린 데이터는 대규모로 존재하지 않는다고 적혀 있었습니다. 이 얘기 끝에 Dhruv가 원격조작용 SO101 로봇 팔을 꺼냈습니다.

오픈소스 로봇 팔입니다. 인터넷에서 200달러 정도면 살 수 있고, 3D 프린팅이라 직접 고칠 수도 있고 부술 수도 있고 모터도 직접 구할 수 있습니다. 지금 구할 수 있는 로봇 중 가장 확장성이 좋습니다.

리더 팔을 움직이면 흰색 팔로워 팔이 그대로 따라 하는 방식입니다. 이렇게 원격조작으로 에피소드를 수천 개 모아 그 궤적으로 학습시킵니다. Dhruv는 로봇 팔을 객석에 돌리면서 누가 집에 가져가지만 않으면 좋겠다고 했고, 팔은 손에서 손으로 넘어갔습니다. 모방학습과 강화학습은 로봇이 물체와 상호작용하느냐로 가르면 쉽습니다.

온라인에서 보시는 로봇들이 춤추고 운동하는 영상은 전부 강화학습입니다. 물체와 상호작용하지 않으니까요. 로봇이 물컵을 다루거나 칩 조각을 옮기게 하려면 모방학습을 씁니다.

슬라이드의 원칙은 먼저 따라 하고 보상은 나중에였습니다. 사람의 시연을 복제하는 모방학습은 빠르고 샘플 효율이 좋아서 며칠 만에 성공률 80퍼센트의 출발점을 만들지만, 사람보다 잘할 수는 없습니다. 그다음 대규모 병렬 시뮬레이션에서 시행착오로 보상을 최적화하는 강화학습이 모방학습으로는 닿지 않는 드문 실패들을 하나씩 갈아냅니다. 텍스처와 마찰, 조명을 무작위로 바꿔가며 학습시켜야 현실의 변화에도 버팁니다.

이 과정은 GPU 설정도, 학습 방식도, 로보틱스 도구를 다루는 노하우도 복잡하고, 분야가 새로워서 도구가 흩어져 있습니다. Nebius는 그래서 워크플로를 오픈소스 저장소 하나로 묶었습니다. 에피소드 다섯 개만 있으면 나머지를 증강해 모델까지 만들어주는 학습 워크플로, 데이터 증강 워크플로, 원래는 시간과 노하우가 많이 드는 로봇 모델 평가 워크플로가 들어 있습니다. npa라는 CLI로 Nebius 프로젝트와 스토리지를 연결하고 LeRobot, Isaac Lab, Cosmos, GR00T, FiftyOne을 불러 쓰며, 어떤 모델이든 명령 세 개면 배포됩니다.

Workbench CLI를 쓰면 말 그대로 에이전트에게 시키면 됩니다. 에이전트가 GPU 클러스터를 세팅하고 학습까지 합니다. CLI에 익숙하지 않거나 로보틱스를 해본 적 없는 사람도 뛰어들 수 있게 에이전트가 쓰기 좋은 구조로 설계했습니다.

준비한 데모는 Nebius 마커를 집도록 학습시킨 모델이었는데 시간이 부족해 발표 뒤로 미뤘습니다. 슬라이드에 남은 예시는 사람 영상과 로봇 시연 2만 시간 이상으로 사전학습한 GR00T를 SO101에 맞춰 2,000스텝 정도 파인튜닝하고, 빨간 블록을 집으라는 명령을 수행하게 하는 흐름이었습니다. 무대에서 다루지 못한 배포 슬라이드에는 이런 문장도 있었습니다. 추론이 50~100밀리초만 늦어도 이족보행 로봇은 넘어질 수 있어서, 지능은 클라우드와 엣지에 물리적으로 나뉘어야 합니다. 큰 VLA가 느린 주기로 계획을 세우고, 로봇 안의 작은 정책이 1000Hz로 균형과 접촉을 잡는 구조입니다.

모델을 만드는 쪽, 현장에 붙이는 쪽, 인프라를 대는 쪽이 한자리에 앉았습니다

6시 15분부터는 제가 진행한 패널이었습니다. NVIDIA에서 아시아태평양 피지컬 AI와 스타트업·VC 프로그램 Inception을 맡은 Andy Lee, 앞서 발표한 Dhruv, 그리고 Bloom 멤버이기도 한 디든로보틱스 CBO 박유빈 님이 함께했습니다. 디든로보틱스는 자석 발로 철제 구조물의 벽과 천장을 타고 다니며 용접과 검사를 하는 사족보행 로봇을 만듭니다. 삼성중공업 실증을 통과해 납품에 들어갔고, HD한국조선해양과는 조선 블록 내부 용접 로봇을 함께 개발하는 중입니다. 모델을 만드는 회사, 그 모델을 돌릴 인프라를 대는 회사, 조선소에 로봇을 실제로 붙이는 회사가 한 줄에 앉은 셈입니다.

첫 질문은 요즘 직접 손으로 만져본 피지컬 AI였습니다. Dhruv는 도쿄에서 같은 발표를 하고 왔고 다음은 싱가포르라면서, 큰 로봇 말고 오픈소스 로봇만 35대쯤 갖고 있다고 했습니다. 요즘은 OpenAI의 Astra 모델을 만지는 중인데, 이 모델이 로봇 작업을 쉽게 만드는 창발적 특성을 보였다는 얘기가 온라인에서 많이 돈다고 했습니다. Andy는 집에 있는 3D 프린터로 Astra에게 시간을 아껴줄 생활용 해킹을 만들게 했고, 최근에는 MicroDuck을 사서 이리저리 만져보고 있습니다. 박유빈 님의 답은 짧았습니다. 로봇을 직접 만드는 회사라, 마지막으로 만진 로봇은 오늘 발표를 위해 직원과 함께 챙겨 온 거미 로봇이었습니다.

Cosmos와 GR00T를 쉬운 말로 설명해달라는 질문에 Andy는 이렇게 답했습니다.

Cosmos는 월드 파운데이션 모델입니다. 우리가 사는 세상을 이해하려고 합니다. 인지하고 예측하고 영상 데이터를 만들어서 모델이 주변 세계를 배우게 합니다. GR00T는 로봇 파운데이션 모델입니다. 세상에서 배운 걸 실제 행동, 즉 정책으로 바꿉니다. 공이 날아오는 걸 보면 다리를 들어 받아낼 수 있게요.

시뮬레이션에서 100점이어도 조선소에서는 미끄러집니다

로봇에게 뭔가를 가르칠 때 가장 어려운 게 뭐냐는 질문을 받자 Dhruv는 Andy가 쉬운 질문을 가져갔다며 웃었습니다. 답은 물리 세계를 상대하는 일이었습니다. 시뮬레이션 학습은 많이 발전했고 GR00T와 Cosmos는 사실상 최고 수준입니다. 그런데 자율주행 같은 앞 세대 피지컬 AI 스타트업이 겪었듯, 시뮬레이션에서 100점을 받았으니 충분하다고 여겼다가 현실에 배포하고 나서야 문제를 L1, L2 같은 자율성 단계로 다시 쪼개야 한다는 걸 깨닫게 됩니다. 어떤 건 왜 복잡한지조차 한참 뒤에 알게 됩니다. Dhruv는 가장 어려운 단계로 배포를 꼽았고, 배포가 매끄러워지려면 배포 자체가 더 많아져야 한다고 했습니다.

박유빈 님에게는 로봇이 실제로 어떻게 일하는지 물었습니다. 아주 긴 질문이라며 웃더니 문제를 둘로 나눴습니다. 하나는 내비게이션입니다. 선체는 3차원의 강자성 표면이라 로봇이 수직으로도, 수평으로도, 천장에서도 움직여야 하고, A에서 B로 옮겨 가는 데는 모델 예측 제어나 강화학습 기반 제어를 씁니다. 다른 하나는 도구 사용입니다. 로봇에 달린 산업용 팔에 용접, 앵글 그라인딩, 쇼트 블라스팅, 도장 도구를 번갈아 끼우는데 도구마다 제어 방식이 달라서, 철판에 어떻게 용접하고 칠할지를 VLA 모델로 제어하는 방법을 찾는 중입니다.

이어서 Nebius 팀에게 들은 대로 시뮬레이션을 충분히 돌린 뒤 현실에 넣으면 무엇이 먼저 깨지는지 물었습니다.

강화학습 시뮬레이터를 처음 만들 때는 평평한 바닥, 반듯한 각도처럼 아주 이상적인 환경을 만들었습니다. 그런데 실제 조선소에는 교란이 있습니다. 용접을 하면 바닥에 작은 쇳조각이 흩어지는데, 로봇이 그걸 밟으면 미끄러지고 제어를 잃을 수 있습니다.

이건 아주 단순한 예일 뿐이고 잘못될 수 있는 변수는 셀 수 없이 많습니다. NVIDIA 시뮬레이터든 MuJoCo든 알고리즘을 학습시키고 전부 테스트해도 현실에서는 늘 깨집니다. 그래서 시스템을 빠르게 반복하려면 먼저 실제 환경과 실제 로봇을 갖추고 거기서 계속 돌려봐야 합니다.

현실 없이는 어떤 해법도 만들 수 없습니다.
Without the real world, you cannot build any kind of solutions to it.

Andy에게는 피지컬 AI에서 더 어려운 게 AI인지 기계인지 물었습니다. 답은 확실히 50 대 50이었습니다. GPT-6 Astra와 막 나온 Fable처럼 AI 모델은 기하급수적으로 좋아지고 있지만, 현실에 배포하는 순간 계산에 넣을 수 없는 변수가 쏟아집니다.

조명 조건이 다르고 환경이 다르고, 뭔가 잘못될 수 있습니다. 조명 몇 개가 안 들어와 있을 수도 있고요. 그래서 하드웨어가 AI를 따라가야 하고, 지금 우리가 딱 그 단계에 있습니다.

피지컬 AI는 더 효율적으로 생각하게 만듭니다

컴퓨트를 더 쓰면 팀이 더 나아지느냐는 질문에 Dhruv는 반대쪽을 짚었습니다. 데이터가 많고 post-training을 하고 좋은 GPU가 있으면 물론 도움이 되고, 그건 NVIDIA 엔진 덕분이라는 말에 웃음이 났습니다. 그런데 물리 세계는 전문화를 강요합니다. 쓰레기 같은 데이터나 너무 넓게 퍼진 데이터로 학습시키면 가중치가 제대로 자리 잡지 못하니, 지금은 조명 한 종류, 로봇 한 종류, 환경 하나로 좁혀야 잘 됩니다. GR00T 모델도 논문에 적힌 지침을 정확히 따를 때 잘 작동합니다.

결국 피지컬 AI는 더 효율적으로 생각하게 만듭니다. 인터넷에서 모은 데이터를 큰 모델에 잔뜩 넣어서 되게 만드는 패러다임이 아닙니다.
Physical AI forces you to think more efficiently.

실제로 피지컬 AI 모델은 20억, 70억 파라미터 정도로 작은 편입니다. 멀티모달이라 더 촘촘하게 학습시킬 수 있기 때문입니다. 텍스트 모델이 텍스트 임베딩을 겹쳐 해상도를 얻는 데 그친다면 멀티모달 모델은 채울 공간이 더 많고, 그래서 앞으로 GPU를 영리하게 쓰는 방식이 많이 나올 거라고 봤습니다. 소프트웨어와 피지컬 AI는 접근부터 다르다는 걸 이 대목에서 다시 느꼈습니다.

한국의 강점은 공장이 가깝다는 데 있습니다

여기서 질문지에 없던 걸 하나 물었습니다. 소프트웨어 데이터는 어디서나 비슷하지만 피지컬 AI는 현장의 세세한 데이터를 모아야 해서 어렵고, 한국은 제조와 공장의 허브로 알려져 있으니 여기 빌더들에게 해줄 조언이 있느냐고요. Dhruv는 제조 현장과 가깝고 그런 공간에 드나들 수 있다는 데서 오는 강점이 분명히 크다고 했습니다. 한국 스타트업은 이미 조선 사례처럼 그 강점을 쓰고 있고, 손 조작 분야의 파운데이션 모델을 만드는 한국 회사 RLWRLD도 예로 들었습니다.

가장 큰 강점은 제조 환경을 직접 통제할 수 있다는 데서 나옵니다. 그 덕분에 한국은 데이터 수집에서 앞서가고, 다른 나라보다 모델을 더 일찍 배포할 수 있을 겁니다.

NVIDIA가 왜 한국에 관심을 두는지는 Andy에게 물었습니다. 저는 이번 행사 전까지 NVIDIA와 접점이 없어서 NVIDIA 한국 팀이 얼마나 큰지도 몰랐습니다. Andy는 한국이 NVIDIA에게 아주 전략적인 곳이라고 했습니다. 반도체와 자동차를 비롯해 제조가 강하고 피지컬 AI 생태계가 빠르게 크고 있습니다. 국제로봇연맹 집계로 한국은 제조업 노동자 1만 명당 산업용 로봇이 1,220대로 세계 1위이고, 세계 평균 132대의 아홉 배가 넘습니다. 동시에 인구가 줄고 현장에서 일할 사람을 구하기가 점점 어려워지면서 제조 현장의 수요도 뚜렷해졌습니다. 그 흐름 속에서 RLWRLD, Motif Technologies 같은 스타트업이 나오고 있고, 손끝으로 촉각 데이터를 모으는 OpenGraph Labs, 영상으로만 보이는 물체에 촉감과 힘 같은 물리적 속성을 붙여 로봇 학습 데이터를 만드는 스페이스AI도 있습니다. 스페이스AI는 NVIDIA와 대만 액셀러레이터가 함께 뽑는 APAC AI 액셀러레이터에 한국 기업으로는 유일하게 들어간 곳입니다. Andy는 이 지역에 보석 같은 회사가 많다고 했습니다.

NVIDIA Inception을 들어본 적 있느냐며 Andy가 손을 들어보라고 했을 때 올라온 손은 많지 않았습니다. Inception은 스타트업과 VC를 위한 프로그램이고, 설립 10년 이내 법인이면 누구나 무료로 들어갈 수 있습니다. Nemotron, Cosmos, OpenUSD, Omniverse 같은 NVIDIA 제품을 배우고 직접 만들어볼 기회, Nebius 클라우드 크레딧, 그리고 미국과 한국 VC를 소개받아 투자를 받을 기회가 따라옵니다. NVIDIA 한국 팀이 여기 있으면서 미국과 유럽까지 이어줄 수 있으니 한국 스타트업에게는 꽤 큰 이점입니다.

Nebius 홈페이지에는 피지컬 AI 스타트업을 위한 Nebius Physical AI Awards 공고도 올라와 있습니다. 100만 달러 이상 투자받고 제품을 실제로 굴리고 있는 팀이 대상이고, 10월 21일까지 신청을 받습니다. 부문별 우승팀은 Nebius 컴퓨트 크레딧 15만 달러를 받고 12월 샌프란시스코 서밋에서 발표합니다.

하드웨어를 하세요

박유빈 님에게는 창업을 돌아보면 무엇이 힘들었고 다시 한다면 무엇을 더 잘하겠느냐고 물었습니다. 답에는 망설임이 없었습니다.

피지컬 AI에서는 하드웨어를 하셔야 합니다. 외부 하드웨어를 쓰면 제품으로서 시스템을 최적화하는 데 분명한 한계가 있습니다.

소프트웨어를 정말 잘하는 개발자라면 하드웨어 공동창업자를 찾으라고 했습니다. 소프트웨어 계층만 최적화하고 있으면 고객 입장에서는 그 소프트웨어를 빼고 다른 업체 것으로 바꾸기가 너무 쉽기 때문입니다. 중국산 하드웨어를 그대로 가져다 쓰면 소프트웨어를 더 잘하는 다른 팀과 차이가 사라지고, 언어 모델이 좋아질수록 소프트웨어는 점점 더 쉽게 대체됩니다.

고객에게 계속 붙어 있으려면 어떻게 해야 할까요. 간단합니다. 하드웨어와 소프트웨어를 다 하고, 전부 수직 통합해서 패키지로 파세요.

마지막 질문은 오늘 빌딩을 시작하는 사람에게 딱 하나만 조언한다면 무엇이냐였습니다. Dhruv는 빌더 프로그램을 비롯해 이미 나와 있는 리소스부터 보라고 했습니다. 맞는 도구를 쓰면 마법을 만들 수 있고, 전부 AI에 기댈 필요 없이 AI에 MCP를 섞어도 됩니다. 기준은 ROI였습니다. 우리 팀에게 인상적이고 임팩트가 큰 것, 우리 팀이 이 대회에 무엇을 가져오는지에 집중하라는 조언이었습니다.

작게 시작하시길 권합니다. 로마는 하루아침에 만들어지지 않았으니까요. 오늘 밤 만드는 게 최고의 제품이 아닐 수도 있고 기대한 결과가 안 나올 수도 있습니다. 하루 만에 최고의 모델을 노리지 말고, 작은 목표를 작은 걸음으로 세운 다음 그 목표를 실제로 이뤘는지 재보고 거기서부터 나아가세요.
I would recommend to start small. Rome wasn't built in a day.

마이크는 마지막으로 박유빈 님에게 돌아갔습니다.

저는 해커톤 우승자도 아니라서 좋은 조언은 못 드리는데요. 아까 말씀드렸듯이 요즘은 소프트웨어를 만들기가 꽤 쉽습니다. 그러니 하드웨어로 차별화해보는 건 어떨까요. 제 생각은 그렇습니다.

가장 값진 데이터는 배포하면서 모입니다

패널이 끝나고 해커톤이 시작됐습니다. 늦게 오신 분들을 위해 크레딧 받는 법과 무엇을 만들지는 디스코드에서 Nebius 담당자가 다시 안내했습니다. 크레딧은 클라우드 크레딧과 Token Factory 크레딧 두 가지로 각각 100달러어치였고, 디스코드에 올린 QR로 받되 컴퓨트 크레딧은 Luma에 신청한 사람만 받을 수 있었습니다. 사람들이 컴퓨트를 책임감 있게 써주길 바라서라고 했습니다.

먼저 팀을 만들자고 안내했습니다. 팀을 꾸리고 무엇을 만들지 정한 팀이 8시에 나와 소개하면 Nebius 티셔츠를 선착순으로 드리기로 했는데, 그렇다고 아무 말이나 하시면 안 된다는 조건을 달았습니다.

그 사이 Dhruv는 질문하러 온 분들에게 데이터 얘기를 이어갔습니다. 방금 보여준 원격조작 말고도, 사람 손에 그리퍼 모양의 장치를 쥐여주고 작업하게 하는 방식이 있습니다. 사람 손의 움직임을 그리퍼로, 다시 로봇으로 옮기는 것보다 쉬워서 그리퍼 데이터는 더 싸게 모읍니다. 로봇에서 로봇으로 직접 모으면 값어치가 더 올라가고, 가장 값진 건 모델을 배포하면서 모은 데이터입니다. 어떤 작업을 서툴게라도 자동화하고 있는 모델이 있으면 작업자들이 옆에서 지켜보다 바로잡게 하고, 그렇게 쌓인 데이터를 DAgger 데이터라고 부릅니다. Dhruv는 이게 가장 효과적이고 ROI가 가장 높은 데이터라고 했습니다.

무대에서 내려온 뒤에 Dhruv가 따로 해준 얘기가 하나 더 있습니다. 올해 크리스마스에는 아이들이 트리 아래에서 로봇 선물을 풀어보고 있을지도 모른다고요. 샌프란시스코는 이미 그런 분위기라고 했습니다. 이날 객석을 돌던 로봇 팔이 200달러짜리에 3D 프린터로 뽑아 만드는 오픈소스라는 걸 생각하면 아주 먼 얘기도 아닙니다. 하드웨어도 이제 누구나 찍어낼 수 있는 물건이 되어가는구나 싶었습니다.

Dhruv가 꼽은 또 하나의 빈자리는 embodiment였습니다. 이 로봇에서 학습시킨 걸 다른 로봇에서 쓰고 싶어도 되지 않습니다. 서로 다른 로봇 사이를 넘나드는 cross-embodiment를 가능하게 하는 방법이 아직 없고, Dhruv는 바로 그 빈자리를 혁신의 기회로 봤습니다. AI와 달리 물리 쪽은 아직 비어 있는 땅이라 할 일이 너무 많고, 그래서 로봇공학자가 수천 명은 더 필요하다고 했습니다.

데모도 피칭도 없다고 했는데 열 팀 넘게 마이크를 잡았습니다

8시가 되자 팀을 만들고 아이디어를 정한 분들이 하나둘 앞으로 나왔습니다. Luma에는 데모도 피칭도 없다고 적어뒀는데, 혼자여도 괜찮다고 하자 열 팀 넘게 마이크를 잡았습니다. 발표마다 주로 Dhruv가 그 자리에서 피드백을 줬습니다. 발표하신 분들은 하시는 일로만 적었습니다.

첫 발표자는 앞에 나와서 직접 의견을 받고 싶었다며, 확정된 아이디어가 아니니 공격받고 갈아엎어도 괜찮다고 먼저 말했습니다. 에이전트를 하나 더 만드는 것만으로는 차별점이 없다고 보고, 경제 주체가 사람이 아니라 AI 에이전트가 됐을 때 생길 사회 문제를 풀고 싶다고 했습니다. 예를 들어 호텔 예약 에이전트 하나가 전 세계 호텔 백만 곳의 가격을 모두 조회하고 예약까지 넣은 뒤 일부러 23시간을 채우고 전부 취소합니다. 호텔은 쓸모없는 요청에 응대하고 객실을 잡아둬야 하고, 이런 에이전트가 수만 개만 생겨도 예약 시스템과 경제가 마비됩니다.

바이어 에이전트는 비용이 0원입니다. 누구나 만들 수 있어요. 그런데 셀러 에이전트는 가격을 조회해주고 흥정해주고 예약을 실제로 받아줘야 합니다.

발표자가 만들고 싶은 건 요청이 공짜가 되지 않게 셀러 쪽을 돕는 커밋먼트 게이트웨이입니다. 이 바이어가 백만 건을 조회해서 하나를 예약하는 쪽인지, 다섯 건이나 스무 건을 보고 하나를 예약하는 쪽인지를 가려 셀러에게 알려줍니다. 호출 횟수를 강제로 막지 않으면서 진짜 살 사람과 진짜 팔 사람을 가려, 에이전트끼리 잘 돌아가는 경제 구조를 돕겠다는 구상이었습니다. Dhruv는 충분히 타당한 문제라며, 요즘 에이전트끼리 주고받는 구조에 대한 아이디어가 많이 나오고 있다고 답했습니다.

AI가 쓰기 쉬운 기능이 결국 사람이 쓰기 쉬운 기능입니다

쿠버네티스 기반 GPU 관리 플랫폼을 만드는 팀은 영어로 시작했다가 한국어로 넘어갔습니다. Nebius와 비슷한 일을 한다고 하면 웃으실 수도 있다며, 인프라를 직접 제공하지는 않지만 구축해주고 GPU 서버를 잘 쓰게 해주는 소프트웨어를 만든다고 소개했습니다. GPU 인프라는 원래 엔지니어가 아니면 다루기 어려워서 사람이 쓰기 쉬운 UI에 집중해왔는데, AI를 써보면서 생각이 바뀌었습니다. 예전에는 사람이 자료를 조사하고 PPT 만드는 기술까지 갖춰야 했던 일을 이제 AI가 초안까지 만들어주듯, 인프라 세팅도 그렇게 할 수 있다고 봤습니다. 예를 들어 대학 교수가 학생 30명에게 실습 환경을 줄 때 보통 조교에게 맡기는 인프라 세팅을 AI가 하게 만들고 싶다고 했습니다.

AI가 사용하기 쉬운 기능들이 결국에는 사람들이 사용하기 쉬운 기능이 될 거라고 생각합니다.

Dhruv는 GPU 오케스트레이션을 두고 경쟁으로 볼 일이 아니라고 답했습니다. 이 분야는 아직 초기이고 특히 상호작용 수준의 UI에서 최적화할 게 많으니, 경쟁이 아니라 판을 키우는 일로 생각하고 꼭 해보라는 조언이었습니다.

유튜브 채널을 운영하는 분은 원하는 편집 도구가 하나도 없어서 직접 만들었다고 했습니다. 자기 채널에서 쓰다 보니 주변에 원하는 사람이 엄청 많다는 피드백을 받았고, 콘텐츠를 내고 싶은데 편집이 어려워 영상을 못 내는 사람이 많다는 걸 알게 됐습니다. 그런 사람들을 도와 좋은 콘텐츠가 세상에 더 많이 나오게 하는 게 목표입니다.

개인 AI를 만들고 싶다는 분은 아이언맨의 자비스를 예로 들었습니다. 가장 기본은 알림입니다. 계기는 최근 겪은 일이었습니다. 주민등록 조사를 해야 했는데 일정을 놓쳐서 곧 사람이 집으로 찾아오게 됐고, AI가 주소를 보고 미리 알려줬다면 벌써 끝냈을 일이었습니다. 그래서 챙겨야 할 일정을 찾아 요약하고 해당 사이트까지 알려주는 시스템을 구상했습니다. 관공서 같은 곳이 정보를 내보내면 AI가 모아서 필요한 사람에게 알리고, Luma에 올라온 행사도 관심사에 맞으면 알림으로 받아 바로 신청하게 해서, 알리는 쪽과 받는 쪽을 둘 다 돕는 플랫폼입니다.

오리의 새끼가 아니라 오리의 기원인 알을 만들겠습니다

스스로를 메이커라고 소개한 분은 직접 만든 샘플을 들고 나왔습니다. 사무실에 3D 프린터가 12대 있고, 10년 전에는 RepRap 프로젝트로 3D 프린터 10대를 직접 만들었습니다. 영어 강사로 일하다 공무원이 되어 3년 동안 메이커스페이스를 운영했고, 재미가 없어져 그만두고 창업했습니다. 사무실에는 부품이 수천 개 있고, 만들고 싶은 게 떠오르면 2시간 만에 프로토타입을 뽑습니다. 교육용 제품을 많이 만드는 이유도 솔직하게 말했습니다.

제품과 프로토타입 사이에서 수익을 낼 수 있는 게 교육밖에 없어서 그렇습니다.

제안은 알이었습니다. Hugging Face와 Pollen Robotics의 오픈소스 오리 로봇 MicroDuck에서 영감을 많이 받았는데, 그 오리의 새끼가 아니라 오리의 기원인 알을 만들겠다고 했습니다. 인공위성 자세를 제어하는 반작용 토크 방식을 쓰면 계란 모양 로봇이 스스로 굴러다니게 할 수 있습니다. 조명을 넣고 얼굴을 붙이면 귀여울 것 같다며, 200달러 아래로 작고 귀여워서 하나쯤 갖고 싶은, 집 안을 돌아다니는 로봇을 그렸습니다. 이 알로 무엇을 할지는 아직 모르니 영감을 달라고 했고, GPU 쪽은 잘 몰라서 기술을 맡아줄 파트너를 찾고 있었습니다.

Dhruv는 3D 프린팅으로 만드는 오픈소스 아이디어를 좋아하고 특히 MicroDuck을 좋아한다며, 알은 좋은 폼팩터라고 했습니다. 로봇으로 늘 이루고 싶은 건 상호작용이라서, 말을 걸 수 있는 작은 Reachy Mini 같은 알에 구동을 더해보라고 권했습니다. 음성도 좋지만 알이 두드려서 소리를 내거나 다른 물건을 제어할 수 있으면 더 좋습니다.

로봇이 현실에 있어서 생기는 진짜 가치는 뭔가를 움직일 수 있다는 데 있다고 생각합니다.

팔을 달아보자는 얘기에서 시작해 다리만 달린 알이 걸어 다녀도 재밌겠다는 얘기까지 나왔습니다. 무엇을 할지 모르겠다던 알에 그 자리에서 팔다리가 붙기 시작했습니다.

버튼 누르기는 로봇에게 고난도 작업입니다

한 팀은 버튼을 누르는 작업으로 서로 다른 로봇 사이의 차이를 다뤄보고 싶다고 했습니다. 조명이 바뀌어도 되게 하는 cross lighting, 환경이 바뀌어도 되게 하는 cross environment, 그리고 한 모터의 물리를 다른 모터에 어떻게 맞출지가 과제로 나왔습니다. Dhruv의 첫 조언은 과제를 새로 만들지 말라는 것이었습니다. 벤치마크에 이미 있는 작업은 모델이 거기에 맞춰 최적화돼 있으니, 모델들이 가장 잘하는 작업을 보고 다른 로봇에 맞게 파인튜닝한 버전을 만들어보라고 했습니다.

버튼 누르기가 생각보다 어렵다는 얘기도 이어졌습니다. 키를 누르는 순간과 떼는 순간의 타이밍이 있고, 너무 세게 누르면 버튼이 부서지고 너무 일찍 떼면 작동하지 않습니다.

이런 모델은 대부분 촉각이 아니라 시각으로 판단합니다. 버튼에 닿았는지는 모르고, 로봇 팔 색깔이 버튼에 가까운지 먼지만 압니다.

그래서 로보틱스에서 버튼 누르기는 손재주가 많이 필요한 작업입니다. 대신 집어 들기처럼 쉬운 것부터, 티셔츠나 말랑한 장난감, 양말처럼 부서질 걱정이 적은 부드러운 물체부터 시작해보라고 권했습니다. 발표자가 되물었습니다. 버튼 위에 QR 같은 그림을 붙여 위아래와 방향을 알게 하면 어떻겠느냐고요. Dhruv는 이제 컴퓨터 비전 요령이 나온다며, QR도 되고 로봇이 갈 곳을 박스로 지정해도 되니 조금 영리하게, 안정적으로 작동하게 만들어보라고 했습니다.

의료영상 판독 소견 작성을 돕는 회사에서 일하는 리서처는 학습 비용을 물었습니다. 대규모로 학습하면 리소스가 많이 들고, 데이터 자체가 부족한 데다 여러 방면의 데이터가 정확해야 하는데 그렇지 못한 경우가 많습니다. 매번 큰 비용을 들여 학습해야 하느냐는 문제의식에서, 소형 언어 모델이나 멀티모달 모델로 빠르게 학습해 비교적 작은 사용자 그룹에 맞춤형으로 전달하는 방향을 연구하고 싶다고 했습니다. 연구 과정에서 자동화할 수 있는 영역이 계속 늘고 있는데 무엇에 집중해야 하느냐는 질문이었습니다.

Dhruv는 데이터 증강에 기회가 있다고 했습니다. 특히 피지컬 AI는 데이터가 모자라서 에피소드가 100개면 1,000개로 불리고 싶어 합니다. 언어 모델이라면 같은 개념을 조금씩 다른 단어로 가르치는 동의어 문장을 만들고, 비전이라면 이미지를 10퍼센트 확대하고 10퍼센트 축소하고 자르거나 5도에서 10도쯤 기울여 데이터를 10배로 늘린 뒤 파인튜닝합니다. 이미 실제로 쓰이는 방법이고, 연구에서도 ROI가 가장 높은 작업에 집중하라고 했습니다. 이런 작업에 쓸 오픈소스 라이브러리로는 Oumi를 알려줬습니다.

드릴 피드백이 없습니다, 사실 팬입니다

신경외과 의사 한 분은 척추 수술용 오토파일럿을 풀타임으로 만들고 있습니다. 로보틱스로 세계의 모든 수술을 정복하겠다는 목표를 말하면서, 디지털 AI의 병목이 데이터였듯 피지컬 AI 모델도 데이터를 최대한 많이 모아야 한다고 했습니다. 문제는 수술실에서 데이터를 얻기 어렵다는 점입니다. 그래서 척추 더미 모델을 만드는 회사와 협업해 의사들이 수술실에서 이미 하는 위치 잡기를 모으고 있고, 트래킹 시스템을 단 팁도 이미 만들었습니다. 함께할 컴퓨터 비전 전공자를 찾고 있었습니다.

드릴 피드백이 없습니다. 사실 저는 팬이에요.
I don't have feedback for you. I'm a fan, actually.

Dhruv는 기술적으로도 임팩트 면에서도 엄청나게 어려운 문제를 골랐고, 이미 자기 손으로 만든 장치로 진전을 냈다는 점에 감탄했습니다. 센서를 더 붙여 개선할 방법은 앞서 이미 나눴다고 했습니다.

어르신 대상 AI 자서전 서비스를 만드는 팀은 여러 복지기관에서 프로그램으로 진행 중입니다. 어르신들을 만나 AI를 소개하고 휴대폰 쓰는 법을 알려드려 보면 생각보다 따라오시기 어려워하고, ChatGPT 같은 앱이 깔려 있어도 실제로 써본 분은 거의 없습니다. 그래서 한국어에 특화한 모델을 학습시켜 작은 SLM 로컬 모델로 만들고, 어르신들이 일상에서 이야기를 나누는 소형 디바이스로 만들 생각입니다. 어르신들이 코딩을 하거나 수학 문제를 풀 일은 없으니 한국어에 집중하면 싸고 작은 모델로 충분하다는 판단입니다. 제품 이름은 AI로 정했습니다. 한국어로 아기야 하고 부르듯 AI 하고 부르는 이름입니다.

AI의 큰 기회는 지능에 대한 접근이라고 생각합니다. 어르신들에게야말로 버튼도 타이핑도 없이 쓸 수 있는 지능이 필요합니다.

Dhruv는 사회적 임팩트가 큰 프로젝트를 좋아한다며 말을 이었습니다. 한국어 특화 모델에는 큰 시장이 있는데 한국어 데이터가 충분하지 않으니, 모은 데이터를 오픈소스로 풀어도 좋겠다고 했습니다. 온디바이스로 배포하면 인터넷에 기대지 않고 오프라인에서도 24시간 어르신을 도울 수 있고, post-training은 클라우드에서 하면 됩니다.

외국어를 배워야 친구를 사귀고, 친구가 있어야 외국어를 배웁니다

발표가 다 끝나갈 무렵, 앞에서 발표 기회를 놓쳤다는 분이 안 들으셔도 된다며 마이크를 잡았습니다. 만드는 건 언어 장벽 없는 음성 메신저입니다. 외국인과 친해지고 싶은데 언어 장벽을 넘기가 너무 힘들고, 여기에는 닭과 달걀 문제가 있습니다.

외국인 친구를 사귀고 싶은데 외국어를 배워야 친구를 사귈 수 있고, 외국어를 배우고 싶은데 외국인 친구가 있어야 배울 수 있더라고요.

언어교환 서비스는 많지만 이 문제를 제대로 풀지 못했고, 외국인과 연결해주는 다른 서비스들도 결국 언어 장벽에 막혀 포기하게 됩니다. 그래서 외국어 자체를 해소해 외국인 친구와 노는 데만 집중하게 하자는 게 제안이었습니다. 기존 서비스가 실시간 통번역을 못 한 이유를 찾아보니, 사람을 사귀는 상황의 까다로운 요구를 기존 AI가 채우지 못했고 UI와 UX 문제도 있었습니다. 그게 올해부터는 AI 발전 덕분에 전부 풀 수 있게 됐고, 이제야 가능해진 사업이라는 걸 깨달았다고 했습니다.

그렇게 만든 통번역 앱에 한국어로 말하자 영어와 일본어로 실시간 번역이 흘러나왔습니다. HelloTalk 보이스룸과 함께 쓰게 했더니 반응이 좋았고, 상당수 사용자가 보이스룸에 이 번역기를 켜놓고 들어갔습니다. 오프라인이나 업무용으로 쓰는 사람도 많고, 이걸로 취업한 사람도 있습니다. 통번역이 필요한 사용 장면이 일곱 가지쯤 있어 하나씩 공략할 계획이고, 첫 목표로는 K-프렌즈 사용자를 끌어오려 합니다. 실시간 통번역과 글로벌 소셜링을 함께 채우는 서비스가 없어서, 통번역에서 시작해 AI 네이티브 메신저와 SNS로 가는 그림입니다. 함께할 팀원도 찾고 있었습니다.

AI로 오프라인에서만 할 수 있는 걸 해보기로 했습니다

행사 뒤에 Nebius 팀과 얘기하면서 들은 조언 중에 계속 남는 게 있습니다. 오프라인 커뮤니티라면 오프라인에서만 할 수 있는 걸 붙들라는 말이었습니다. 피지컬 AI는 그 조건에 정확히 맞습니다. 화면 안에서 끝나는 일은 어디서 하든 되지만, 로봇을 직접 만들고 만져보고 고장 내보는 건 같은 자리에 모여야 됩니다.

팀 안에서는 박유빈 님의 말을 Bloom에 대입해보기도 했습니다. 소프트웨어는 확장은 쉬워도 이제 대체되기도 너무 쉬워졌고, 하드웨어는 확장이 어려운 대신 대체되기도 어렵습니다. Bloom에서 하드웨어에 해당하는 건 결국 사람입니다. AI는 누구나 쓰고 제어할 수 있는 시대가 됐지만 사람은 여전히 뜻대로 되지 않고, 그래서 사람이 모이는 자리가 값이 나갑니다. 화면 대신 사람을 보러 오니 Bloom에 오면 숨통이 트인다는 얘기도 그래서 나왔습니다.

문턱도 많이 낮아졌습니다. 이날 객석을 돈 SO101은 200달러짜리 오픈소스 팔이고, 허깅페이스가 인수한 폴렌 로보틱스의 MicroDuck은 399달러에 사전 주문을 받고 있습니다. 25센티미터에 800그램, 모터 15개짜리 이족보행 로봇인데 SDK와 시뮬레이션, 강화학습 스택까지 Apache 2.0으로 열려 있어서 기본으로 들어 있는 일곱 가지 동작을 전부 다시 학습시킬 수 있습니다. 개발자들 반응이 좋아 선주문이 밀렸고, 지금 주문하면 연말까지 기다려야 한다고 들었습니다. 로봇만 그런 것도 아닙니다. 에이전트를 계속 돌려두려고 만든 359달러짜리 리눅스 보드도 사전 주문을 받고 있습니다.

Dhruv가 크리스마스 얘기를 했을 때 그게 먼 미래의 비유로는 들리지 않았던 이유가 여기에 있습니다. 그래서 팀 안에서 두 가지를 해보기로 했습니다. 하나는 SO101이나 MicroDuck 같은 오픈소스 로봇을 참가자들이 직접 조립하고 학습시켜 보는 소규모 오프라인 세션이고, 다른 하나는 Nebius, NVIDIA와 이어지는 피지컬 AI 정기 모임입니다. 이런 로봇을 한국에 들여오는 일을 Bloom이 해볼 수도 있겠다는 얘기도 나왔습니다. 핵심은 AI로 오프라인에서만 할 수 있는 걸 직접 해본다는 데 있습니다.

이 두 가지가 끝은 아닐 겁니다. 이날 어르신을 위한 AI를 만든다는 팀이 보여줬듯 AI가 세대를 가리지 않고 필요해진다면, Bloom도 AI를 업으로 삼는 사람들 바깥으로 나가야 한다는 얘기가 팀 안에서 나왔습니다. 저는 그게 맞는지 아직 잘 모르겠습니다. 다만 화면 밖에서만 생기는 일이 있다는 것만은 이날 확실해졌습니다.

10월 31일 새벽 2시 마감까지 이날 마이크를 잡은 팀 중 몇이 실제로 제출할지는 저도 모르겠습니다. 시뮬레이션에서 100점을 받고도 쇳조각 하나에 미끄러지는 게 지금의 로봇이라면, 7주는 짧은 시간일 수도 있습니다. 그래도 직접 만든 샘플을 들고 나온 메이커분과 척추 더미 모델을 보여준 의사분이 그때 무엇을 들고 올지는 꽤 궁금합니다.