토큰당 가격은 이제 낡은 단위입니다

AI 모델이 새로 나올 때마다 인용되는 그 막대그래프를 아마 한 번쯤 보셨을 겁니다. 회사 이름은 몰라도 표는 익숙하실 텐데, 그걸 만드는 Artificial Analysis 팀이 샌프란시스코에서 한국에 왔습니다. 어느 랩에도 속하지 않은 독립 기관이고 결과는 전부 웹사이트에 공개되어 있습니다.

이번에는 한국에서 모델을 만드는 두 팀도 함께 모셨습니다. SK텔레콤과 Trillion Labs가 각자의 모델을 어떻게 만들고 있는지 발표해 주셨고, Artificial Analysis 공동 창업자 George Cameron 님은 샌프란시스코 새벽 3시 반에 화상으로 들어와 키노트를 해주셨습니다.

벤치마크를 이미 본다고 답한 분이 88퍼센트였습니다

이날 신청은 271분이 해주셨고 디캠프 마포 5층이 꽉 찼습니다. 신청서에서 뽑은 데모그래픽이 주제를 그대로 설명해 줬는데, 모델을 고를 때 벤치마크를 이미 본다고 답한 분이 88퍼센트였고 직접 모델을 학습시키거나 제품에 붙이는 분이 36퍼센트였습니다.

어떤 분들이 오셨는지도 명단으로 정리해 띄웠습니다. 모델과 AI 쪽에서는 SK텔레콤과 Trillion Labs를 비롯해 NAVER와 NAVER Cloud, 업스테이지, KT, 크래프톤 AI, NC AI, 래블업, FriendliAI, 모레, 마음AI, TwelveLabs, RLWRLD, 콕스웨이브, VESSL AI, 뷰노, 코클, 마인드AI가 오셨고, 엔터프라이즈에서는 삼성전자와 현대자동차, 현대모비스, 현대오토에버, LG CNS, LG전자, HD현대로보틱스, 쿠팡, 토스, 롯데이노베이트, CJ ENM, SK이노베이션, SK온, 티맵모빌리티, 삼성서울병원, 풀무원이 자리를 채웠습니다.

외국계에서는 구글코리아와 마이크로소프트, AWS, 아카마이, Arize AI, 센드버드, Photoroom, Mysten Labs, 이베이재팬, 콘센트릭스, 메가존클라우드, 클루커스, 베스핀글로벌이 왔고, 학계와 미디어와 투자 쪽에서는 카이스트와 서울대, 연세대, 고려대, 한양대, 성균관대, 서울과기대, 옥스퍼드대, 그리고 조선일보와 중앙일보, 전자신문, AI타임스, 벤처스퀘어, 삼성벤처투자와 미래에셋캐피탈까지 함께해 주셨습니다.

신청서에 질문을 쓰실 수 있게 해뒀더니 227분이 적어주셨는데, 점수가 어떻게 만들어지는가가 55개로 가장 많았고 벤치마크 점수와 실제 성능의 거리가 45개, 한국 모델과 소버린 AI 평가가 29개, 비용과 속도를 고려한 모델 선택이 22개, 에이전트 평가가 14개, 벤치마크 오염과 과적합이 9개였습니다. 인덱스가 업데이트되면 모델이 그대로여도 점수가 오르는데 진짜 개선인지 어떻게 구분하느냐는 질문, 소버린 AI의 성능은 어떻게 평가해야 하느냐는 질문, 벤치마크 점수가 실제 제품을 고를 때 얼마나 쓰이느냐는 질문 세 개는 그대로 띄웠고, 이날의 목표는 여기에 최대한 답을 드리는 것이었습니다.

마법은 하네스가 아니라 여전히 모델에서 나옵니다

먼저 아시아 태평양 파트너십을 이끄는 Henry Jin 님이 팀을 소개했습니다. Artificial Analysis는 독립적인 AI 벤치마킹·분석 회사로 모델에서 추론, 하드웨어 레이어까지 스택 전체를 평가하는데, 지능과 속도와 가격을 함께 보면서 개발자와 기업이 가장 정보에 근거한 결정을 내리도록 돕는 게 목표라고 했습니다. 지난 1년 동안 한국의 AI 랩과 정부, 개발자·연구 커뮤니티를 만나며 한국 AI가 얼마나 빠르게 나아갔는지 직접 봤고 그게 이 행사를 열고 싶었던 큰 이유라고 덧붙였습니다.

이어서 George 님이 회사 소개를 짧게 했습니다. 특히 자랑스러운 건 기업들이 지능 지수 막대그래프 하나만 인용하는 게 아니라 개발자가 감수해야 하는 트레이드오프를 보여주려고 인용한다는 점이라며, 그래서 그 차트들이 전부 2x2라고 했습니다. OpenAI는 지능과 비용을, 젠슨 황은 지능과 속도를, 앤트로픽은 코딩 에이전트 벤치마크와 속도 벤치마크를 가져다 썼습니다.

첫 관점으로 꺼낸 게 인상적이었는데, 요즘 모델을 대개 에이전트 형태로 쓰지만 그 마법이 어디서 나오는지는 짚고 갈 필요가 있다는 것이었습니다. 하네스는 코드 실행이나 웹 검색처럼 현실과 상호작용하는 도구를 제공하지만, 무엇이 가능한지를 여전히 끌고 가는 건 모델입니다. 근거로 모델을 하네스에 올려 둘 다 테스트하는 코딩 에이전트 인덱스를 보여줬는데, 약한 모델에 좋은 하네스를 붙여도 좋은 모델에 평범한 하네스를 붙인 것보다 낫지 않았습니다. 몇 년 전만 해도 열린 질문이었지만 지금까지 사실로 남아 있다고 했습니다.

모든 태스크에 최상위 모델을 쓰면 회사가 버티지 못합니다

지능 지수는 일반 지식과 환각부터 과학적 추론, 코딩, 에이전트 워크로드까지 덮는 열 개 평가를 종합한 지표이고 선두는 앤트로픽과 OpenAI의 최신 모델입니다. 이 방에 있는 분들에게는 놀랍지 않은 결과일 거라면서, 그가 오늘 하고 싶은 이야기는 그래도 다른 모델을 쓸 이유가 남아 있다는 것이라고 했습니다.

기업 입장에서 모든 태스크에 최상위 모델을 쓰면 회사가 파산할 수도 있습니다.

그래서 지금 모델을 고르는 일은 서로 다른 고려 기준 사이의 복잡한 트레이드오프라는 겁니다.

한국은 미국과 중국 다음입니다

한국 이야기가 나온 대목에서 고개가 가장 많이 끄덕여졌습니다. 지난 1년 사이에 한국이 미국과 중국 다음가는 상위 3개국으로 올라왔다는 것인데, 캐나다나 스페인처럼 개별 모델이 하나둘 있는 나라는 있지만 한국은 모델을 가진 AI 기업이 여러 곳이고 그게 꽤 빠르게 이뤄졌다고 했습니다. 공은 모델을 만든 기업들과 한국 정부의 소버린 AI 이니셔티브에 함께 돌렸고, Artificial Analysis도 여기에 참여해 NIPA와 MOU를 맺고 독립 평가 파트너로 계속 지원할 계획이라고 했습니다.

오픈 웨이트 모델의 진척도 다른 관점으로 짚었습니다. 2024년 초에 Llama 2 70B나 Mixtral 8x7B를 이야기하던 시절에는 오픈 웨이트가 경쟁력을 유지할지, 랩들이 비용을 감수하고 공개할지가 열린 질문이었는데, 지금 증명된 건 랩들에게 공개할 유인이 계속 있다는 것이고 사용자가 자기 하드웨어에서 모델을 돌리거나 파인튜닝할 때의 유연성 요구를 채워주기 때문입니다. 독점 모델을 곧 추월하지는 않겠지만 프런티어 바로 아래 지능은 계속 제공할 거라고 봤습니다.

토큰당 가격은 이제 낡은 단위입니다

2026년에는 지능만의 문제가 아니라는 대목에서 그가 농담을 섞었습니다. Artificial Analysis 웹사이트는 첫날부터 지능과 속도와 비용을 다 다뤘는데 사람들이 뒤의 두 차트를 신경 쓰기 시작한 건 올해부터라는 겁니다.

비용이 지금 중요해진 이유는 선두 모델과 저렴한 모델 사이에 100배 차이가 나기 때문입니다. 오프닝에서 띄운 9월 14일자 화면에서도 같은 과제 하나를 푸는 비용이 0.06달러에서 8.75달러까지 벌어져 있었습니다. 지능 지수의 태스크를 완료하는 데 최상위 모델은 7달러가 넘게 들지만, 여전히 태스크를 아주 잘 해내는 다른 모델들은 10센트도 들지 않습니다.

이 비용을 만드는 입력 중 하나가 태스크 하나를 끝내는 데 쓰는 출력 토큰의 수인데, 모델의 장황함과 에이전트 단계 수가 이를 좌우합니다. 어떤 모델은 한 태스크에 20단계를 쓰고 어떤 모델은 100단계를 쓰는데, 복잡한 환경을 돌아다니며 이 파일을 확인하고 이 정책을 따르고 있는지 점검하다 보면 토큰을 엄청나게 씹어 먹습니다. AI 랩들이 여러분을 굳이 이렇게 생각하게 만들고 싶어 하지 않을 수도 있다고 그는 덧붙였는데, 토큰 단위로 돈을 받으니까요.

이제 토큰당 가격만 쓸 수는 없습니다. 그건 낡았어요. 에이전트의 세계에서는 출력 토큰의 양과 태스크당 비용을 생각하셔야 합니다.

그가 말한 태스크당 비용에는 답변 토큰과 추론 토큰, 캐시 쓰기와 캐시 적중, 그리고 입력 토큰이 전부 들어갑니다.

비용을 내리는 힘과 올리는 힘이 동시에 작동합니다

생태계에는 비용을 내리는 요인과 올리는 요인이 동시에 작동하고 있고 그 양분이 오늘날 보이는 100배 차이를 만듭니다. 내리는 쪽은 더 작은 모델과 희소성이라 토큰당 활성 파라미터와 연산이 줄고, 소프트웨어 효율 개선이 연산을 더 줄이며, 하드웨어에서도 규모가 커지면 블랙웰 칩이 호퍼보다 저렴하면서 더 많은 토큰을 처리합니다. 올리는 쪽은 더 큰 모델인데, 더 높은 지능에 대한 수요가 채워지지 않아 새 버전이 나올 때마다 다들 들뜨고 여기에 추론 토큰이 늘고 에이전트가 태스크당 요청을 더 많이 하는 것까지 겹칩니다.

효율 요인들이 만드는 패턴 하나가 특히 실용적이었습니다. 어떤 지능 수준에 도달하고 나면 그 지능이 아주 빠르게 극적으로 싸진다는 것인데, 새로운 지능 지수 임계값이 나올 때마다 그 시점의 가격과 이후 변화를 추적해보니 지능 지수 10은 2024년 중후반에 도달했고 그 뒤 비용이 100배 넘게 떨어졌으며, 다른 구간에서도 새 지능이 나오면 경쟁이 붙고 효율이 비용을 끌어내리는 같은 패턴이 반복됩니다.

지금 최상위 모델이 여러분의 용도에 너무 비싸다고 느끼신다면, 그게 쓸 만해질 때까지 오래 기다리지 않아도 될 수 있습니다.

1년 뒤의 비용을 염두에 두고 무엇이 가능해질지 생각하는 데 이게 중요하고, 스타트업을 만드는 분들에게도 나쁘지 않은 렌즈라고 덧붙였습니다.

범용 지수 말고 내 워크로드의 곡선을 그립니다

지능과 비용의 트레이드오프를 높은 수준에서 지도로 그리면 태스크당 7달러가 넘는 선두 모델과 훨씬 싼 모델들 사이에 큰 파레토 프런티어가 있습니다. 그 프런티어 위에서 골라야 하지만 특정 워크로드처럼 지능을 다르게 보거나, 오픈 웨이트만 찾거나, 특정 국가의 모델을 찾는 경우처럼 다른 모델을 고를 이유도 있습니다.

여기서 새 제품 이야기가 나왔는데, 지능 벤치마크는 종합적이고 범용적인 지표라 높은 수준의 이해에는 좋지만 모두에게는 각자의 워크로드가 있어서, 최근에 누구나 자기 커스텀 벤치마크를 만들고 자기 워크로드의 파레토 곡선을 받아볼 수 있는 Optima를 공개했다고 했습니다. 홈페이지에서 로그인한 뒤 자기 유스케이스의 맥락을 올리면 벤치마크를 생성하고 모델별 트레이드오프 차트를 주는데, 비용과 시간을 10배 넘게 아낄 수 있고 프런티어 평가를 만들며 쌓은 전문성이 들어가 있다고 했습니다.

다음에 올 흐름도 짚었는데, 코딩 에이전트를 쓰면서 개발자의 워크플로가 통째로 바뀐 일이 이제 경제 전반의 일반 업무로 번지고 있고, 지속적 학습은 규칙 파일 같은 형태로 이미 시작됐지만 모델이 자기 가중치를 갱신하는 데까지는 아직 아니라고 했습니다. 모델들이 네이티브 멀티모달이 되어가는 동시에 사용 패러다임도 바뀌는 중인데, 반응하기보다 훨씬 능동적으로 변하는 게 큰 흐름입니다. 우리는 사람이 다시 찾아와 질문하고 맥락을 모아 가기를 기대하니 모델에게도 그걸 기대하는 게 공정하다는 겁니다.

한국어를 잘한다는 걸 아직 아무도 제대로 재지 못합니다

질의응답의 첫 질문이 이날 가장 날카로웠습니다. 세상에는 영어 말고도 아주 많은 언어가 있는데 이 언어들의 성능을 어떻게 평가하는지, 객관적인 성능 평가와 달리 사람의 주관이 개입할 수밖에 없지 않은지 물은 분이 있었습니다. 개인적인 감상이라며 한국어로 표현을 시키면 영어 관용구와 영어 속담이 튀어나오는데 한국 정서와 한국인이 직관적으로 이해하기에는 전혀 좋지 않고, 별다른 제어를 하지 않으면 자연스럽게 그렇게 된다고 했습니다.

George 님은 답을 두 겹으로 했습니다. 언어에 대한 기본 이해 수준은 이 모델들이 아주 잘 추상화한다고 봤는데, 잠재 공간에서 언어라는 개념 자체를 추상화하기 때문에 서로 다른 언어를 네이티브하게 잘 다루고 실제로 태스크를 완료하는 능력에서는 언어 간에 큰 차이가 보이지 않는다는 것입니다. 그런데 그다음 말이 솔직했는데, 이 모델들이 소통하는 방식의 뉘앙스는 지금 나와 있는 벤치마크들이 제대로 잡아내지 못하고 있고, 그건 자기들이 만든 것도 남이 만든 것도 마찬가지라는 겁니다.

이 주제가 제대로 다뤄지고 있다고 생각하지 않습니다. 솔직히 저희를 포함해서요.

중요한 영역이라 연구가 더 나오면 좋겠고 자기들도 더 발표하고 싶다면서 커뮤니티가 이 공간의 벤치마크를 만드는 걸 도와주면 좋겠다고 했습니다. 퍼스낼리티 벤치마크를 낼 수도 있는데 그 시작은 아마 영어일 것 같다며, 국제 커뮤니티가 그걸 들여다보고 다른 언어 관점에서 보태줄 수 있다면 정말 좋겠다고 덧붙였습니다.

앞으로는 높을수록 좋은 게 아닌 지표가 늘어납니다

AI 벤치마크를 업무에 적극적으로 쓴다는 분이 다음 질문을 했습니다. 에이전트가 앞으로 훨씬 유능해질 거라고 하셨는데 평가를 해본 입장에서 사람이 만든 데이터나 사람의 평가가 여전히 가장 필요한 지점은 어디인지 물었습니다.

지난 1년에서 1년 반은 강화학습과 태스크를 끝내는 데 집중된 시기였다고 답하면서 데이터를 두 갈래로 나눠 봤습니다. 모델이 새로운 태스크를 하게 만드는 쪽은 더 복잡한 강화학습 환경의 모습으로 계속 갈 것 같고 갈 길이 많이 남았는데, 지금 우리는 아주 명확하게 정의된 태스크를 모델이 성공적으로 끝내기를 기대할 뿐 모델이 스스로 나가서 능동적으로 맥락을 모으고 적절한 질문을 던지며 새로운 것을 발견하지는 못하는, 아주 제한된 패러다임 안에서 일하고 있다고 했습니다.

지금 하는 걸 더 잘하게 만드는 쪽에는 사람 데이터가 더 많이 필요하다고 봤습니다. 모델의 소통과 우리와 함께 일하는 방식을 개선하는 데 필요하고 거기에 강화학습 환경이 붙는데, 그러면서 앞으로 효율과 비용 효율, 시간 효율, 소통 스타일처럼 더 높은 게 더 좋은 게 아닌 지표를 오늘보다 훨씬 많이 이야기하게 될 거라고 했습니다. 어떤 사람은 이 소통 스타일을, 어떤 사람은 저 소통 스타일을 선호할 테니까요. 지능 지수는 계속 높을수록 좋은 지표로 남겠지만 모델을 이해하는 데 도움이 되는 더 결이 섬세한 지표들이 자라날 거라고 봤습니다.

마지막 질문은 엣지 영역의 로드맵이었습니다. 엣지 디바이스 벤치마킹을 하는 분이 로보틱스와 웨어러블은 어떤지, 모바일에서 늘릴 계획이 있는지 물었는데, 넓혀가고 싶지만 AI 세계가 크고 계속 확장되고 있어서 현실적으로 무엇을 만들 수 있는지의 우선순위 문제라고 답했습니다. 엣지 벤치마킹은 당분간 지금 상태로 두겠지만 AI가 쓰이는 디바이스의 표면적이 넓어지는 만큼 피지컬 AI와 로보틱스 벤치마크는 앞으로 더 생길 거라고 봤습니다. 이번 주 첫 이틀을 한국에서 보냈는데 급한 일로 샌프란시스코에 빨리 돌아가야 했다면서, 다음에는 직접 와서 함께하면 기쁘겠다고 했습니다.

쓸 만한 모델 다음은 정말로 쓸 수 있는 모델이었습니다

두 번째 세션은 SK텔레콤의 천성준 님이었습니다. 지난 7월에 공개한 A.X K2 모델을 독자 AI 파운데이션 모델 2차수에서 어떤 생각으로 만들었는지가 주제였고, SK텔레콤은 과학기술정보통신부의 독자 AI 파운데이션 모델 정예팀으로 선정되어 2단계 평가를 통과한 세 팀 중 하나입니다. 발표 제목은 Toward a Production-Ready 688B-A33B MoE였고 방점은 Production-Ready에 찍혀 있었습니다.

그에게 이 자리가 처음은 아니었습니다. 정확히 4월에 같은 장소에서 열린 NVIDIA Nemotron 개발자 데이에서 그가 했던 말이 1차수에는 정예팀들이 쓸 만한 모델을 만드는 데 성공했고 2차수의 모델은 정말로 쓸 수 있는 모델을 만드는 것이라는 얘기였는데, 오늘은 그 약속을 들고 다시 온 셈이었습니다.

Production-Ready까지 가려면 무엇이 필요한지를 그는 앞선 질문에 붙여 설명했습니다. 벤치마크로 평가할 수 없는 뉘앙스가 분명히 있고 그건 사람이 직접 봐야만 평가할 수 있으며 AI 모델로는 아직 제대로 평가하기 어려운데, 그런 것까지 포함해 뉘앙스와 사용성을 잡아가며 개발해야 Production-Ready 모델이 나온다고 봤습니다. 그리고 앞서 George 님이 효율이 점점 중요해진다고 한 지점을 받아, 아키텍처부터 학습 과정과 배포까지 점점 더 효율적인 모델을 만드는 것이 계획이라고 했습니다.

모델을 줄일 수 없으니 아키텍처가 일을 해야 했습니다

A.X K2는 688B 파라미터에 활성 33B이고 Apache 2.0으로 공개됐습니다. 1차수 모델을 릴리즈했을 때 가장 많이 받은 피드백이 모델이 너무 커서 쓰기 어렵다는 것이었고 그건 곧 비용 걱정이라 더 빨라져야 하고 더 적은 GPU로도 추론할 수 있어야 했는데, 한편으로 파운데이션 모델 경쟁의 스케일은 계속 커져서 밖에서는 트릴리언 단위 모델이 열리고 프런티어 랩에서는 10T가 넘는다는 소문까지 들립니다. 모델 크기를 줄일 수는 없으니 아키텍처 디자인에서 답을 찾아야 했습니다.

직접 그렸다는 다이어그램에 특징적인 부분이 다 담겨 있었습니다. Indexer와 Selector는 어텐션을 희소하게 만드는 장치인데, MoE는 기본적으로 희소 모델이지만 어텐션 자체에도 희소성을 더해 컨텍스트를 읽는 비용을 제곱이 아니라 선택된 토큰 수에 가깝게 붙잡아 둡니다. MLA는 KV 캐시 크기를 줄이려고 압축된 잠재 공간을 쓰는 기술이고, GatedNorm과 Attention Output Gate는 파라미터 공간의 아웃라이어를 줄이고 어텐션 싱크가 오용되는 걸 막습니다. 토큰을 덜 고르고, 상태를 덜 저장하고, 아웃라이어와 싱크를 통제하는 세 갈래인 셈입니다. 컴포넌트 하나하나를 전부 자기들이 제안하는 건 아니지만 이렇게 조합해 이 형태로 구현한 것은 노블한 제안이라고 했습니다.

새 구조를 만들다 보니 고속 학습과 배포까지 가는 길이 고되고 힘들었다고 했습니다. 학습을 빠르게 하려면 커널 단에서도 손을 대야 하고, 학습과 추론의 커널 경로가 원하는 방향이 아니면 커널 퓨전을 쓰는 식으로 복잡한 기술을 동원해 효율을 짜냈습니다.

관찰된 행동이 다음 학습의 명세가 됐습니다

사용성을 위해 이번에 특별히 주의를 기울인 건 한 트레이닝 루프 안에서 개선 과정을 최대한 거쳐보자는 것이었습니다. 컴퓨팅 자원이 넉넉하지 않아 여러 번 돌릴 수는 없었으니 한 번에 할 때 성공적으로 해야 했습니다. 루프는 내부 사용성 테스트와 Arena에서 모델 응답을 보고, 역량 격차와 응답 패턴을 실패 분석으로 정리하고, 데이터와 리워드와 안전 목표를 학습 설계로 옮기고, RLHF와 RLVR로 갱신한 뒤, 벤치마크와 사용자와 레드팀으로 재평가해 다시 실패 분석으로 돌아가는 다섯 단계로 돌았습니다.

Observed behavior became the specification for the next training iteration.

그 안에 사람을 잘 배치해 실제로 사람이 사용성 평가를 하고 거기서 개선점을 끌어냈습니다. 내부 벤치마크와 커스텀 벤치마크도 구축했고 레드티밍을 내부에서 하기도 소싱해 피드백을 받기도 했는데, 모델을 지속적으로 개선할 수 있는 역량과 그걸 자기들 힘으로 해낼 수 있는 역량을 계속 키워왔고 이번에 사용성이 유의미하게 개선되는 걸 확인한 게 뜻깊은 결과였다고 덧붙였습니다.

AIME 97.1에 롱 컨텍스트는 40점이 올랐습니다

결과를 말할 때는 점수를 많이 궁금해하신다며 숫자를 꺼냈는데, 지지난달 공개 당시 MathArena 기준 AIME 2026에서 공동 1위였고 오늘 나오기 전에 한 번 더 봤는데 여전히 97.1점으로 공동 1위였으며, 자료에 적진 않았지만 내부 테스트로는 2026년 국제수학올림피아드 금메달 수준에 해당하는 것도 확인했습니다. 1차수 모델에서 롱 컨텍스트가 약하다는 걸 확인하고 개선 작업을 열심히 한 결과 AA-LCR로 66.0을 받아 1차수 대비 40점이 올랐고, 한국어에서는 KMMLU-Pro 80.5와 CLIcK 91.6으로 가장 우수하다는 것을 한 번 더 확인했다고 했습니다.

그런 모델이 1차수의 571B보다 커진 688B인데 어떻게 더 효율적이고 빨라질 수 있느냐는 질문이 자연스럽게 나오는데, 답은 학습 자체를 FP8로 했다는 것이었습니다. 1차수까지는 BF16으로 학습했지만 이번에는 네이티브하게 8비트로 학습했고 더 양자화해 FP4까지 함께 릴리즈했는데, GatedNorm과 희소 게이티드 어텐션이 양자화 오차를 키우는 아웃라이어를 눌러주기 때문에 가능한 선택이었습니다.

최소 모델 메모리가 이 설계의 결과를 그대로 보여줍니다. 1차수 BF16이 1038GB였는데 A.X K2 FP8이 646GB, NVFP4가 370GB이고, NVFP4는 FP8에 비견할 품질을 내면서 NVIDIA B200 GPU 네 장으로 서빙됩니다. GGUF도 함께 지원해 런타임 호환성과 로컬 배포 선택지를 넓혔고, 추론을 더 빠르게 하는 쪽으로는 스펙큘러티브 디코딩 두 가지를 다 쓸 수 있게 열어뒀습니다. EAGLE3는 처리량을 최대 1.64배로 올리고 프로덕션 트래픽 서빙에서 출력 토큰당 시간을 28퍼센트 줄였고, DSpark는 약 1.8배에 단일 스트림 평가에서 44퍼센트를 줄였습니다.

자력으로 할 수 있는 역량을 남기는 게 목표입니다

매 차수 좋은 점수를 받는 것도 중요하지만 더 먼 미래를 보면서 자력으로 최대한 많이 하려 한다고 했습니다. 데이터를 만드는 것부터 모델을 개선하는 작업까지 전체 과정을 직접 가꿔 나가고 있고 2차수에서 쌓은 역량과 노하우가 3차수로 이어질 거라고 기대했으며, 그렇게 만들어진 모델이 최근 시작된 정부 주도 사업인 모두의 AI에도 많이 활용되기를 바란다고 했습니다.

물리학을 이해하는 AI를 만드는 회사에 다닌다는 분의 질문이 좋았습니다. 모델도 결국 소프트웨어이고 구조가 있으면 코드로 표현할 수 있고 아는 사람도 있을 텐데, 중국에서는 레시피도 공개하고 논문도 1년에 1만 개씩 나오는데 어째서 이게 이렇게 어려운지 들려달라는 것이었습니다. 어디 가서 자랑하고 싶었는데 기회가 없었다며 천성준 님이 웃었습니다.

자원이 한정되어 있다는 조건 자체가 굉장히 어려운 조건이고 그것 때문에 논문을 많이 읽어 나쁜 선택지를 최대한 걸러내야 하는데, 모델 개발 과정에서 선택지가 수없이 나오니 그걸 잘 걸러내는 과정을 공부를 많이 하면서 해야 한다는 겁니다. 가장 어려운 점으로 꼽은 건 커버해야 할 범위가 너무 넓다는 것이었습니다. 파운데이션 모델이라고 하면 거의 모든 역량을 다 잘해야 한다는 압박을 받는데, 질문자가 만드는 물리 전문 모델에서 물리학 데이터를 모으는 것만 해도 어려운 일을 전 영역에 걸쳐 한다고 생각하면 필요한 사람도 리소스도 할 일도 많아지고 그걸 체계적으로 나누는 것도 어렵습니다. 모델 전문가와 언어학자, 서비스 개발자와 풀스택 엔지니어, 커널 엔지니어, 그리고 학습 소프트웨어 스택 각각의 전문가가 같이 일해야 한다는 점이 어려운 지점이라고 했습니다.

휴먼 인 더 루프를 강조한 대목에 대한 질문도 나왔습니다. 사람은 유한한 자원이고 본인의 일관성도 엇갈릴 수 있는데 사람이 평가하는 과정의 정확성은 어떻게 확보했는지 물었는데, 순서를 바꾸거나 여러 명이 다수결로 하는 등 다양한 테크닉이 있지만 그보다 중요한 건 데이터를 어떻게 구성하느냐라고 했습니다. 뉘앙스 면에서든 이게 진짜 문제가 있는 나쁜 답변인지 아닌지든 굉장히 애매한 경계에 있는 문제들 위주로 데이터를 먼저 구성하는 게 중요하고, 사람이 들어가면 확장성이 떨어지니 진짜 경계에 있는 것들만 봐야 한다는 얘기였습니다. 그래서 숫자를 줄이고 루프를 빨리 돌게 하는 데, 스테이지가 매끄럽게 이어지고 그 사이에서 정보가 유기적으로 교환되도록 하는 데 공을 들이고 있다고 했습니다.

도면을 못 읽으면 플랜트에서 아무것도 할 수 없습니다

마지막 세션은 Trillion Labs의 안홍준 님이었습니다. 이렇게 큰 커뮤니티에서 토크를 하는 게 처음이라며 인사를 열었는데, Trillion Labs는 NVIDIA GTC에서 한국의 리저널 AI로 이름이 올라갈 만큼 주목받는 파운데이션 모델 회사이고 7B와 21B, 70B 덴스 모델을 오픈소스로 공개해 왔습니다. 700억 파라미터 모델을 학습 중간 체크포인트와 함께 연 것은 국내에서 처음이었고, 올해 초 발표한 Tri-21B-Think는 Artificial Analysis 지능 지수 기준 탑 30 안에 드는 모델이었습니다. 지금 만들고 있는 건 AI 팩토리를 겨냥한 Industry Foundation Model, Gravity 시리즈입니다.

궁극적으로 그리는 미래가 발표의 축이었는데, 복잡한 물리 인프라에서 진짜로 셀프 드라이빙 할 수 있는 AI 에이전트인데, 설비를 조감하는 시야를 가진 에이전트가 사고를 조사하고 원인을 추론하고 조치를 조율하는 그림입니다. 이 모델이 풀어야 하는 태스크는 네 갈래로, 모듈 간 연결 관계를 나타낸 아주 큰 도면인 P&ID를 읽어 인프라 전체의 아웃라인을 이해하는 것, 장애가 크게 터지는 걸 막으려고 수많은 센서의 데이터를 이해하는 것, 문제가 터졌을 때를 위한 엄격한 매뉴얼과 복잡한 모듈 문서를 이해하는 것, 그리고 센서에서 오랫동안 쌓인 시계열 데이터를 이해하는 것입니다.

실제로 1.2기가와트 화력발전소에 배포하고 있다고 했습니다. 복잡한 시스템을 이해하고 센서 값이 갑자기 입력되지 않거나 튀는 걸 탐지해 문제를 찾고, 거기서 멈추지 않고 해결하는 액션까지 추천해야 하는 코파일럿입니다. 문제를 정의하려고 PowerBench라는 내부 벤치마크를 만들었는데, P&ID는 그 플랜트의 그라운드 트루스이고 현장의 질문은 도면 위에서 풀리며 매뉴얼과 텍스트에는 답이 없습니다.

도면을 읽을 수 없으면 플랜트에서 행동할 수 없습니다.

태스크는 세 결로 나뉘는데, 연결성과 토폴로지를 묻는 것은 토출 헤더에서 P-101B를 격리하려면 어떤 밸브를 잠가야 하는가 같은 질문이고, 심볼과 태그를 읽는 것은 환류 드럼의 릴리프 밸브 태그가 무엇인가를, 안전과 공정 로직은 V-201의 고고 수위에서 어떤 인터록이 작동하는가를 묻습니다. 채점은 주석이 달린 정답에 대해 LLM 저지가 하고 그 점수가 그대로 강화학습의 리워드가 됩니다.

읽을 줄 모르는 정책에는 리워드가 닿지 않습니다

학습 파이프라인이 왜 그 순서여야 하는지가 이날 가장 명쾌했습니다. 베이스 VLM은 P&ID 관습을 본 적이 없고 강화학습은 정책이 샘플링할 수 있는 것을 날카롭게 다듬을 뿐이라, 도면을 못 읽는 정책의 롤아웃은 리워드에 닿지 못합니다. 그래서 프라이어를 먼저 올리고 그다음에 강화학습을 돌립니다. 미드 트레이닝에는 풀 해상도 도면과 그 크롭, 도면을 읽는 방법을 담은 표준과 엔지니어링 문서, 도면에 근거한 QA 세트를 넣고, SFT는 두 겹으로 QA 포맷 SFT가 답변 스타일과 출력 형식을 잡고 에이전트 궤적 SFT가 줌 트레이스를 넣어 강화학습의 콜드 스타트를 만듭니다. 미드 트레이닝이 심볼을, SFT가 포맷과 툴 루프를, 강화학습이 어디를 볼지를 맡는 분업입니다.

하네스를 왜 설계해야 하는지에 처음에는 의문이 들었다고 했습니다. 그냥 도면을 주고 풀게 하면 되는 것 아닌가 싶었다는 건데, 실제 도면 데이터를 긁어모아 보니 거의 A0 사이즈에 16메가픽셀이었고 이 정도 크기를 한꺼번에 넣으면 프리필에만 한참 걸립니다. 다운스케일해서 4메가픽셀로 맞추면 예산에는 들어가지만 태그와 심볼 같은 로컬 정보가 흐려져 아예 사라집니다.

그래서 전체 조망은 남겨두고 필요할 때 줌하게 했습니다. 액션 공간에는 영역을 네이티브 해상도로 다시 렌더링해 읽을 수 있는 크롭을 돌려주는 zoom과 에피소드를 끝내는 answer가 있고 크롭 안에서 또 줌할 수도 있는데, 어떤 문제가 발생했는데 어떻게 해야 하느냐는 질의가 들어오면 모델이 순차적으로 줌하면서 문제가 발생했을 법한 요소를 찾아 나가다 답을 뱉습니다. 에이전트가 어디를 얼마나 자주 볼지 스스로 정하는 가변 길이 에피소드이고, 궤적 전체에 대해 강화학습을 걸어 어디를 봐야 하는지를 정책이 배웁니다.

GPU 사용률을 30퍼센트에서 80퍼센트로 올렸습니다

대규모 강화학습에서는 비동기 방식을 썼습니다. 동기 방식이 확장되지 않는 이유가 명확했는데, 에이전트 롤아웃은 롱테일이라 매 스텝이 가장 느린 하나를 기다리고 그다음 가중치 동기화에서 또 멈추며, 롤아웃이 도는 동안 트레이너가 놀고 학습하는 동안 롤아웃 서버가 놉니다. 그래서 GPU가 30퍼센트 수준으로 돌았고 턴이 늘수록 더 나빠졌습니다.

비동기에서는 워커가 궤적을 쉬지 않고 흘려보내고 학습기가 기다리지 않고 학습하며 GPU를 멈추는 건 가중치 동기화뿐입니다. 여기서 핵심 숫자가 학습기보다 몇 버전까지 뒤처진 궤적을 허용할 것인가인데, 보통은 1이나 2를 두는 경우가 많았지만 8까지 늘리는 레시피를 찾았고 그래도 학습이 안정적이었습니다. 동기 대비 처리량이 6배 넘게 늘었고 GPU 사용률은 30퍼센트에서 80퍼센트로 올라갔습니다.

8까지 두고 학습을 오래 하면 모델이 깨질 수도 있을 것 같은데 어떻게 보완했는지 질문이 나왔습니다. 2, 3천 스텝씩 밟아본 적은 없지만 한 번도 깨진 적이 없다고 답했는데, 깨진 케이스를 보고 해결한 게 아니라 알고리즘을 나름대로 많이 깎아낸 결과였습니다. PPO 기반 알고리즘을 쓸 때 보통 많이 쓰는 클리핑을 일단 뗐는데 안 써도 학습이 잘 돼서 뗐고, 그보다 중요했던 건 오프폴리시를 다루려면 인퍼런스 샘플링 비율에 캡을 두는 것이라 터질 것 같으면 마스크 아웃시켜 학습에 기여하지 않게 만듭니다. 그리고 트레이너와 인퍼런스의 비율을 맞춰 어느 한쪽이 놀지 않게 해야 하는데 최대가 8이어도 실제 평균은 3점 몇, 4점 몇이라 그 비율을 유지하는 게 중요했고, 내부적으로는 12까지 늘려도 문제없이 돌아가는 걸 확인했지만 워크 타임 기준으로 8이 가장 좋아서 그걸 쓰고 있다고 했습니다.

소리로 먼저 오는 징후는 아직 풀지 못한 문제입니다

마지막 질문이 발표의 가장 먼 지점을 건드렸습니다. Sound AI 스타트업에서 오신 분이 공개된 자료에는 설계 도면과 시계열 데이터, 유지보수 이력 정도가 입력으로 언급되어 있는데 데이터센터나 대규모 발전 설비에서는 텔레메트리 수치로 잡히기 전에 소리나 진동으로 징후가 먼저 나타나는 구간이 있다며, 그 구간을 월드 모델에서 어떻게 다룰 것인지 물었습니다.

정말 좋은 질문이라며 안홍준 님이 잠시 멈췄고, 이 프로젝트를 진행하면서 실무진들과도 얘기를 많이 했는데 큰 비전을 실현하려면 그런 데이터도 결국 예측할 수 있는 월드 모델을 만들어야 한다고 했고, 그다음 답이 솔직했습니다.

지금 수준에서는 솔직히 모르겠습니다. 답변이 불성실할 수도 있는데, 진짜 지금 시점에서는 감이 안 잡힙니다.

이해하는 것까지는 할 수 있을 것 같다고 했습니다. 해당 데이터와 관계된 문제들을 어떻게든 합성해서 만들면 되지만, 더 선행하는 지표를 찾아 예측한 다음에 행동한다는 건 굉장히 어려운 문제라는 것이었습니다. 실제로 문제를 푸는 사람의 입장에서 나온 대답이라 더 남았습니다.

벤치마크를 만드는 팀과 그 표에 오르는 팀이 한 방에 있었습니다

Bloom 행사의 꽃인 소그룹 토론으로 마무리했습니다. 4인에서 6인씩 조를 만들고 이름과 소속, 오늘 오신 이유를 나눈 뒤 대화를 이어가는 방식인데, 조장을 뽑는 기준에서 웃음이 제일 크게 터졌습니다. 내 돈으로 AI에 가장 많이 쓰는 분이 조장이고 회사 카드는 빼기로 했습니다.

질문은 Artificial Analysis 팀이 직접 준비해 주셨습니다. AI를 조직에 도입하고 확장할 때 가장 큰 장벽은 무엇인지, 앞으로 몇 년간 AI의 발전에 가장 중요한 것은 무엇인지, 요즘 새롭게 보이는 AI 활용 사례는 무엇인지, 그리고 최근 AI 소식 중 가장 흥미로웠던 것은 무엇인지였는데, 네 가지를 다 하지 않아도 되니 끌리는 것부터 이야기해 달라고 부탁드렸습니다.

조별 인사이트는 디스코드 채널에 올려달라고 부탁드렸고 행사가 끝나고도 사람들이 남아 이야기를 이어갔습니다. 벤치마크를 만드는 팀과 그 표에 오르는 모델을 만드는 팀과 그 모델을 골라 쓰는 사람들이 한 방에 있었던 밤이었습니다. Artificial Analysis의 첫 한국 행사를 함께할 수 있어 감사했고, 다음에는 George 님이 직접 오실 수 있기를 바랍니다.

Bloom과 함께하기

Bloom은 사람과 기술이 만나는 오프라인 자리를 만듭니다. 다음 행사에서 뵙겠습니다.

• 💬 디스코드 커뮤니티, 행사 공지가 가장 먼저 올라옵니다
• ▶️ 유튜브, 지난 행사 강연 다시 보기
• 📸 인스타그램, 행사 사진
• 🎟️ 다가오는 행사 보기