삼성전자부터 구청 8급 공무원까지, 현업이 AI를 쓰는 법

삼성전자는 기밀 코드를 자체 GPU로, 나머지는 Bedrock으로 나눠 Claude Code를 돌리는 환경을 만들었고, 광진구청 8급 공무원은 법령 MCP를 "몰래" 만들어 공공 혁신 사례가 됐습니다.

보수적인 조직은 어떻게 AI를 들였나

첫 세션은 삼성전자 김성수 님과 광진구청 류승인 주무관이 페어로 나와, 보수적인 조직에서 AI를 어떻게 도입했는지를 풀었습니다. 김성수 님은 삼성전자 LSI 사업부에서 GPU 100장을 직접 운영하는데, 대상 7천 명에 실사용 4천 명이라 제대로 수용하려면 300장이 필요한데도 100장으로 굴립니다. 그 위에서 Claude Code를 자체 GPU로 돌리는 환경을 만들었는데, 설치 바이너리의 엔드포인트를 내부 도메인으로 바꾸고 LiteLLM을 미들웨어로 두어 자체 GPU와 통신하게 해 기밀 코드가 외부로 나가지 않게 했습니다.

AWS도 경쟁사라 Bedrock에도 기밀 코드는 보낼 수 없어, 기밀은 자체 GPU로 그 외는 Bedrock으로 두 트랙을 운영합니다. LSI는 하드웨어 설계 사업부라 세상에 공개되지 않은 RTL 언어를 쓰는데 범용 모델은 이 코드를 짜지 못하기 때문에, 대신 방대한 내부 문서를 RAG로 학습시켜 자체 에이전트를 돌립니다.

여기까지 오는 게 싸움이어서, GPU를 소수 전문가에게만 주자는 임원과 도메인 지식이 있는 사람이 써야 진짜 도움이 된다는 김성수 님이 몇 달을 부딪쳤고, 사내 전체 메일을 네 번 돌리며 적도 생겼습니다. Claude Code 하나로 임원들이 잡아둔 에이전트 개발 목표가 무의미해지자 성과 지표가 무너진 사람들도 적이 됐지만, 그럼에도 LSI는 절반 인력으로 굴러가는 비메모리 사업부라 AI를 환영하는 분위기가 강해 기초 교육을 열면 1분 만에 마감됩니다.

광진구청 류승인 주무관의 방식은 달라서, 본인 표현으로는 "타파를 못 했고, 시키지 않은 짓을 몰래 했다"는 쪽이었습니다. AI가 법령을 틀리게 답해 혼난 뒤(할루시네이션) 파고들다 MCP에 도달했고, 국가법령정보센터의 공개 API를 바이브 코딩으로 연결해 법령 MCP를 만들었는데, 스레드에 공개하자 변호사·회계사·공직자가 쓰기 시작했고 국가인공지능위원회 혁신 사례로 소개됐습니다. 내부에서는 "그걸 왜 만드냐"는 반응이었지만 사내 AI 서비스에 붙여 환경을 만들어주자 비로소 인정받았고, 구청 소식지 업무에선 50~100개 한글 파일을 하나씩 편집하던 일을 문서 파싱으로 8분 만에 끝냈습니다.

두 사람이 말한 포모 극복법은 같은 방향으로, AI 전문가는 없고 자기 도메인 지식을 가진 사람이 AI를 조금만 잘 쓰면 훨씬 강하니 급하게 달리기보다 근원적인 내 문제를 잘 던지는 것이 먼저라는 것이었습니다.

AI를 잘 쓰는 것과 사업이 잘 되는 건 별개다

두 번째 세션의 스페이스Y 황현태 대표는 B2B SaaS를 하다 "속았다"는 감각을 느꼈다면서, 소프트웨어를 잘 만드는 것보다 AI로 어떤 역량을 끌어올릴 사업을 찾느냐로 관점을 바꿨다고 했습니다. 그가 꺼낸 개념은 FDE, 포워드 디플로이드 엔지니어로, 고객사에 들어가 문제를 직접 듣고 함께 엔지니어링하는 역할인데 열 명이 하던 일을 AI 시대에 한 명이 하니 그만큼 혼자 짊어지는 압박이 커져 멘탈 블루가 옵니다. 그래서 스페이스Y는 작업반장·엔지니어·커뮤니케이터처럼 성격이 다른 2~3인 1조로 팀을 바꾸고 있는데, AI 기술은 다들 잘 쓰고 진짜 문제는 그 이후의 팀 구조와 멘탈 헤징이었다는 것입니다.

시니어와 주니어의 역할도 역전돼서, 회사의 암묵지를 아는 시니어가 컨텍스트를 정리해 AI에 학습시키고, 주니어는 세션을 열여섯 개씩 병렬로 돌리며 아웃풋 양으로 속도를 냅니다.

클라이원트 조준호 대표의 고백은 앞선 제안 세션과 이어졌는데, 올해 초 전사에 AI를 도입하고 목요일 오후를 실험 시간으로 뺐지만 매출은 똑같았고, 그래서 "AI를 잘 쓰는 것과 회사가 잘 되는 건 완전히 별개"라는 것입니다. 스타트업은 혁신적 방식으로 기존 산업을 파괴하며 들어가는 것이지 꼭 제품일 필요가 없으니, 고객이 반복해 던진 "그냥 다 해줘"를 AI로 입찰 프로세스를 극도로 단축해 하루에 백 개의 제안서를 만드는 'AI 극대화 컨설팅'으로 받기로 방향을 틀었습니다.

끝 그림도 중요해서, 일론 머스크가 다행성 거주를 비전으로 걸어 팀이 따라가듯 끝 그림이 없으면 AI를 아무리 잘 써도 다음 단계로 못 갑니다. 청중의 "대기업이 내부에서 다 만들어 쓰면 스타트업 제품이 필요 없어지지 않느냐"는 질문에 그는 맞다고 답하면서, 제품 하나로 승부하는 시대는 지났고 고객 여정을 한 번에 푸는 엔드투엔드까지 가야 가치가 나온다고 했습니다.

잃을 게 없는 자의 플레이

세 번째 세션은 1인 빌더 두 사람이었는데, K스킬 개발자 김동규 님은 카이스트 학부연구생으로 한국인을 위한 에이전트 스킬 90개를 모은 K스킬을 만들어 GitHub 스타 5,600개를 받았고, 깃허브 스타는 유튜브 구독자의 열 배에서 쉰 배 효과가 있다고 봤습니다. 요즘 그의 전략은 90점을 채워 내놓는 게 아니라 80점에서 바로 출시하고 일단 내보낸 뒤 피드백으로 고치는 것입니다. 그의 한마디는 "잃을 게 없는 사람이 제일 무섭다"였는데, 이미 열려 있으면 뚫을 게 없고 카피하려는 쪽은 오히려 의존성이 생기니, 클로즈드 소스 1등이 할 수 없는 플레이를 오픈소스 2등이 한다는 논리였습니다.

1인 빌더 이정민 님은 투자사와 스타트업을 거쳐 올해부터 1인 빌더로 살면서, 대부분의 소프트웨어는 무너진다는 전제로 무엇이 통할지를 실험한다고 했습니다. 1인 빌더의 한계도 솔직히 털어놨는데, 아프면 그날 업무가 멈추고, 발표 자료는 딸깍으로 만들어도 최고책임자 보고나 큰 행사에 들고 나가는 건 전혀 다른 문제입니다. 그가 지금 집중하는 건 경영권을 확보한 사모펀드가 AI로 생산성을 높여 기업 가치를 올리는 사모펀드 AI 롤업으로, 국내에 사례가 없다가 하나가 확정됐습니다.

그가 강조한 1인 빌더의 모트는 채널이었습니다. "채널을 못 만들면 1인 빌더를 하면 안 됩니다. 서비스 설명이 어려우면 먼저 나 자신을 설명하라. 그게 더 쉽다." 발표 내내 그는 그 자리에서 카메라 앱을 만들고 있었고, 끝나면 바로 출시하겠다고 했습니다.

토큰 맥싱, 천장을 맞봐야 할까

마지막에 토큰 맥싱을 두고 두 사람이 입장을 갈랐는데, 김동규 님은 최고 모델을 끝까지 다 써봐야 어디서 효율화할 수 있는지 보인다는 찬성 쪽이었습니다. 천장을 맞봐야 어디를 뗄 수 있는지 알 수 있고, 지금은 싸니 빨리 써봐야 한다고 했습니다. 이정민 님은 조건부 찬성으로, 의도와 설정이 없으면 토큰을 써도 아무것도 못 만들고, 무엇을 할지 방향이 없는 상태에서 여러 모델을 다 구독하고 무자비하게 돌리면 돈만 쓰고 모니터만 보게 되니, 파괴력을 알기 위한 토큰 맥싱은 맞지만 방향 없는 소진은 다르다는 것입니다.

결국 두 발언은 좋은 도구를 끝까지 써보되, 무엇을 왜 만들지에 대한 자기 문제 정의가 함께 가야 한다는 같은 말이었습니다.

기업이 가져갈 것

이날의 이야기를 실무 언어로 옮기면 네 가지가 남습니다.

1. 도메인 지식이 먼저입니다. 'AI 전문가'를 따로 두기보다, 현업을 아는 사람이 AI를 조금 잘 쓰게 만드는 편이 훨씬 강합니다.
2. 도입은 환경으로 완성됩니다. 좋은 도구를 만들어도 쓰는 환경(권한·연결·교육)을 함께 깔아야 조직이 비로소 움직입니다.
3. AI 스킬이 아니라 사업을 재설계합니다. AI를 잘 쓰는 것만으로는 매출이 오르지 않습니다. 프로세스와 사업 모델 자체를 다시 짭니다.
4. 채널과 끝 그림을 만듭니다. 1인 빌더든 조직이든, 자신을 설명하는 채널과 도달할 끝 그림이 없으면 도구는 소진으로 끝납니다.

자주 묻는 질문 (FAQ)

Q. 보수적인 조직은 AI를 어떻게 도입하나요?

• 삼성전자는 기밀 코드를 자체 GPU로, 나머지는 클라우드로 나눠 유출을 막는 두 트랙을 운영합니다. 광진구청 사례처럼 현업이 직접 필요한 도구(법령 MCP 등)를 만들고, 조직이 쓸 수 있는 환경을 붙여 확산시키는 방식도 유효합니다.

Q. AI를 잘 쓰면 회사 매출도 같이 오르나요?

• 꼭 그렇지 않습니다. AI 스킬이 늘어도 사업 모델이 그대로면 성장하지 않습니다. 반복 업무는 AI에 맡기고, 프로세스와 사업 자체를 재설계해야 성장으로 이어집니다.

Q. 1인 빌더의 핵심 전략은 무엇인가요?

• 잃을 게 없는 플레이입니다. 80점에서 바로 출시해 피드백으로 개선하고, 제품 설명보다 자신을 설명하는 채널을 먼저 만듭니다. 채널을 만들 수 없다면 1인 빌더는 권하지 않는다는 조언도 나왔습니다.

Q. 최고 모델을 끝까지 쓰는 토큰 맥싱은 해야 하나요?

• 좋은 모델의 파괴력을 끝까지 경험해 어디를 효율화할지 감을 잡으려면 맥싱이 유효합니다. 다만 무엇을 왜 만들지에 대한 방향과 문제 정의가 없으면, 아무리 많은 토큰을 써도 소진으로 끝납니다.

다시 보기

Bloom과 함께하기

Bloom은 사람과 기술이 만나는 오프라인 자리를 만듭니다. 다음 행사에서 뵙겠습니다.

• 💬 디스코드 커뮤니티, 행사 공지가 가장 먼저 올라옵니다
• ▶️ 유튜브, 지난 행사 강연 다시 보기
• 📸 인스타그램, 현장 스케치
• 🎟️ 다가오는 행사 보기