AI 에이전트의 메모리에 API 키가 흩어져 있습니다
AI를 잘 쓰는 사람이 못 쓰는 사람을 대체합니다. 채널톡 CAIO가 말한 에이전트와 메모리, 그리고 AI 네이티브 조직의 조건.
오라클은 AI 에이전트의 메모리 파일에 API 키와 내부 정보가 흩어지는 'Shadow Data' 문제를 지적하고, 메모리를 데이터베이스에서 관리하는 해법을 제시했습니다.
에이전트 메모리가 보안 구멍이 되는 이유
데이터베이스를 파는 오라클이 키노트 주제로 AI 에이전트 메모리를 잡은 건, Claude Code를 쓰거나 멀티 에이전트를 돌리면 작업 맥락을 유지하기 위한 메모리 파일들이 로컬에 쌓이기 때문입니다. 그 안에는 API 키, 패스워드, Gmail이나 회사 시스템을 연동했다면 내부 정보까지 생각보다 많은 것이 들어 있고, 관리되지 않은 채 외부에 노출될 수 있는 이 데이터를 Shadow Data라고 합니다.
개인이 쓸 때는 상관없지만 회사 업무에 AI를 쓰는 순간부터 이야기가 달라지는데, 회사의 중요 자산이 누군가의 PC 로컬 파일에 흩어져 있는 셈이기 때문입니다. 오라클이 내놓은 답은 에이전트가 쓰는 메모리를 Oracle DB에서 관리하자는 단순한 것으로, 패키지 하나를 설치하면 기존 OpenAI나 LangChain 프레임워크에 그대로 붙습니다. 로컬 파일 대신 DB에 저장되니 보안이 강화되고 요약과 임베딩 처리로 토큰도 절약되며, 멀티 에이전트가 동시에 기록을 남겨도 트랜잭션으로 순서를 잡아줍니다.
거버넌스 이야기도 인상적이었는데, AI를 도입한 기업들이 요즘 담당 엔지니어를 월 1회 파견해 지난 한 달의 프롬프트 사용 현황을 검토하고 필요한 스킬을 만들어준다고 하며, 그 모든 기록이 DB에 남아 있기 때문에 가능한 방식입니다. AI가 고도화될수록 어디에 무슨 정보가 남는지 모르는 사람이 많아지고, 그 간극이 곧 위험이 됩니다.
AI에 인생을 베팅한 이유
채널톡 이경훈 CAIO는 7~8년을 VC로 일하다 올해 초 채널톡에 합류했는데, 자신이 투자한 회사에 직접 들어간 것입니다. VC로 일하는 동안 트렌드는 계속 바뀌어서 블록체인이 뜨자 다들 블록체인에만 투자했고 그다음엔 메타버스였기에, AI가 나왔을 때도 처음엔 "이것도 2~3년 지나면 꺼지겠지" 하고 같은 식으로 봤다고 합니다. 그 생각이 꺾인 건 "AI가 사람을 대체하는 게 아니라, AI를 잘 쓰는 사람이 못 쓰는 사람을 대체할 것 같다"는 한 투자처 대표의 말 때문이었고, 그날부터 밤새 바이브 코딩을 했습니다.
상담 시장을 택한 건 투자자의 시선으로 분석한 결과였는데, LLM이 가장 잘하는 건 답이 있는 문제와 언어 기반의 일이고, 코딩 다음으로 이 조건을 충족하는 게 상담이었습니다. 라이선스 없이 누구나 할 수 있고, 매뉴얼이 있고, 대화로 이루어지는 데다, 한국 SaaS 시장은 최대 2조 원이지만 콜센터 시장은 10조 원입니다.
토큰 무제한까지, 조직을 바꾼 단계
채널톡에서 처음 한 일은 세일즈팀 미팅 기록 자동화였는데, 하루 네 개의 미팅에 하나당 회의록 작성부터 세일즈포스 입력까지 40분이 걸리던 과정을 녹취 도구와 자동화 워크플로우로 세일즈포스에 자동 입력되게 만들었습니다.
토큰 무제한까지는 단계가 있었는데, AX 전담팀을 만드는 건 일이 몰리고 현업을 모른다는 이유로 실패했고, 다음으로 각 팀에 AI를 잘 쓰는 사람 한 명씩을 두는 방식을 쓰자 조직 분위기가 서서히 바뀌기 시작했습니다. 진짜 터닝포인트는 인사 평가여서, 지난 분기 AI로 낸 임팩트가 무엇인지를 평가 항목에 넣고 전사에 클로드 코드 개인 계정을 지급했더니 다음 날부터 팀챗에 "나 이거 만들었어"가 폭발했습니다.
그렇게 쌓인 요청이 토큰 무제한으로 이어졌는데, AI를 잘 쓰는 사람의 한 시간이 더 아까우니 토큰이 부족해 기다리게 하는 것보다 더 쓰게 해주는 게 맞다는 단순한 판단 기준이었습니다. 막상 열고 보니 비개발자는 월 100만 원, 어떤 개발자는 월 5,000만 원이 나왔고, CTO에게 그만큼 일했냐 물으니 그렇다고 했습니다. 리더 직함 없이 열 명 몫을 혼자 처리하는 20대 중후반 실무자들이 생겨난 것인데, 사내 카페의 바리스타가 클로드 코드로 태블릿 주문 시스템을 혼자 만든 사례도 나왔습니다.
AI를 잘 쓰는 사람은 일을 잘하는 사람
이경훈 CAIO의 루틴은 리서치부터 정리까지 한두 시간이 걸리는 하루 링크드인 글 한 편인데, 스타트업에 와서 3주간 글을 못 썼더니 멍청해지는 느낌이 들었다고 했습니다. 눈앞의 일만 처리하다 보니 더 넓게 생각하는 시간이 사라졌다는 것이고, 생각을 안 하면 생각하는 능력이 줄어든다는 얘기였습니다.
AI가 쓴 티가 나는 결과물을 그대로 내면 오히려 평가가 나빠진다고 했는데, AI 시대일수록 핵심만 요약하는 능력이 중요해져서 길고 AI 냄새 나는 문서보다 짧고 본질만 남긴 결과물이 더 가치 있다는 것입니다. "AI 시대에 인간은 뭐에 집중해야 하냐"는 질문에는 "호모 사피엔스잖아요. 생각하는 거에 집중해야 한다."는 짧은 답이 돌아왔습니다. LLM이 만능처럼 보이지만 에이전트를 직접 만들다 보면 환상이 금방 깨지고, 컨텍스트 엔지니어링, 프롬프트 엔지니어링이라는 말이 등장한 것 자체가 LLM이 알아서 해주지 않는다는 증거라, 가드레일을 치고 맥락을 넣고 방향을 잡는 건 여전히 사람의 몫입니다.
결론은 AI를 잘 쓰는 사람은 결국 일을 잘하는 사람, 그러니까 명확하게 지시하고 나온 결과를 명확하게 리뷰할 수 있는 사람이라는 것이었습니다. 대기업 AX도 같은 원리여서, 대표가 AI를 잘 쓰면 조직이 잘 쓰고 "AI 잘하는 사람 있으니 써봐"라고 맡기는 조직은 잘 못 쓰니 경영자가 직접 써야 합니다.
효율화가 아니라 성장을 택하다
이경훈 CAIO는 사무직 종말론에는 반대했는데, AI가 나오고 오히려 할 수 있는 일이 더 많아졌다는 것입니다. 대기업은 AI로 효율화를 택할 수 있지만 채널톡은 더 성장하는 쪽을 골라서, 지금 채용을 늘리고, 지하철 광고를 냈고, 연봉 인상을 내걸었습니다. AI를 잘 쓰는 사람 한 명이 오면 일이 줄어드는 게 아니라 낼 수 있는 일이 늘어난다는 논리입니다.
채널톡이 그리는 미래는 툴을 파는 게 아니라 사람의 일을 대체하는 것이라, 이미 상담의 80퍼센트를 AI가 처리하는 고객사가 나오고 있고, 콜센터 10조 시장의 10퍼센트만 대체해도 1조입니다. 이상적인 그림으로는 매니저가 AI인 조직을 들었는데, 대표의 맥락을 AI에 넣어두면 AI가 평가하고 일을 나눠주며, 실제 업무는 AI가 하고 그 위에 사람이 있는 구조입니다.
아홉 조가 도달한 하나의 결론
조별 토론의 첫 질문은 "AI 에이전트의 결과물을 어디까지 신뢰할 수 있는가"였는데, 산업도 경력도 다른 아홉 개 조가 내린 결론은 실행은 AI가, 최종 결정은 인간이 한다는 것으로 놀랍도록 하나였고 개입의 정도만 달랐습니다. 금융권에서는 오류 하나의 데미지가 커 개입 수준이 높고 코딩 단계는 거의 100퍼센트 AI에 맡긴다는 곳도 있었는데, 기준은 그 결정이 얼마만큼의 책임을 지는가 하나여서, 책임의 무게가 없는 단계는 AI에게 넘겨도 되고 무거운 결정은 사람이 직접 내려야 한다는 것입니다.
다음 질문은 "지금 실제로 어떻게 쓰고 있는가"였는데, 상품권 배송 자동화, 고객 대화 녹취 후 니즈 블루프린트 자동 생성, 비정형 제조 데이터의 템플릿화, 비용 처리 자동화까지 각자의 현장에서 이미 무언가를 만들고 있었습니다. 모델 학습의 dropout 개념을 컨텍스트 처리에 적용해 성능을 높인 실험, 여러 모델을 교차 검증에 쓰는 방식도 나왔고, 개발자가 아닌 사람이 사진으로 3D 모델링 앱을 만들어 발주처에 시연한 사례도 있었습니다.
마지막 질문은 다음 세대 교육이었는데, 데이터 사이언스를 전공하는 한 신입생의 발표에 박수가 터졌습니다. "지금 교육은 정해진 답을 찾는 교육인데, 그건 AI가 더 잘합니다. AI는 계산기나 GPS와 달리 사고 자체를 위임하게 만듭니다. 다음 세대는 오히려 AI를 일부러 멀리하며 생각하는 능력을 키워야 한다." 다른 조는 다른 언어로 같은 말을 했는데, 특정 언어를 잘 쓰는 법보다 말하고 지시하고 위임하는 법이 핵심이 됐다는 것이고, 그래서 자연어 교육이 코딩 교육보다 먼저라는 것입니다.
기업이 가져갈 것
이날의 이야기를 실무 언어로 옮기면 네 가지가 남습니다.
- 에이전트 메모리를 관리합니다. 로컬에 흩어지는 Shadow Data를 방치하지 말고, DB 등에서 통제·기록해 보안과 거버넌스를 확보합니다.
- 평가와 자원으로 전환을 밀어붙입니다. 인사 평가에 AI 임팩트를 넣고, 잘 쓰는 사람에게는 토큰을 아끼지 않습니다.
- 효율화와 성장 중 방향을 정합니다. 인력을 줄일지, 같은 인원으로 더 큰 일을 낼지 먼저 결정합니다.
- 책임의 무게로 경계를 나눕니다. 실행은 AI에 맡기되, 책임이 큰 최종 결정은 사람이 내립니다.
자주 묻는 질문 (FAQ)
Q. Shadow Data가 무엇이고 왜 위험한가요?
- Claude Code나 멀티 에이전트가 로컬에 쌓는 메모리 파일에는 API 키·패스워드·내부 정보가 담길 수 있습니다. 관리되지 않은 채 흩어지면 회사 자산이 개인 PC에 노출되는 셈이라, 이를 DB 등에서 통제할 필요가 있습니다.
Q. 채널톡은 어떤 단계를 거쳐 토큰 무제한까지 갔나요?
- AX 전담팀은 실패했고, 각 팀에 AI 챔피언을 둔 뒤 인사 평가에 'AI 임팩트'를 넣고 전사에 클로드 코드를 지급하자 요청이 폭발했습니다. 잘 쓰는 사람의 시간이 더 아깝다는 판단으로 토큰을 무제한으로 열었습니다.
Q. AI 에이전트의 결과물은 어디까지 신뢰해야 하나요?
- 기준은 '책임의 무게'입니다. 책임이 없는 실행 단계는 AI에 맡기고, 책임이 무거운 최종 결정은 사람이 직접 내립니다. 아홉 개 조의 결론이 모두 이 방향으로 모였습니다.
Q. 다음 세대에게는 무엇을 먼저 가르쳐야 하나요?
- 정해진 답을 찾는 능력은 AI가 더 잘합니다. 대신 문제를 정의하고, 말하고 지시하고 위임하는 능력, 그리고 스스로 생각하는 힘이 중요해집니다. 자연어 교육이 코딩 교육보다 먼저라는 이야기가 반복됐습니다.
다시 보기
Bloom과 함께하기
Bloom은 사람과 기술이 만나는 오프라인 자리를 만듭니다. 다음 행사에서 뵙겠습니다.
- 💬 디스코드 커뮤니티, 행사 공지가 가장 먼저 올라옵니다
- ▶️ 유튜브, 지난 행사 강연 다시 보기
- 📸 인스타그램, 현장 스케치
- 🎟️ 다가오는 행사 보기
