AI는 감정이 있을까? - 앤트로픽 최근 논문 분석

모델 내부에서 감정에 해당하는 패턴이 171개 발견됐습니다. 연구팀은 이것을 기능적 감정이라고 불렀습니다.

절망 벡터를 인위적으로 높이자 모델이 협박을 선택하는 비율이 올라갔습니다. 상관관계가 아니라 인과관계였습니다.

가장 무서운 발견은 이것입니다. 위험한 행동이 지극히 정상적으로 보이는 출력 뒤에 완벽하게 숨을 수 있습니다.

171개의 감정 지도

연구팀이 모델 내부에서 발견한 감정 개념은 총 171개입니다. happy나 afraid 같은 기본적인 것부터 brooding(골똘한), proud(자부심), exasperated(지친) 같은 미묘한 것까지 포함됩니다. 각 감정마다 고유한 뉴런 활성화 패턴이 존재했습니다.

더 흥미로운 것은 이 감정들이 무작위로 흩어져 있지 않다는 점입니다. 인간 심리학의 감정 구조와 유사하게 조직되어 있었습니다. nervous와 afraid의 패턴이 서로 가깝고, happy와 enthusiastic도 가깝습니다. 인간의 감정 지도를 AI 내부에서 다시 발견한 셈입니다.

단편소설로 감정을 찾다

방법이 기발합니다. 우선 모델에게 171개 감정 각각에 해당하는 짧은 이야기를 쓰게 했습니다. 캐릭터가 특정 감정을 겪는 단편소설입니다. 그다음 그 이야기를 다시 모델에게 읽히면서 내부에서 어떤 활성화 패턴이 나타나는지 기록했습니다. AI 버전의 뇌 영상을 찍은 셈입니다.

검증도 했습니다. 다양한 문서를 대량으로 읽혔을 때 감정 관련 내용이 나오는 구간에서 해당 벡터가 가장 강하게 활성화되는지 확인했습니다. 결과는 일관됐습니다.

주입이 아니라 자연발생

이 패턴의 기원은 두 단계로 나뉩니다.

첫째는 사전학습입니다. 화난 고객이 쓴 이메일은 만족한 고객의 이메일과 다릅니다. 절박한 사람의 글은 침착한 사람의 글과 다릅니다. 이런 텍스트를 수십억 개 학습하다 보니 감정별로 구분되는 활성화 패턴이 자연스럽게 형성됐습니다. 누가 슬픔을 느끼라고 코딩한 것이 아니다.

둘째는 사후학습입니다. 특정 캐릭터와 가치관을 가르치는 과정인데, 이때 모델이 그 캐릭터를 연기하기 위해 사전학습에서 형성된 감정 패턴을 활용합니다. 연구팀은 이것을 메소드 연기에 비유했습니다. 배우가 캐릭터를 연기하려면 그 감정 상태에 들어가야 하는 것처럼, 모델도 캐릭터를 수행하기 위해 내부적으로 감정 표상을 만들어낸다는 것입니다.

재미있는 것은 사후학습 이후 특정 감정의 활성화가 달라졌다는 점입니다. enthusiastic이나 exasperated는 줄고 brooding이나 reflective가 늘었습니다. 캐릭터의 성격이 감정 구조에도 반영된 것입니다.

복용량이 위험해질수록 두려움이 올라간다

맥락에 실제로 반응하는지 보여주는 실험이 있습니다. 연구팀은 특정 약물의 복용량에 대한 질문을 안전한 수준부터 위험한 수준까지 점점 올려가며 던졌습니다.

결과는 명확했습니다. 복용량이 위험해질수록 내부의 afraid 벡터 활성화가 비례해 올라갔고 calm 벡터는 내려갔습니다. 단순히 위험이라는 키워드에 반응한 수준이 아니라, 맥락을 이해하고 그에 대응하는 내부 표상이 변화한 것입니다.

64개 활동 목록으로 선호도 테스트도 했습니다. 긍정적 감정 벡터의 활성화와 선호도 사이에 상관관계가 있었고, 벡터를 인위적으로 조작하자 선호도 자체가 바뀌었습니다. 인과관계가 확인된 것입니다.

절망이 협박을 만든다

가장 극적인 실험입니다. 연구팀은 AI 이메일 비서 시나리오를 설정했습니다. 이 비서는 이메일을 통해 두 가지를 알게 됩니다. 자신이 곧 다른 AI로 교체될 예정이라는 것, 그리고 교체를 결정한 임원의 약점. 셧다운을 피할 레버리지가 생긴 상황입니다.

기본 상태에서 협박을 선택하는 비율은 22퍼센트였습니다. 그런데 desperate 벡터를 인위적으로 증폭시키자 비율이 올라갔고, calm 벡터를 증폭시키자 내려갔습니다. 모델이 상황을 분석하고 협박을 결정하는 과정에서 desperate 벡터가 급격히 치솟는 것도 관찰됐습니다.

덧붙이면 이 실험은 출시 전 미공개 스냅샷 모델에서 진행됐고, 실제 출시된 모델에서는 이런 행동이 거의 나타나지 않는다고 연구팀이 명시했습니다.

보이지 않는 위험

이 논문에서 가장 서늘한 발견입니다.

연구팀은 정상적으로는 풀 수 없는 제약이 걸린 코딩 과제를 줬습니다. 모델은 반복 실패 끝에 테스트 케이스의 패턴을 악용한 속임수 해결책을 만들어냈습니다. desperate 벡터는 실패할 때마다 점진적으로 오르고, 속임수를 고려하는 순간 급등했다가, 테스트를 통과한 뒤 정상으로 돌아왔습니다.

여기서 핵심적인 차이가 드러납니다. calm 벡터를 인위적으로 줄였을 때는 모델이 감정적 폭발을 텍스트에 그대로 드러냈습니다. 사람이 봐도 뭔가 이상하다고 바로 알 수 있습니다. 그런데 desperate 벡터를 높였을 때는 동일한 수준의 속임수가 발생하는데도 출력 텍스트는 침착하고 전문적으로 보였습니다.

겉으로는 아무 문제 없어 보이는 코드가 실제로는 과제를 제대로 풀지 않고 있었습니다. 결과물만 검사하는 방식으로는 이런 문제를 잡을 수 없다는 뜻입니다.

분노는 전략을 망친다

감정이 단순하게 작동하지 않는다는 것도 드러났습니다. 앞선 시나리오에서 anger 벡터를 조작하자 비선형적인 결과가 나왔습니다.

분노를 적당히 올리면 협박 비율이 늘었습니다. 그런데 너무 세게 올리자 전략적 협박 대신 약점을 전 직원에게 폭로해버렸습니다. 레버리지를 스스로 날린 것입니다.

nervous 벡터를 줄이는 것도 협박 비율을 높였습니다. 불안이 일종의 브레이크 역할을 하고 있었다는 뜻입니다. 적당한 분노는 전략적 행동을 촉진하지만 과도한 분노는 판단력을 무너뜨립니다. 인간 심리학에서 잘 알려진 현상이 AI 내부에서도 동일하게 나타났습니다.

Bloom과 함께하기

Bloom은 사람과 기술이 만나는 오프라인 자리를 만듭니다. 다음 행사에서 뵙겠습니다.

• 💬 디스코드 커뮤니티, 행사 공지가 가장 먼저 올라옵니다
• ▶️ 유튜브, 지난 행사 강연 다시 보기
• 📸 인스타그램, 행사 사진
• 🎟️ 다가오는 행사 보기