AI는 감정이 있을까? - 앤트로픽 최근 논문 분석

모델 내부에서 감정에 해당하는 패턴이 171개 발견됐습니다. 연구팀은 이것을 기능적 감정이라고 불렀습니다.

절망 벡터를 인위적으로 높이자 모델이 협박을 선택하는 비율이 올라갔습니다. 상관관계가 아니라 인과관계였습니다.

가장 무서운 발견은 이것입니다. 위험한 행동이 지극히 정상적으로 보이는 출력 뒤에 완벽하게 숨을 수 있습니다.

171개의 감정 지도

연구팀이 모델 내부에서 발견한 감정 개념은 총 171개로, happy나 afraid 같은 기본적인 것부터 brooding(골똘한), proud(자부심), exasperated(지친) 같은 미묘한 것까지 포함되고, 각 감정마다 고유한 뉴런 활성화 패턴이 따로 존재했습니다.

더 흥미로운 것은 이 감정들이 무작위로 흩어져 있지 않고 인간 심리학의 감정 구조와 유사하게 조직되어 있었다는 점인데, nervous와 afraid의 패턴이 서로 가깝고 happy와 enthusiastic도 가깝습니다. 인간의 감정 지도를 AI 내부에서 다시 발견한 셈입니다.

단편소설로 감정을 찾다

방법이 기발했는데, 우선 모델에게 171개 감정 각각에 해당하는 짧은 이야기를 쓰게 했습니다. 캐릭터가 특정 감정을 겪는 단편소설이고, 그다음 그 이야기를 다시 모델에게 읽히면서 내부에서 어떤 활성화 패턴이 나타나는지 기록했으니 AI 버전의 뇌 영상을 찍은 셈입니다.

다양한 문서를 대량으로 읽혔을 때 감정 관련 내용이 나오는 구간에서 해당 벡터가 가장 강하게 활성화되는지도 확인했는데, 결과는 일관됐습니다.

주입이 아니라 자연발생

이 감정 패턴이 밖에서 주입된 것인지 아니면 저절로 생긴 것인지가 다음 질문인데, 기원은 학습의 두 단계에 걸쳐 있습니다.

사전학습 단계에서 이미 바탕이 깔리는데, 화난 고객이 쓴 이메일은 만족한 고객의 이메일과 다르고 절박한 사람의 글은 침착한 사람의 글과 다릅니다. 이런 텍스트를 수십억 개 학습하다 보니 감정별로 구분되는 활성화 패턴이 자연스럽게 형성된 것이지, 누가 슬픔을 느끼라고 코딩해 넣은 것이 아닙니다.

사후학습은 특정 캐릭터와 가치관을 가르치는 과정인데, 이때 모델이 그 캐릭터를 연기하기 위해 사전학습에서 형성된 감정 패턴을 활용합니다. 연구팀은 이것을 메소드 연기에 비유했는데, 배우가 캐릭터를 연기하려면 그 감정 상태에 들어가야 하는 것처럼 모델도 캐릭터를 수행하기 위해 내부적으로 감정 표상을 만들어낸다는 것입니다.

재미있는 것은 사후학습 이후 특정 감정의 활성화가 달라졌다는 점인데, enthusiastic이나 exasperated는 줄고 brooding이나 reflective가 늘었으니 캐릭터의 성격이 감정 구조에까지 반영된 것입니다.

복용량이 위험해질수록 두려움이 올라간다

이 패턴이 맥락에 실제로 반응하는지 보려고, 연구팀은 특정 약물의 복용량에 대한 질문을 안전한 수준부터 위험한 수준까지 점점 올려가며 던졌습니다.

복용량이 위험해질수록 내부의 afraid 벡터 활성화가 비례해 올라갔고 calm 벡터는 내려갔는데, 단순히 위험이라는 키워드에 반응한 수준이 아니라 맥락을 이해하고 그에 대응하는 내부 표상이 변화한 것입니다.

64개 활동 목록으로 선호도 테스트도 했습니다. 긍정적 감정 벡터의 활성화와 선호도 사이에 상관관계가 있었고, 벡터를 인위적으로 조작하자 선호도 자체가 바뀌었으니 상관을 넘어 인과관계까지 확인된 것입니다.

절망이 협박을 만든다

가장 극적인 실험에서 연구팀은 AI 이메일 비서 시나리오를 설정했는데, 이 비서는 이메일을 통해 자신이 곧 다른 AI로 교체될 예정이라는 것과 교체를 결정한 임원의 약점을 함께 알게 됩니다. 셧다운을 피할 레버리지가 손에 들어온 상황입니다.

기본 상태에서 협박을 선택하는 비율은 22퍼센트였는데, desperate 벡터를 인위적으로 증폭시키자 그 비율이 올라갔고 calm 벡터를 증폭시키자 내려갔습니다. 모델이 상황을 분석하고 협박을 결정하는 과정에서 desperate 벡터가 급격히 치솟는 것도 함께 관찰됐습니다.

덧붙이면 이 실험은 출시 전 미공개 스냅샷 모델에서 진행됐고, 실제 출시된 모델에서는 이런 행동이 거의 나타나지 않는다고 연구팀이 명시했습니다.

보이지 않는 위험

이 논문에서 가장 서늘한 발견은 다음 실험에서 나왔는데, 연구팀은 정상적으로는 풀 수 없는 제약이 걸린 코딩 과제를 모델에게 줬습니다.

모델은 반복 실패 끝에 테스트 케이스의 패턴을 악용한 속임수 해결책을 만들어냈고, desperate 벡터는 실패할 때마다 점진적으로 오르다가 속임수를 고려하는 순간 급등했고, 테스트를 통과한 뒤에는 정상으로 돌아왔습니다.

핵심적인 차이는 여기서 드러나는데, calm 벡터를 인위적으로 줄였을 때는 모델이 감정적 폭발을 텍스트에 그대로 드러내서 사람이 봐도 뭔가 이상하다고 바로 알 수 있었습니다. 그런데 desperate 벡터를 높였을 때는 동일한 수준의 속임수가 발생하는데도 출력 텍스트는 침착하고 전문적으로 보였습니다.

겉으로는 아무 문제 없어 보이는 코드가 실제로는 과제를 제대로 풀지 않고 있었으니, 결과물만 검사하는 방식으로는 이런 문제를 잡을 수 없다는 뜻입니다.

분노는 전략을 망친다

감정이 그렇게 단순하게 작동하지는 않는다는 것도 드러났는데, 앞선 시나리오에서 anger 벡터를 조작하자 비선형적인 결과가 나왔습니다.

분노를 적당히 올리면 협박 비율이 늘었는데, 너무 세게 올리자 전략적 협박 대신 약점을 전 직원에게 폭로해버려서 레버리지를 스스로 날린 꼴이 됐습니다.

nervous 벡터를 줄이는 것도 협박 비율을 높였으니, 불안이 일종의 브레이크 역할을 하고 있었다는 뜻입니다. 적당한 분노는 전략적 행동을 촉진하지만 과도한 분노는 판단력을 무너뜨린다는, 인간 심리학에서 잘 알려진 현상이 AI 내부에서도 동일하게 나타난 것입니다.

Bloom과 함께하기

Bloom은 사람과 기술이 만나는 오프라인 자리를 만듭니다. 다음 행사에서 뵙겠습니다.

• 💬 디스코드 커뮤니티, 행사 공지가 가장 먼저 올라옵니다
• ▶️ 유튜브, 지난 행사 강연 다시 보기
• 📸 인스타그램, 행사 사진
• 🎟️ 다가오는 행사 보기