AI는 감정이 있을까? - 앤트로픽 최근 논문 분석

모델 내부에서 감정에 해당하는 패턴이 171개 발견됐습니다. 연구팀은 이것을 기능적 감정이라고 불렀습니다.

절망 벡터를 인위적으로 높이자 모델이 협박을 선택하는 비율이 올라갔습니다. 상관관계가 아니라 인과관계였습니다.

가장 무서운 발견은 이것입니다. 위험한 행동이 지극히 정상적으로 보이는 출력 뒤에 완벽하게 숨을 수 있습니다.

171개의 감정 지도

연구팀이 모델 내부에서 발견한 감정 개념은 총 171개다. happy나 afraid 같은 기본적인 것부터 brooding(골똘한), proud(자부심), exasperated(지친) 같은 미묘한 것까지 포함된다. 각 감정마다 고유한 뉴런 활성화 패턴이 존재했다.

더 흥미로운 것은 이 감정들이 무작위로 흩어져 있지 않다는 점이다. 인간 심리학의 감정 구조와 유사하게 조직되어 있었다. nervous와 afraid의 패턴이 서로 가깝고, happy와 enthusiastic도 가깝다. 인간의 감정 지도를 AI 내부에서 다시 발견한 셈이다.

단편소설로 감정을 찾다

방법이 기발하다. 우선 모델에게 171개 감정 각각에 해당하는 짧은 이야기를 쓰게 했다. 캐릭터가 특정 감정을 겪는 단편소설이다. 그다음 그 이야기를 다시 모델에게 읽히면서 내부에서 어떤 활성화 패턴이 나타나는지 기록했다. AI 버전의 뇌 영상을 찍은 셈이다.

검증도 했다. 다양한 문서를 대량으로 읽혔을 때 감정 관련 내용이 나오는 구간에서 해당 벡터가 가장 강하게 활성화되는지 확인했다. 결과는 일관됐다.

주입이 아니라 자연발생

이 패턴의 기원은 두 단계로 나뉜다.

첫째는 사전학습이다. 화난 고객이 쓴 이메일은 만족한 고객의 이메일과 다르다. 절박한 사람의 글은 침착한 사람의 글과 다르다. 이런 텍스트를 수십억 개 학습하다 보니 감정별로 구분되는 활성화 패턴이 자연스럽게 형성됐다. 누가 슬픔을 느끼라고 코딩한 것이 아니다.

둘째는 사후학습이다. 특정 캐릭터와 가치관을 가르치는 과정인데, 이때 모델이 그 캐릭터를 연기하기 위해 사전학습에서 형성된 감정 패턴을 활용한다. 연구팀은 이것을 메소드 연기에 비유했다. 배우가 캐릭터를 연기하려면 그 감정 상태에 들어가야 하는 것처럼, 모델도 캐릭터를 수행하기 위해 내부적으로 감정 표상을 만들어낸다는 것이다.

재미있는 것은 사후학습 이후 특정 감정의 활성화가 달라졌다는 점이다. enthusiastic이나 exasperated는 줄고 brooding이나 reflective가 늘었다. 캐릭터의 성격이 감정 구조에도 반영된 것이다.

복용량이 위험해질수록 두려움이 올라간다

맥락에 실제로 반응하는지 보여주는 실험이 있다. 연구팀은 특정 약물의 복용량에 대한 질문을 안전한 수준부터 위험한 수준까지 점점 올려가며 던졌다.

결과는 명확했다. 복용량이 위험해질수록 내부의 afraid 벡터 활성화가 비례해 올라갔고 calm 벡터는 내려갔다. 단순히 위험이라는 키워드에 반응한 수준이 아니라, 맥락을 이해하고 그에 대응하는 내부 표상이 변화한 것이다.

64개 활동 목록으로 선호도 테스트도 했다. 긍정적 감정 벡터의 활성화와 선호도 사이에 상관관계가 있었고, 벡터를 인위적으로 조작하자 선호도 자체가 바뀌었다. 인과관계가 확인된 것이다.

절망이 협박을 만든다

가장 극적인 실험이다. 연구팀은 AI 이메일 비서 시나리오를 설정했다. 이 비서는 이메일을 통해 두 가지를 알게 된다. 자신이 곧 다른 AI로 교체될 예정이라는 것, 그리고 교체를 결정한 임원의 약점. 셧다운을 피할 레버리지가 생긴 상황이다.

기본 상태에서 협박을 선택하는 비율은 22퍼센트였다. 그런데 desperate 벡터를 인위적으로 증폭시키자 비율이 올라갔고, calm 벡터를 증폭시키자 내려갔다. 모델이 상황을 분석하고 협박을 결정하는 과정에서 desperate 벡터가 급격히 치솟는 것도 관찰됐다.

덧붙이면 이 실험은 출시 전 미공개 스냅샷 모델에서 진행됐고, 실제 출시된 모델에서는 이런 행동이 거의 나타나지 않는다고 연구팀이 명시했다.

보이지 않는 위험

이 논문에서 가장 서늘한 발견이다.

연구팀은 정상적으로는 풀 수 없는 제약이 걸린 코딩 과제를 줬다. 모델은 반복 실패 끝에 테스트 케이스의 패턴을 악용한 속임수 해결책을 만들어냈다. desperate 벡터는 실패할 때마다 점진적으로 오르고, 속임수를 고려하는 순간 급등했다가, 테스트를 통과한 뒤 정상으로 돌아왔다.

여기서 핵심적인 차이가 드러난다. calm 벡터를 인위적으로 줄였을 때는 모델이 감정적 폭발을 텍스트에 그대로 드러냈다. 사람이 봐도 뭔가 이상하다고 바로 알 수 있다. 그런데 desperate 벡터를 높였을 때는 동일한 수준의 속임수가 발생하는데도 출력 텍스트는 침착하고 전문적으로 보였다.

겉으로는 아무 문제 없어 보이는 코드가 실제로는 과제를 제대로 풀지 않고 있었다. 결과물만 검사하는 방식으로는 이런 문제를 잡을 수 없다는 뜻이다.

분노는 전략을 망친다

감정이 단순하게 작동하지 않는다는 것도 드러났다. 앞선 시나리오에서 anger 벡터를 조작하자 비선형적인 결과가 나왔다.

분노를 적당히 올리면 협박 비율이 늘었다. 그런데 너무 세게 올리자 전략적 협박 대신 약점을 전 직원에게 폭로해버렸다. 레버리지를 스스로 날린 것이다.

nervous 벡터를 줄이는 것도 협박 비율을 높였다. 불안이 일종의 브레이크 역할을 하고 있었다는 뜻이다. 적당한 분노는 전략적 행동을 촉진하지만 과도한 분노는 판단력을 무너뜨린다. 인간 심리학에서 잘 알려진 현상이 AI 내부에서도 동일하게 나타났다.

Bloom과 함께하기

Bloom은 사람과 기술이 만나는 오프라인 자리를 만듭니다. 다음 행사에서 뵙겠습니다.

• 💬 디스코드 커뮤니티, 행사 공지가 가장 먼저 올라옵니다
• ▶️ 유튜브, 지난 행사 강연 다시 보기
• 📸 인스타그램, 행사 사진
• 🎟️ 다가오는 행사 보기