앤트로픽 CEO 다리오 아모데이: AI의 잠재력, 경쟁, 비즈니스, 그리고 '둠머' 비판에 대한 반박
이 영상은 앤트로픽(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)와의 인터뷰를 통해 AI의 미래, 특히 생성형 AI의 비즈니스 잠재력과 위험성에 대한 그의 견해를 심층적으로 다룹니다. 아모데이는 AI 기술의 폭발적인 발전 속도와 그에 따른 사회적, 경제적 영향을 강조하며, 자신을 '둠머(doomer)'라고 비판하는 이들에게 강력히 반박합니다. 그는 AI의 긍정적인 활용 가능성을 누구보다 잘 이해하고 있지만, 동시에 잠재적 위험에 대한 경고와 안전성 확보의 중요성을 역설합니다.
1. AI 발전의 긴급성과 '둠머' 비판에 대한 반박
다리오 아모데이는 자신을 '둠머'라고 부르는 사람들에게 강한 불만을 표출하며 인터뷰를 시작합니다. 그는 자신의 아버지가 몇 년만 더 일찍 치료법이 개발되었더라면 살 수 있었을 것이라는 개인적인 경험을 언급하며, AI 기술의 긍정적인 잠재력을 누구보다 잘 이해하고 있다고 강조합니다.
"사람들이 저를 둠머라고 부를 때 정말 화가 납니다. '이 사람은 둠머야. 속도를 늦추고 싶어 해.'라고 말할 때 말이죠. 방금 제가 말한 것을 들으셨을 겁니다. 제 아버지는 몇 년만 더 일찍 치료법이 개발되었더라면 살 수 있었을 겁니다. 저는 이 기술의 이점을 이해합니다."
그는 엔비디아 CEO 젠슨 황(Jensen Huang)과 같은 이들이 "다리오는 자신만이 이 기술을 안전하게 만들 수 있다고 생각하며, 따라서 전체 산업을 통제하려 한다"고 비판하는 것에 대해 "터무니없는 거짓말"이라고 일축합니다. 아모데이는 앤트로픽이 항상 자신들이 믿는 바를 말하고 행동하는 데 집중해왔으며, AI 시스템이 더욱 강력해짐에 따라 이러한 메시지를 더욱 강력하고 공개적으로 전달할 필요성을 느꼈다고 설명합니다.
그는 AI 시스템이 몇 년 전에는 겨우 일관성 있는 수준이었지만, 이제는 똑똑한 고등학생, 대학생, 심지어 박사 수준에 도달하고 있으며, 경제 전반에 걸쳐 적용되기 시작했다고 말합니다. 이에 따라 국가 안보 문제부터 경제 문제에 이르기까지 AI와 관련된 모든 이슈들이 현실로 다가오고 있다고 경고합니다. 아모데이는 앤트로픽이 오랫동안 이러한 문제들을 언급해왔지만, 이제는 그 긴급성이 더욱 커졌다고 강조합니다.
"우리는 우리가 믿는 바를 말하고 세상에 가능한 단점에 대해 경고해야 한다고 생각합니다. 비록 아무도 무슨 일이 일어날지 정확히 말할 수는 없지만요. 우리는 우리가 생각하는 바, 일어날 가능성이 있는 바를 말하고 있습니다."
그는 AI의 긍정적인 응용 분야가 무수히 많다는 점을 인정하며, 자신이 쓴 에세이 '사랑의 은총의 기계들(Machines of Loving Grace)'을 언급하며 AI의 이점을 낙관론자나 가속주의자들보다 더 잘 설명할 수 있다고 자부합니다. 하지만 바로 그 이유 때문에, 즉 모든 것이 제대로 된다면 엄청나게 좋은 세상이 될 수 있기 때문에, 위험에 대해 경고할 의무를 느낀다고 덧붙입니다.
2. AI 발전 속도에 대한 다리오 아모데이의 견해: '지수적 성장'과 '단기적 예측'
아모데이는 자신이 다른 주요 AI 연구소 리더들보다 AI 발전의 타임라인을 더 짧게 본다는 점을 인정합니다. 그는 특히 사회적 측면에서의 예측은 어렵지만, 기저 기술의 발전은 더욱 예측 가능하며, 그 속도가 매우 빠르다고 확신합니다.
"저는 AI 역량이 매우 빠르게 향상될 것이라는 점에 있어서 가장 낙관적인 사람 중 한 명입니다. 제가 계속해서 말해온 진짜라고 생각하는 것은 바로 지수적 성장입니다. 몇 달마다 이전 모델보다 더 나은 AI 모델을 얻는다는 생각입니다."
그는 이러한 지수적 성장이 더 많은 컴퓨팅 자원, 데이터, 그리고 새로운 훈련 모델에 대한 투자로 가능하다고 설명합니다. 초기에는 '사전 훈련(pre-training)'을 통해 이루어졌지만, 이제는 '강화 학습(reinforcement learning)'과 같은 두 번째 단계가 함께 확장되고 있으며, 이러한 확장을 막을 어떤 장애물도 보이지 않는다고 말합니다.
아모데이는 사람들이 지수적 성장을 이해하는 데 서툴다고 지적합니다. 6개월마다 두 배로 성장하는 것이라면, 2년 전에는 전체의 1/16에 불과해 보이지만, 실제로는 엄청난 속도로 발전하고 있다는 것입니다. 그는 2025년 중반 현재, AI 모델들이 경제 전반에서 폭발적으로 성장하고 있으며, 앤트로픽의 매출이 매년 10배씩 성장하고 있다는 점을 예로 듭니다.
- 2023년: 0달러에서 1억 달러
- 2024년: 1억 달러에서 10억 달러
- 2025년 상반기: 10억 달러에서 40억~45억 달러
그는 이러한 지수적 성장이 2년 더 지속된다면 매출이 수천억 달러에 이를 수 있다고 언급하며, 사람들이 지수적 성장에 속아 그 속도를 제대로 인지하지 못하고 있다고 경고합니다. 그는 1990년대 인터넷의 폭발적인 성장을 예로 들며, 당시에도 소수의 사람만이 그 파급력과 속도를 예측했다고 설명합니다.
3. 대규모 언어 모델(LLM)의 한계와 앤트로픽의 기술 개발
인터뷰어는 대규모 언어 모델(LLM)의 한계 중 하나로 '지속적인 학습(continual learning)'의 부재를 지적합니다. 다크 케시(Dark Kesh)의 말을 인용하며, LLM은 초기 능력에 고정되어 새로운 정보를 학습하지 못한다는 점을 문제 삼습니다.
이에 대해 아모데이는 다음과 같이 반박합니다.
- 지속적인 학습이 없더라도 LLM의 잠재력은 여전히 엄청나다: 그는 생물학 및 의학 분야를 예로 들며, 새로운 정보를 흡수하지 못하는 노벨상 수상자라도 1천만 명 있다면 여전히 많은 생물학적 돌파구를 만들 수 있을 것이라고 말합니다. LLM도 인간이 할 수 없는 일을 할 수 있으며, 그 영향력은 여전히 매우 클 것이라고 주장합니다.
- 컨텍스트 윈도우의 확장과 모델의 학습 능력: 그는 컨텍스트 윈도우(모델이 한 번에 처리할 수 있는 정보의 양)가 길어지고 있으며, 모델은 컨텍스트 윈도우 내에서 실제로 학습한다고 설명합니다. 인간이 대화를 통해 정보를 흡수하고 반응하는 것처럼, 모델도 그렇게 할 수 있다는 것입니다. 기술적으로는 컨텍스트 길이를 인간이 평생 듣는 정보량과 비슷한 1억 단어까지 늘릴 수 있다고 덧붙입니다.
- 가중치 업데이트를 통한 학습 및 기억: 아모데이는 강화 학습(RL) 훈련과 같은 다양한 기술을 통해 모델의 가중치를 업데이트하여 학습 및 기억 능력을 향상시킬 수 있다고 말합니다. 그는 2년 전에는 '추론(reasoning)'이 근본적인 장애물처럼 보였지만, 강화 학습을 통해 해결되었듯이, 지속적인 학습 문제도 규모와 약간 다른 사고방식을 통해 해결될 것이라고 낙관합니다.
인터뷰어는 아모데이의 '규모에 대한 집착'이 새로운 기술 개발에 눈을 멀게 할 수 있다고 지적하지만, 아모데이는 앤트로픽이 매일 새로운 기술을 개발하고 있다고 반박합니다. 그는 클로드(Claude)가 코딩에 매우 능숙한 이유를 외부적으로는 자세히 밝히지 않지만, 모든 새로운 클로드 버전에는 아키텍처, 데이터, 훈련 방식에 대한 개선이 포함되어 있다고 설명합니다. 앤트로픽이 '인재 밀도(talent density)'를 최적화하려는 이유도 새로운 기술을 발명하기 위함이라고 강조합니다.
4. 앤트로픽의 경쟁력: 자원과 인재 밀도
인터뷰어는 앤트로픽이 수십억 달러를 투자받았음에도 불구하고, XAI나 메타(Meta)와 같은 조 단위 기업들이 막대한 자원을 투입하여 AI 모델을 확장하는 상황에서 앤트로픽이 경쟁할 수 있을지에 대한 의문을 제기합니다.
아모데이는 다음과 같이 답변합니다.
- 200억 달러에 가까운 투자 유치: 앤트로픽은 현재까지 약 200억 달러에 가까운 투자를 유치했으며, 이는 결코 적은 금액이 아니라고 강조합니다.
- 데이터 센터 규모의 경쟁력: 아마존과의 협력을 통해 구축 중인 데이터 센터 규모는 다른 어떤 회사와 비교해도 크게 뒤처지지 않는다고 말합니다. 그는 대규모 투자가 여러 해에 걸쳐 이루어지며, 일부 발표는 아직 자금 조달이 완료되지 않은 경우도 있다고 지적합니다.
- 자본 효율성(Capital Efficiency)과 인재 밀도: 아모데이는 앤트로픽의 핵심 경쟁력은 인재 밀도와 그로 인한 자본 효율성에 있다고 설명합니다.
"우리가 1억 달러로 다른 사람들이 10억 달러로 할 수 있는 일을 할 수 있고, 100억 달러로 다른 사람들이 1000억 달러로 할 수 있는 일을 할 수 있다면, 다른 회사에 투자하는 것보다 앤트로픽에 투자하는 것이 10배 더 자본 효율적입니다."
그는 앤트로픽이 역사상 가장 빠르게 성장하는 소프트웨어 회사 중 하나이며, 매년 10배씩 성장하는 매출이 대기업들과 경쟁할 수 있는 능력을 증명한다고 주장합니다.
마크 저커버그(Mark Zuckerberg)가 인재 확보에 막대한 투자를 하는 것에 대해 아모데이는 앤트로픽 직원들이 다른 회사들의 제안을 거절하고 앤트로픽에 남는 경우가 많다고 언급합니다. 그는 앤트로픽이 공정성 원칙과 미션에 대한 진정한 믿음을 바탕으로 인재를 유지하고 있다고 설명합니다.
"그들이 하려는 일은 돈으로 살 수 없는 것을 사려고 하는 것입니다. 그것은 바로 미션과의 일치(alignment with the mission)입니다."
그는 다른 회사들이 돈으로 인재를 사들이려는 시도에 대해 회의적인 시각을 드러냅니다.
5. 생성형 AI 비즈니스 모델과 수익성
인터뷰어는 생성형 AI 비즈니스가 실제로 수익성이 있는가에 대한 의문을 제기하며, 앤트로픽의 매출 구조와 수익성에 대해 질문합니다.
아모데이는 앤트로픽 매출의 대부분이 API를 통해 발생하며, 이는 모델의 비즈니스 사용 사례에 집중한 결과라고 설명합니다. 그는 OpenAI가 소비자 시장에, 구글이 기존 제품 통합에 집중하는 반면, 앤트로픽은 기업(enterprise), 스타트업, 개발자, 그리고 생산성 향상을 위한 파워 유저 등 비즈니스 AI 사용에 집중하고 있다고 말합니다.
그는 비즈니스 사용 사례에 집중하는 것이 모델을 더 좋게 만드는 데 더 나은 동기를 부여한다고 주장합니다. 예를 들어, 생화학 분야에서 학부생 수준의 모델을 박사 수준으로 개선했을 때, 일반 소비자는 큰 차이를 느끼지 못하지만, 제약회사 화이자(Pfizer)와 같은 기업에게는 엄청난 가치를 제공할 수 있다는 것입니다. 이러한 접근 방식은 모델을 더욱 스마트하게 만들고, 생물 의학, 지정학, 경제 개발, 금융, 법률, 생산성, 보험 등 다양한 분야에서 긍정적인 응용을 가능하게 한다고 설명합니다.
코딩 사용 사례에 집중한 이유에 대해 아모데이는 다음과 같이 설명합니다.
- 빠른 채택: 코딩 분야에서 모델의 가치가 매우 높았고, 채택 속도가 빨랐습니다.
- 모델 개발에 기여: 코딩 능력이 향상된 모델은 다음 모델을 개발하는 데도 도움이 됩니다.
앤트로픽의 코딩 모델 '클로드 코드(Claude Code)'의 가격 정책에 대한 논란에 대해 아모데이는 초기에는 사용자들의 사용 방식을 완전히 이해하지 못해 일부 슈퍼 유저들이 API를 통해 얻는 가치보다 훨씬 저렴하게 서비스를 이용할 수 있었음을 인정합니다. 그는 최근 이러한 정책을 조정했으며, 앞으로도 변화가 있을 수 있다고 말합니다. 하지만 앤트로픽이 손실을 보고 있는 것은 아니라고 강조합니다.
모델 운영 비용과 수익성에 대한 질문에 아모데이는 다음과 같이 설명합니다.
- 모델 운영 자체는 이미 수익성 있음: 모델을 운영하는 데 드는 비용 대비 수익은 이미 상당히 수익성이 있다고 말합니다.
- 주요 비용은 다음 모델 훈련: 회사의 가장 큰 비용은 다음 세대 모델을 훈련하는 데 드는 비용이라고 설명합니다.
- '모델별 수익성'과 '회사 전체의 손실': 그는 회사가 매년 손실을 보는 것처럼 보일 수 있지만, 이는 다음 모델에 대한 막대한 투자 때문이라고 설명합니다. 각 모델은 투자 대비 수익을 창출하며 수익성이 있지만, 회사는 끊임없이 더 큰 규모의 다음 모델에 투자하기 때문에 전체적으로는 손실을 기록하는 것처럼 보인다는 것입니다.
"각 모델은 수익성이 있지만, 회사는 매년 수익성이 없습니다. 저는 앤트로픽에 대한 이러한 숫자를 주장하거나 이러한 사실을 주장하는 것이 아닙니다. 하지만 이 일반적인 역학은 일반적으로 무슨 일이 일어나고 있는지에 대한 설명입니다."
그는 모델의 지능 수준을 제공하는 비용은 계속해서 내려갈 것이며, 최첨단 지능을 제공하는 비용은 현재 수준을 유지하거나 약간 변동할 수 있지만, 그로 인해 창출되는 가치는 기하급수적으로 증가할 것이라고 예측합니다.
6. 오픈소스 AI에 대한 다리오 아모데이의 시각
인터뷰어는 앤트로픽이 모델 투자에 소홀해지면 오픈소스 AI가 따라잡아 앤트로픽의 비즈니스를 위협할 수 있다는 우려를 제기합니다.
아모데이는 오픈소스가 AI 분야에서는 다른 분야에서와 같은 방식으로 작동하지 않는다고 주장하며, 이를 '레드 헤링(red herring, 본질을 흐리는 것)'이라고 일축합니다.
- '오픈 소스'가 아닌 '오픈 웨이트': 그는 AI 모델의 경우 소스 코드를 볼 수 있는 것이 아니라 '가중치(weights)'를 볼 수 있는 것이므로 '오픈 웨이트(open weights)'라고 부르는 것이 더 정확하다고 말합니다.
- 협업 방식의 차이: 다른 오픈소스 프로젝트처럼 많은 사람이 함께 작업하여 부가적인 가치를 창출하는 방식이 AI에서는 동일하게 적용되지 않는다고 설명합니다.
- 모델의 성능이 중요: 그는 모델이 오픈소스인지 아닌지는 중요하지 않으며, 오직 모델의 성능만이 중요하다고 강조합니다.
"저는 딥시크(DeepSeek)가 오픈소스인지 아닌지는 중요하지 않다고 생각합니다. 저는 '좋은 모델인가? 우리보다 나은가?'라고 묻습니다. 그것이 제가 신경 쓰는 유일한 것입니다. 사실 어느 쪽이든 상관없습니다."
그는 결국 모델을 클라우드에 호스팅하고 추론(inference)을 수행해야 하며, 이는 비용이 많이 드는 작업이라고 지적합니다. 또한, 앤트로픽은 모델 가중치를 볼 수 있는 것과 유사한 이점을 클라우드 서비스를 통해 제공하고 있으며, 모델 미세 조정(fine-tuning)이나 활성화 조사(investigate the activations)와 같은 기능도 제공할 예정이라고 덧붙입니다.
7. 다리오 아모데이의 개인적인 삶과 '영향력(Impact)'에 대한 집착
인터뷰는 다리오 아모데이의 개인적인 삶과 그의 가치관에 큰 영향을 미친 아버지의 죽음에 대한 이야기로 이어집니다.
- 샌프란시스코에서의 성장: 그는 자신이 자랄 당시 샌프란시스코는 아직 젠트리피케이션이 덜 진행되었고, 기술 붐이 일어나기 전이었다고 회상합니다. 당시 그는 과학자, 특히 물리학과 수학에 관심이 많았고, 웹사이트를 만들거나 회사를 설립하는 것에는 전혀 관심이 없었다고 말합니다. 그의 주된 관심사는 근본적인 과학적 진리를 발견하고 세상을 더 좋게 만드는 것이었습니다.
- 부모님과의 관계: 그는 부모님과 매우 가까웠으며, 부모님으로부터 옳고 그름에 대한 감각과 세상에서 무엇이 중요한지를 배웠다고 말합니다. 특히 강한 책임감을 심어준 것이 가장 기억에 남는다고 합니다. 그의 여동생 다니엘라(Daniela)는 앤트로픽의 공동 창업자가 되었으며, 두 사람은 일찍부터 함께 일하기로 결정했다고 합니다.
- 아버지의 투병과 죽음: 아모데이의 아버지는 2006년에 사망했으며, 그의 투병은 아모데이에게 큰 영향을 미쳤습니다. 이 경험은 그가 원래 이론 물리학을 공부하려던 프린스턴 대학에서 생물학으로 전공을 바꾸게 된 계기가 됩니다. 그는 인간의 질병과 생물학적 문제를 해결하기 위해 생물 물리학과 계산 신경과학 분야에 뛰어들었습니다.
- AI로의 전환: 생물학 분야에서 수년간 일하면서 그는 생물학의 복잡성이 인간의 능력으로는 감당하기 어렵다는 것을 깨달았습니다. 수백, 수천 명의 연구자가 필요하며, 이들이 협력하고 지식을 결합하는 데 어려움을 겪는다는 것입니다. 이때 AI가 등장했고, 그는 AI가 이러한 격차를 메우고 인간의 한계를 넘어 생물학 문제를 완전히 이해하고 해결할 수 있는 유일한 기술이라고 생각했습니다.
"AI는 저에게 그 격차를 메우고, 인간의 규모를 넘어 생물학 문제를 완전히 이해하고 해결할 수 있는 유일한 기술처럼 느껴졌습니다."
아모데이의 아버지가 앓았던 질병은 그가 사망한 지 3~4년 만에 완치율이 50%에서 95%로 급증하는 치료법이 개발되었습니다. 그는 이 사실이 관련 문제를 해결하는 것의 긴급성을 보여준다고 말합니다.
"물론입니다. 하지만 그것은 또한 관련 문제를 해결하는 것의 긴급성을 알려줍니다. 이 질병의 치료법을 연구한 사람이 있었고, 그 치료법을 개발하여 많은 사람들의 생명을 구했지만, 몇 년만 더 일찍 그 치료법을 찾았더라면 더 많은 사람들의 생명을 구할 수 있었을 것입니다."
그는 AI가 가져올 수 있는 엄청난 이점을 누구보다 잘 이해하고 있으며, 그 이점을 가능한 한 빨리 모든 사람이 누리기를 원한다고 강조합니다. 그렇기 때문에 AI의 위험성에 대해 경고할 때 자신을 '둠머'라고 부르는 사람들에게 분노를 느낀다고 다시 한번 말합니다. 그는 트위터에서 가속화를 외치는 일부 사람들이 기술의 인본주의적 이점에 대한 이해 없이 단순히 아드레날린에 취해 가속화를 외친다고 비판하며, 그들에게 도덕적 신뢰가 없다고 강하게 비난합니다.
아모데이는 자신의 삶이 '영향력(impact)'을 가지려는 끊임없는 탐구였다고 인정합니다. 그는 '왕좌의 게임'을 보지 않은 이유가 시간이 아까워서가 아니라, 등장인물들이 서로에게 부정적인 영향을 미치며 모두를 더 나쁜 상황으로 몰고 가는 '네거티브 섬(negative sum)' 상황을 만드는 것에 대한 거부감 때문이었다고 설명합니다. 그는 긍정적인 결과를 창출하는 상황에 더 관심이 많다고 말합니다.
그는 사람들을 돕는 데에도 전략과 지성이 필요하며, 때로는 회사 설립이나 기술 개발과 같이 즉각적인 영향력과 연결되지 않는 긴 과정을 거쳐야 한다고 설명합니다. 하지만 궁극적으로는 항상 그 목표를 향해 나아가고 있다고 강조합니다.
8. OpenAI와의 결별과 AI 안전에 대한 진정성
인터뷰어는 아모데이가 OpenAI에서 GPT-3 프로젝트를 이끌며 컴퓨팅 자원의 50%를 사용했던 점을 언급하며, 그가 AI 안전에 가장 집중해야 할 사람이 아니었는지 질문합니다.
아모데이는 자신이 OpenAI에 있을 때, 그리고 앤트로픽을 공동 설립한 동료들과 함께 AI 모델의 안전성(safety)과 능력(capability)이 분리될 수 없는 방식으로 얽혀 있다는 것을 깨달았다고 설명합니다.
- RLHF의 개발: GPT-2와 GPT-3의 스케일업은 원래 AI 정렬(alignment) 작업을 위한 것이었습니다. 아모데이와 그의 동료들은 '인간 피드백으로부터의 강화 학습(RL from human feedback, RLHF)'이라는 기술을 개발했는데, 이는 모델이 인간의 의도를 따르도록 돕기 위한 것이었습니다.
- 안전과 능력의 상호 연관성: 그는 AI 시스템의 정렬과 능력은 항상 생각보다 더 밀접하게 얽혀 있다고 말합니다.
- 조직적 결정의 중요성: 아모데이는 AI 안전에 대한 진정한 영향력은 모델 훈련 자체보다는 조직적 수준의 결정에서 나온다고 강조합니다. 모델 출시 시기, 회사 거버넌스, 인력 운영 방식, 대외적 이미지, 사회에 대한 약속 등은 기술 개발자가 통제할 수 없는 부분이라는 것입니다.
"회사의 리더들은 신뢰할 수 있는 사람이어야 합니다. 그들의 동기는 진정해야 합니다. 세상을 진정으로 더 좋게 만들고 싶어 하는 사람이어야 합니다. 아무리 기술적으로 회사를 발전시킨다 해도, 동기가 진정하지 않은 사람을 위해 일한다면, 그것은 제대로 작동하지 않을 것입니다. 당신은 단지 나쁜 일에 기여할 뿐입니다."
그는 젠슨 황과 같은 사람들이 자신을 "AI 산업을 통제하려 한다"고 비판하는 것은 "터무니없는 거짓말"이라고 다시 한번 강하게 반박합니다. 앤트로픽은 '최고를 향한 경쟁(race to the top)'을 추구하며, 이는 모두가 승리하는 상황을 만드는 것을 목표로 합니다.
- 책임 있는 스케일링 정책(Responsible Scaling Policies): 앤트로픽은 업계 최초로 책임 있는 스케일링 정책을 발표하여 다른 회사들이 이를 따르도록 장려했습니다. 이는 다른 회사 내부의 사람들이 유사한 정책을 추진할 수 있는 '허가'를 제공했다고 설명합니다.
- 연구 공개: 앤트로픽은 해석 가능성(interpretability) 연구, 헌법적 AI(constitutional AI), 위험한 능력 평가(dangerous capabilities evals) 등 모든 안전 관련 연구를 공개하여 공공재로 기여하고 있습니다.
아모데이는 자신이 "이 회사가 기술을 구축하는 유일한 회사가 되어야 한다"는 생각을 한 적이 없으며, 그러한 주장은 "믿을 수 없고 악의적인 왜곡"이라고 강조합니다.
9. AI의 위험성과 통제 가능성: '둠머'와 '가속주의자' 비판
인터뷰의 마지막 부분에서 아모데이는 AI의 위험성에 대한 자신의 깊은 우려와 통제 가능성에 대한 믿음을 다시 한번 강조합니다.
그는 자신이 업계에서 AI 기술의 위험성에 대해 가장 많이 경고해 온 사람 중 한 명이라고 말합니다. 수조 달러 규모의 기업을 운영하는 사람들과 미국 정부 관계자들이 자신을 비판하고 있지만, 그는 계속해서 목소리를 낼 것이라고 단언합니다.
"저는 업계에서 그 누구보다도 이 기술의 위험성에 대해 경고해 왔습니다. 우리는 방금 10분, 20분 동안 무서운, 즉 수조 달러 규모의 기업을 운영하는 사람들이 저를 비판하는 것에 대해 이야기했습니다."
그는 AI의 경제적 비즈니스가 기하급수적으로 성장하고 있으며, 몇 년 안에 세계 최대 산업이 될 것이라고 예측합니다. 이러한 상황에서 수천억에서 수조 달러의 자본이 AI 가속화에 투입되고 있으며, 이는 매우 위험한 상황이라고 경고합니다.
아모데이는 자신이 AI 기술을 통제할 수 없다고 믿었다면, "모두가 이 기술을 만드는 것을 멈춰야 한다"고 주장했을 것이라고 말합니다. 하지만 그는 AI를 통제할 수 있다는 증거가 전혀 없다는 주장에 대해 "절대적으로 아무런 증거도 없다"고 반박합니다.
"만약 제가 이 기술을 통제할 방법이 없다고 믿었다면, 저는 '모두가 이 기술을 만드는 것을 멈춰야 한다'고 말했을 것입니다. 저는 그 주장에 대한 어떤 증거도 보지 못했습니다."
그는 앤트로픽이 모델을 출시할 때마다 모델을 통제하는 능력이 향상되었다고 주장합니다. 물론 문제가 발생할 수 있지만, 모델을 매우 강하게 스트레스 테스트해야만 나타나는 문제들이라고 설명합니다. 그는 현재의 정렬 기술만으로 훨씬 더 강력한 모델이 나온다면 매우 우려할 것이며, 그때는 "모두가 이 기술을 만드는 것을 멈춰야 한다"고 주장할 것이라고 말합니다.
아모데이가 위험에 대해 경고하는 이유는 속도를 늦추지 않기 위함이라고 강조합니다. 안전 기술에 투자하고 분야의 발전을 계속하기 위함이라는 것입니다. 한 회사가 기술 속도를 늦춘다고 해서 다른 회사나 지정학적 경쟁자들이 멈추지 않을 것이기 때문입니다.
"제가 위험에 대해 경고하는 이유는 우리가 속도를 늦출 필요가 없도록 하기 위함입니다. 안전 기술에 투자하고 분야의 발전을 계속하기 위함입니다."
그는 AI의 이점, 기술의 불가피성, 그리고 다자간 경쟁이라는 상황 속에서 자신이 할 수 있는 최선을 다하고 있다고 말합니다. 이는 안전 기술에 투자하고 안전 기술의 발전을 가속화하는 것입니다. 앤트로픽은 모든 안전 관련 연구를 공개하며, 이는 모두가 공유해야 할 공공재라고 믿습니다.
아모데이는 AI의 위험성에 대해 "둠머"처럼 비관적으로 접근하거나, 반대로 "20조 달러의 자본을 가진 사람들이 10년 동안 기술 규제를 하지 말아야 한다"고 주장하는 것은 모두 지적으로나 도덕적으로 진지하지 못한 태도라고 비판합니다.
"저는 '이 모델에는 인류 전체에 대한 위험을 포함한 위험이 있다'는 생각은 이해가 됩니다. 하지만 '이 모델을 안전하게 만들 방법이 없다는 것을 논리적으로 증명할 수 있다'는 생각은 저에게는 말도 안 되는 소리처럼 들립니다."
"저는 또한 20조 달러의 자본을 가진 사람들이 모두 같은 방식으로 인센티브를 받기 때문에 함께 일하는 사람들이 앉아서 '이 기술을 10년 동안 규제해서는 안 된다. 이 모델의 안전에 대해 걱정해야 한다고 말하는 사람은 기술을 스스로 통제하고 싶어 하는 사람일 뿐이다'라고 말하는 것은 지적으로나 도덕적으로 진지하지 못하다고 생각합니다."
그는 더 많은 사려 깊음, 정직함, 그리고 자신의 이익에 반하는 행동을 할 의지가 있는 사람들이 필요하다고 역설합니다. 앤트로픽은 상황을 이해하기 위해 노력하고, 연구를 발표하며, 경제적 영향을 추적하기 위한 연구 위원회와 지수를 운영하고 있다고 말합니다.
인터뷰어는 앤트로픽이 모델 레드팀(red teaming)부터 '자판기 클로드(vending machine Claude)'에 이르기까지 많은 연구 결과를 공개하는 것에 대해 감사를 표하며, 세상이 앤트로픽의 활동을 통해 많은 것을 배우고 있다고 칭찬하며 인터뷰를 마무리합니다.
결론
다리오 아모데이와의 인터뷰는 AI 기술의 지수적 발전 속도와 그에 따른 막대한 잠재력 및 심각한 위험성에 대한 그의 깊은 통찰을 보여줍니다. 그는 AI의 긍정적 활용을 누구보다 열망하지만, 동시에 통제 불능의 위험에 대한 경고를 멈추지 않습니다. 앤트로픽은 인재 밀도와 자본 효율성을 바탕으로 대기업들과 경쟁하며, 비즈니스 AI 사용 사례에 집중하여 모델의 가치를 극대화하고 있습니다. 아모데이는 AI 안전이 기술 개발과 분리될 수 없으며, 조직적 결정과 진정성 있는 리더십이 중요하다고 강조합니다. 그는 '둠머'와 '가속주의자' 모두를 비판하며, AI의 미래를 위해 사려 깊고 정직한 접근 방식이 필요하다고 역설합니다.