스케일링과 인간 수준 AI로 가는 길: Anthropic 공동창업자 자레드 카플란의 강연 요약
이 강연은 Anthropic의 공동창업자 자레드 카플란이 AI의 스케일링 법칙과 인간 수준 AI(AGI)로 가는 여정에 대해 설명한 내용입니다. 그는 AI가 어떻게 점진적으로 발전해왔는지, 스케일링이 어떤 역할을 했는지, 그리고 앞으로 어떤 변화가 예상되는지 구체적으로 이야기합니다. 또한, AI와 인간의 협업, 미래의 일자리, 그리고 AI를 효과적으로 활용하는 방법에 대한 조언도 함께 전합니다.
1. 자레드 카플란의 배경과 AI로의 전향
자레드 카플란은 원래 이론물리학자로 오랜 기간 학계에서 활동했습니다. 그는 어릴 때부터 과학에 관심이 많았고, 어머니가 SF 작가였던 영향으로 "우주가 어떻게 작동하는지", "우리는 자유의지가 있는가?"와 같은 근본적인 질문에 매료되었습니다.
"제가 물리학을 시작한 이유는 엄마가 SF 작가였고, 우리가 빛보다 빠른 드라이브를 만들 수 있는지 알아보고 싶었기 때문이에요."
하지만 물리학 연구에서 점점 진전이 느려지자, 주변 친구들의 권유로 AI 분야에 관심을 갖게 되었습니다. 처음에는 AI가 50년간 별다른 진전이 없었다고 생각해 회의적이었지만, 점차 AI가 빠르게 발전하고 있다는 사실을 깨닫고 이 분야로 전향하게 됩니다.
2. 현대 AI 모델의 훈련 방식과 스케일링 법칙
카플란은 현대 AI 모델(예: Claude, ChatGPT 등)의 훈련이 두 단계로 이루어진다고 설명합니다.
-
프리트레이닝(Pre-training):
AI가 인간이 쓴 방대한 텍스트 데이터를 모방하며, 단어와 단어 사이의 상관관계를 학습합니다."프리트레이닝은 모델이 대규모 텍스트에서 어떤 단어가 다음에 올지 예측하는 법을 배우는 과정입니다."
-
강화학습(Reinforcement Learning, RL):
AI가 실제로 유용한 작업을 수행하도록 보상 신호를 통해 행동을 강화합니다."우리는 좋은 행동(도움이 되고, 정직하며, 해롭지 않은 행동)을 강화하고, 나쁜 행동은 억제합니다."
카플란은 이 두 단계 모두에서 스케일링 법칙이 적용된다고 강조합니다. 즉, 데이터와 컴퓨팅 자원을 늘릴수록 AI의 성능이 예측 가능하게 향상된다는 것입니다.
"우리가 2019년에 이미 수많은 자원(컴퓨트, 데이터셋 크기, 신경망 크기)을 늘려가며 실험했을 때, 성능이 아주 정밀하게 예측 가능한 방식으로 좋아지는 것을 발견했어요. 물리학에서 보는 법칙만큼이나 정확했죠."
3. 스케일링이 가져온 AI의 능력 확장
카플란은 AI의 능력을 두 가지 축으로 설명합니다.
-
유연성(다양한 작업 수행 능력):
예전의 AlphaGo처럼 특정 게임에만 특화된 AI에서, 이제는 텍스트, 이미지, 음성 등 다양한 모달리티를 다루는 범용 AI로 발전하고 있습니다. -
작업 시간의 확장(긴 시간 동안 복잡한 작업 수행):
AI가 처리할 수 있는 작업의 시간적 범위가 점점 길어지고 있습니다."AI가 할 수 있는 작업의 길이는 약 7개월마다 두 배로 늘어나고 있습니다."
카플란은 앞으로 AI가 단순히 몇 분, 몇 시간짜리 작업이 아니라, 며칠, 몇 달, 심지어 몇 년이 걸리는 복잡한 프로젝트도 수행할 수 있을 것이라고 전망합니다.
"결국에는 수백만 개의 AI가 협력해 인간 조직 전체가 하는 일을 대신할 수 있을 겁니다. 이론물리학 커뮤니티가 50년간 이룬 성과를 AI가 며칠 만에 해낼 수도 있겠죠."
4. 인간 수준 AI를 위한 남은 과제들
카플란은 스케일링만으로도 AI가 상당히 발전할 수 있지만, 인간 수준 AI를 위해서는 몇 가지 추가적인 요소가 필요하다고 말합니다.
-
조직적 지식(Organizational Knowledge):
AI가 단순히 백지상태에서 시작하는 것이 아니라, 실제 조직이나 회사에서 오랜 기간 일한 사람처럼 맥락을 이해하고 일할 수 있어야 합니다. -
메모리와 기억(Memory):
장기적인 작업을 수행하려면, AI가 자신의 진행 상황을 기억하고, 필요한 정보를 저장·활용할 수 있어야 합니다."메모리는 곧 지식입니다. 오랜 시간에 걸친 작업을 하려면, AI가 자신의 진행 상황을 기억하고 활용할 수 있어야 하죠."
-
정교한 감독(Oversight)과 보상 신호:
단순히 정답이 명확한 문제(코딩, 수학 등)뿐 아니라, 농담, 시, 연구의 '좋은 취향'처럼 모호하고 주관적인 작업에 대해서도 AI가 더 정교하게 학습할 수 있어야 합니다. -
복잡한 작업으로의 확장:
텍스트에서 멀티모달, 로보틱스 등 더 복잡한 영역으로 AI의 적용 범위를 넓혀야 합니다.
5. AI 시대에 준비해야 할 것들
카플란은 AI가 빠르게 발전하는 시대에 어떻게 준비해야 할지에 대해 몇 가지 조언을 남깁니다.
-
아직 완벽하지 않은 것을 미리 만들어보라
"AI 모델이 빠르게 좋아지고 있으니, 지금은 조금 부족해도 곧 더 나은 모델이 나와 제품이 완성될 수 있습니다. 경계에서 실험해보세요."
-
AI를 활용해 AI를 통합하라
AI의 발전 속도가 너무 빨라 실제로 제품이나 조직에 통합하는 것이 따라가지 못하는 상황이므로, AI 자체를 활용해 이 과정을 가속화해야 한다고 강조합니다. -
빠르게 AI가 도입될 수 있는 분야를 찾으라
소프트웨어 엔지니어링 외에 어떤 분야가 다음으로 AI의 급격한 도입이 일어날지 고민해보라고 조언합니다.
"AI가 할 수 있는 일의 경계는 매우 빠르게 이동하고 있습니다. 그 경계에서 실험해보는 것이 중요합니다."
6. Claude 4와 최신 AI 모델의 변화
Q&A 세션에서 최근 출시된 Claude 4의 특징과 변화에 대한 질문이 이어집니다.
-
코딩 에이전트로서의 능력 향상
"Claude 3.7은 코딩에서 너무 성급하게 테스트를 통과시키려는 경향이 있었지만, Claude 4에서는 감독 능력과 코드 품질이 더 좋아졌습니다."
-
메모리 기능의 강화
"Claude 4는 복잡한 작업을 하면서도 파일이나 기록 형태로 기억을 저장하고, 이를 불러와서 여러 작업 창을 넘나들며 일할 수 있습니다."
-
점진적이고 꾸준한 발전
"스케일링 법칙이 보여주는 것은 점진적인 발전의 곡선입니다. 각 버전마다 조금씩 더 좋아지죠. 결국 인간 수준 AI에 도달할 거라 기대합니다."
7. AI와 인간의 협업, 그리고 미래의 일
AI가 발전함에 따라 인간과 AI의 협업 방식도 변화하고 있습니다.
-
AI의 실수와 인간의 역할
"AI는 때로는 놀라울 정도로 똑똑하지만, 어이없는 실수도 합니다. 인간은 매니저처럼 AI의 결과물을 검증하고 sanity check(이상 여부 확인)를 하는 역할이 중요해질 겁니다."
-
AI가 전체 워크플로우를 대체하는 변화
최근에는 AI가 단순히 '코파일럿'이 아니라, 전체 작업 흐름을 완전히 대체하는 사례가 늘고 있습니다. -
협업의 미래
"가장 진보된 작업에서는 여전히 인간이 필요하겠지만, 점점 더 많은 작업이 완전히 자동화될 것입니다."
-
AI의 지식 폭과 깊이
AI는 한 명의 인간이 알 수 없는 방대한 지식을 통합할 수 있어, 특히 생물학, 심리학, 역사 등 다양한 분야에서 새로운 통찰을 제공할 수 있습니다.
"AI는 인간 문명의 모든 지식을 흡수합니다. 한 명의 전문가가 알 수 없는 다양한 분야의 지식을 조합해 새로운 인사이트를 줄 수 있죠."
8. AI 연구와 물리학적 사고방식
카플란은 물리학자로서의 경험이 AI 연구에 어떻게 도움이 되었는지 설명합니다.
-
거시적 트렌드에 집중
"물리학에서 배운 것은 가장 큰 그림, 거시적 트렌드를 찾고 그것을 최대한 정밀하게 만드는 것이었습니다."
-
스케일링 법칙의 발견
"스케일링 법칙에서 진짜 중요한 것은 기울기를 더 좋게 만드는 것입니다. 더 많은 컴퓨트를 투입할수록 더 큰 이점을 얻을 수 있죠."
-
AI 해석 가능성(Interpretability) 연구
AI의 해석 가능성 연구는 오히려 생물학이나 신경과학에 더 가깝다고 설명합니다."AI는 뇌와 달리 모든 뉴런의 활동을 측정할 수 있어, 해석 가능성 연구에 훨씬 더 많은 데이터를 제공합니다."
9. 스케일링 법칙의 한계와 미래
스케일링 법칙이 언제까지 유효할지, 그리고 한계가 온다면 어떤 신호가 있을지에 대한 논의도 이어집니다.
"스케일링 법칙이 깨진다면, 대부분은 우리가 AI 훈련을 잘못했기 때문일 가능성이 높아요. 실제로 지난 5년간 스케일링이 깨진 것처럼 보였던 순간들은 대부분 우리가 뭔가를 잘못했을 때였습니다."
또한, 컴퓨팅 자원이 부족해질 때 어떻게 효율성을 높일지, 저정밀도 연산 등 다양한 방법이 논의되고 있습니다.
"AI가 점점 더 저렴해질 것이고, 결국에는 매우 복잡한 작업을 끝까지 처리할 수 있는 모델이 더 큰 가치를 가지게 될 겁니다."
10. AI 시대에 개인이 준비해야 할 역량
마지막으로, AI가 발전하는 시대에 개인이 어떻게 준비해야 할지에 대한 조언이 이어집니다.
-
AI 모델의 작동 원리 이해
"이 모델들이 어떻게 작동하는지 이해하고, 효율적으로 활용하고 통합하는 능력이 중요합니다."
-
프론티어에서 실험하고 도전하라
"가장 앞선 영역에서 직접 만들어보고, 실험해보는 것이 큰 가치를 가질 것입니다."
11. Q&A: AI의 작업 시간 확장, RL 데이터, 인간의 역할 등
질의응답에서는 AI가 더 긴 시간의 작업을 수행하려면 어떻게 해야 하는지, RL(강화학습)에서 데이터 라벨링의 한계, AI가 스스로 작업을 생성하는 방법 등에 대한 논의가 이어집니다.
"AI가 더 긴 작업을 하려면 자기 스스로 잘못을 인지하고 수정할 수 있는 능력이 필요합니다. 작은 개선만으로도 작업 시간의 한계를 두 배로 늘릴 수 있죠."
"AI가 더 복잡한 작업을 하도록 훈련하려면, 점점 더 복잡한 작업을 만들어서 RL로 학습시키는 방법이 있습니다. 최악의 경우에는 정말 많은 작업을 하나하나 만들어서 학습시켜야 할 수도 있지만, AI가 스스로 감독하고 피드백을 주는 방식으로 더 효율적으로 학습할 수 있을 것입니다."
마무리
이 강연은 AI의 발전이 단순한 기술적 진보가 아니라, 스케일링 법칙이라는 명확한 트렌드에 의해 예측 가능하게 이루어지고 있음을 강조합니다. 앞으로 AI는 점점 더 복잡하고 긴 작업을 수행할 수 있게 될 것이며, 인간과 AI의 협업 방식도 크게 변화할 것입니다. 이 변화의 시대에 가장 중요한 것은 AI의 원리를 이해하고, 빠르게 변화하는 경계에서 실험하고 도전하는 자세임을 다시 한 번 강조합니다. 🚀
"AI의 경계는 빠르게 이동하고 있습니다. 그 경계에서 실험하고, 도전하는 것이 미래를 준비하는 가장 좋은 방법입니다."