Context Engineering, AI의 진화와 '목발'의 의미: Noam Brown 팟캐스트와 AI 개발의 쓴 교훈
1. 영상의 시작: AI 개발의 현실과 Noam Brown 이야기
영상은 2025년 6월 28일 토요일 아침에 녹화된 것으로, 최근 AI 업계에서 가장 뜨거운 주제인 agent framework와 harness(외부 프레임워크)에 대한 논의로 시작합니다. 노정석 님은 harness를 만드는 일이 언젠가는 사라질 일이지만, "6개월 안에 없어질 것을 오늘 빌드해서 내일 deploy하는 것은 어마어마하게 큰 의미가 있다"고 강조합니다.
"요새 제일 유행하는 게 agent framework 뭐 이런 건데, harness를 만드는 것도 이건 언젠가 끝날 일이다, scale에 투자하는 게 훨씬 맞다, 현실은 6개월짜리 harness를 많이 만들어야 되거든요."
이날의 주제는 Noam Brown에 대한 이야기입니다. 최근 유명 팟캐스트 Latent Space에서 Noam Brown이 출연한 에피소드가 화제가 되었고, 노정석 님은 이 내용을 산책하며 여러 번 곱씹었다고 합니다.
Noam Brown은 OpenAI의 핵심 개발자 중 한 명으로, 이전에는 FAIR(페이스북 AI 연구소)에서 포커 AI, Diplomacy AI 등 게임 인공지능을 연구했습니다. 그는 Demis Hassabis와 비슷한 차세대 AI 스타로 주목받고 있습니다.
2. System 1과 System 2: AI와 인간 사고의 비유
Noam Brown의 연구와 철학을 이해하기 위해서는 System 1과 System 2라는 개념이 중요합니다. 이 개념은 Daniel Kahneman의 『Thinking, Fast and Slow』에서 유래한 것으로, AI 모델의 발전과도 밀접하게 연결됩니다.
- System 1: 직관적이고 빠른, 경험과 편향에 의존하는 사고 방식
- System 2: 느리고 에너지를 많이 쓰며, 논리적이고 숙고하는 사고 방식
"System 1은 좀 직관적으로 빠르게, 편향이나 heuristic을 가지고 알고 있는 지식을 빠르게 인출하면서 추측도 하고 그런 느낌이라면 System 2는 훨씬 더 에너지를 많이 쓰는 거죠. 시간을 들여 숙고하는 느낌."
AI 모델로 비유하면, GPT-4는 System 1, o3는 System 2에 해당합니다. System 2는 반드시 충분히 좋은 System 1이 있어야만 동작할 수 있다는 점이 강조됩니다.
"시스템 2는 충분히 좋은 시스템 1 없이는 동작하지 않는 이야기다. 너무 맞는 얘기죠."
3. AI 개발의 쓴 교훈(Bitter Lesson)과 Harness의 역할
AI 개발에서 자주 언급되는 Bitter Lesson(쓴 교훈)은, 인간이 복잡한 규칙을 코딩하는 것보다 대규모 데이터와 컴퓨팅 파워를 투입하는 것이 더 뛰어난 결과를 낸다는 원칙입니다.
"Bitter Lesson을 그냥 단순화하면 인간이 복잡한 지식을 가지고 rule-based로 코딩한 그 로직을 아무리 잘 만들어도, 단순한 방법과 대규모 컴퓨팅, 대규모 데이터를 투입하는 게 훨씬 더 output이 좋다는 그 얘기거든요."
여기서 harness(외부 프레임워크, exoskeleton)는 AI 모델이 더 잘 동작하도록 돕는 온갖 종류의 prompting, context grounding, function calling 등을 포괄하는 개념입니다. Noam Brown은 harness를 "crutch(목발)"라고 부르며, 언젠가는 사라질 것이라고 말합니다.
"Noam은 harness를 crutch라는 표현을 써요. 목발, 이거 없어져야 되는 거라고. 그런데 그 말이 맞기도 하고 틀리기도 하는데, 그건 뒤에서 한번 짚어보겠습니다."
4. Reasoning 모델의 진화와 Transfer(전이) 현상
최근 AI 모델의 발전은 reasoning(추론) 능력을 강화하는 방향으로 가고 있습니다. DeepSeek R1 등 다양한 모델이 기존의 System 1에서 System 2로 진화하는 과정을 보여주고 있습니다.
- 보상의 명확성이 중요한 신호가 되며, 수학·코딩 등 verifiable domain에서 강화된 reasoning 능력이 다른 영역으로도 전이(transfer)되는 현상이 관찰됩니다.
"수학과 코딩만 가지고도 reasoning 능력을 강화시켰는데, 사실 다른 domain에서도 reasoning 능력이 다 강화됐거든요. 전이(transfer)라는 표현이 정확한데..."
이러한 진화 과정에서 external framework(harness)가 필요하지만, 모델이 발전하면 할수록 점차 내재화되어 사라질 것이라는 전망이 나옵니다.
5. 현실의 AI 서비스와 Context Engineering
실제 AI 서비스를 만들 때는 harness(목발), 즉 context engineering이 필수적입니다. 하지만 이 역시 언젠가는 모델의 발전에 따라 사라질 운명입니다.
- Context engineering은 prompt engineering을 넘어, context grounding, function calling, context retrieval(RAG) 등 다양한 기술을 포함합니다.
- 현재의 agent 서비스들은 대부분 heuristic(경험적, 규칙 기반) 방식에 의존하고 있어 한계가 명확합니다.
"Noam이 얘기하는 것처럼 근원적으로 모든 harness, 이 친구는 이것을 굉장히 비하하는 발언으로 crutch라고 표현을 하죠. 목발이라고. scale에 의해서 없어질 거다. 'eventually washed away by scale'이라고 얘기하거든요."
하지만 현실적으로는 6개월짜리 harness라도 만들어야 서비스가 돌아가고, 그 과정에서 쌓인 데이터가 결국 모델을 진화시키는 데 필수적이라는 점이 강조됩니다.
"6개월 안에 없어질 것을 오늘 빌드해서 내일 deploy하는 것은 어마어마하게 큰 의미가 있다는 얘기를 저는 여기에 보완해서 드리고 싶습니다."
6. 데이터, 경험, 그리고 AI 개발의 본질
AI 모델의 진화는 결국 데이터에 달려 있습니다. 데이터가 곧 프로그램이고, Software 2.0의 본질도 데이터에서 패턴을 추출해 규칙을 만드는 데 있습니다.
- capability overhang: 모델이 이미 가지고 있지만 아직 활용되지 않은 능력
- external framework(harness)를 통해 데이터를 쌓고, 그 데이터로 SFT, RLHF, DPO 등 후속 학습을 진행
"결국은 데이터구나. 저는 사실 데이터가 프로그램 그 자체라고 생각하거든요."
또한, AI의 발전 속도가 너무 빨라서, 지금의 노력이 1~2년 후에는 무의미해질 수도 있다는 불안감도 솔직하게 드러냅니다.
7. 인간의 학습과 AI의 학습: System 1 ↔ System 2
영상 후반부에서는 인간의 학습 방식과 AI의 학습 방식이 어떻게 닮아 있는지, 그리고 어떻게 서로 영향을 주는지에 대한 논의가 이어집니다.
- spaced repetition(간격 반복), 암기 카드(Anki, Mochi) 등 인간의 장기 기억 강화 기법이 소개되고, AI를 활용한 자기 증강 학습 사례가 공유됩니다.
- "System 1을 끌어올리면 System 2를 잘하게 되고, System 2의 경험이 다시 System 1이 된다."
"학습은 복리처럼 불어난다는 말을 들어보셨을 겁니다. 과거에 배운 것을 이용해 미래의 것을 배울 수 있기 때문이죠. 모든 것이 서로 연결되어 있으니까요."
8. 창의성, 연결, 그리고 AI와 인간의 한계
창의성은 멀리 떨어진 개념을 연결할 때 나온다는 점, 그리고 AI 모델이 인간보다 훨씬 더 많은 데이터를 학습하고 연결할 수 있다는 점이 강조됩니다.
- apophenia(무의미한 것에서 의미를 찾는 경향)와 같은 인간의 인지적 특성도 AI와의 상호작용에서 중요한 역할을 합니다.
- 거리두기와 검증의 중요성도 언급되며, 창의적 연결이 때로는 위험할 수 있음을 경계합니다.
"패턴이 과잉된 순간을 인지하고 거리를 두었다가 실제 상호작용을 견뎌낸 연결만 남기는 방식이다. 그리고서는 제가 실제로 9일을 뜸을 들였잖아요. 이걸 다시 읽었을 때 '가스라이팅 당했나?'"
9. AI의 한계와 인간의 역할
AI가 아무리 발전해도, 그 능력은 결국 사용자의 능력에 제한된다는 점이 반복해서 강조됩니다.
"이 AI의 성능이 증가하면 증가할수록 그 AI의 능력은 아무리 뛰어나더라도 그것을 사용하는 사람의 능력에 제한된다."
따라서, AI를 잘 활용하기 위해서는 인간 스스로의 능력도 함께 성장해야 한다는 결론에 이릅니다.
10. 마무리: AI의 미래와 준비
마지막으로, Ilya Sutskever의 명언이 인용되며, AI의 미래는 극도로 예측 불가능하고, AI가 AI를 만드는 '지능 폭발'의 시대가 올 수 있음을 경고합니다.
"AI의 문제는 그것이 너무나도 영향력이 크고 너무나도 강력해서 모든 것을 해결할 수 있지만, 동시에 '모든 것'을 할 수도 있다는 점입니다. 이게 문제죠. 그리고 이 모든 질문에는 현재 답이 없습니다."
AI의 발전이 가져올 'unthinkable'한 변화에 대비하기 위해, 더 많은 사람들이 질문하고, 다양한 관점에서 생각을 나누는 것이 중요하다는 메시지로 영상은 마무리됩니다.
핵심 키워드 정리
- System 1 / System 2
- Bitter Lesson(쓴 교훈)
- Harness(외부 프레임워크, 목발, exoskeleton)
- Context Engineering
- Reasoning 모델
- Transfer(전이)
- Capability Overhang
- Data is the program
- Spaced Repetition, Anki, Mochi
- Apophenia, 창의적 연결
- AI의 한계와 인간의 역할
- 지능 폭발, Unthinkable
인상 깊은 인용구 모음
"시스템 2는 충분히 좋은 시스템 1 없이는 동작하지 않는 이야기다."
"Bitter Lesson이 언제나 옳다."
"eventually washed away by scale"
"6개월 안에 없어질 것을 오늘 빌드해서 내일 deploy하는 것은 어마어마하게 큰 의미가 있다."
"데이터가 프로그램 그 자체다."
"AI의 성능이 아무리 뛰어나더라도 그것을 사용하는 사람의 능력에 제한된다."
"AI의 문제는 그것이 너무나도 영향력이 크고 너무나도 강력해서 모든 것을 해결할 수 있지만, 동시에 '모든 것'을 할 수도 있다는 점입니다. 이게 문제죠."
마치며
이 영상은 AI 개발의 현실과 철학, 그리고 인간과 AI의 상호작용에 대한 깊은 통찰을 제공합니다.
Context Engineering이란 무엇이고, 왜 '목발'에 비유되는지, 그리고 AI의 미래를 준비하는 우리의 자세는 어떠해야 하는지,
다양한 사례와 인용, 그리고 실제 경험을 바탕으로 친절하게 풀어낸 대화가 인상적입니다.
AI에 관심 있는 분이라면 꼭 한 번 들어볼 만한, 생각할 거리가 가득한 콘텐츠입니다! 🚀🤖🧠