AI 시대, 인지 부채와 평가의 병목 현상
이 영상에서는 Fable과 같은 최신 AI 모델의 등장으로 인해 인간의 이해가 새로운 병목 현상으로 작용하고 있으며, AI 모델 평가 방식의 한계와 새로운 변화에 대해 심층적으로 다룹니다. 특히, AI가 생성한 결과물을 인간이 제대로 이해하고 활용하기 위한 다양한 도구와 방법론, 그리고 벤치마크와 인간 선호도 평가의 최적화 문제를 통해 AI 산업의 현재와 미래를 조망하고 있습니다. 궁극적으로 AI와의 협업 방식, 그리고 이 과정에서 발생하는 새로운 인지 부채를 어떻게 해결해 나갈지에 대한 깊이 있는 통찰을 제공합니다.
1. Fable 사용 경험과 최신 AI 모델 출시 트렌드 ✨
2026년 7월 4일, Fable 모델의 재출시와 함께 AI Frontier Korea 팀원들의 사용 경험 공유로 이야기가 시작됩니다. 정석님은 Fable을 사용하면서 생물학 관련 주제만 언급해도 즉시 Opus 4.8로 전환되는 가드레일을 경험했다고 합니다. 이는 Fable이 특정 주제에 대해 안전성 검토를 거쳐 다른 모델로 우회하도록 설계되었음을 보여줍니다. 종현님은 프로젝트 코드 리뷰에 Fable을 활용했는데, 토큰 소모 속도가 너무 빨라 5시간 할당량이 30분 만에 소진되는 놀라운 경험을 했다고 전했습니다. 최승준님은 기존 모델들이 해결하지 못했던 문제를 Fable이 해결하는 것을 보며 그 성능에 감탄했지만, 이내 전체 사용량의 20%를 순식간에 소진하는 것을 보고 비용 효율성에 대한 고민에 빠지게 됩니다.
0:46 "정말 30분 만에 에이전트를 쭉쭉쭉 다 쏴 가지고 5시간 쿼터가 다 소진되더라고요."
이러한 경험은 최신 AI 모델의 빠른 발전 속도와 함께 높은 비용이라는 현실적인 문제를 동시에 보여줍니다. 정석님은 Opus 4.5가 2025년 11월 24일에 출시되었고, 이어서 Sonnet 5까지 나오는 등 프론티어 모델의 출시 주기가 매우 짧아지고 있음을 언급하며, 이러한 빠른 출시는 AI 기술의 급격한 발전을 시사한다고 설명했습니다.
2. AI 모델 선택과 역할 분담의 중요성 🤔
Fable의 높은 비용과 빠른 토큰 소모 문제에 직면하며, 팀원들은 AI 모델 선택과 역할 분담의 중요성에 대해 논의합니다. 최승준님은 Simon Willison의 글을 인용하며, AI Engineer인 Cat Wu와 Thariq Shihipar가 Fable에게 코딩 작업 시 저성능 모델을 스스로 선택하여 서브 에이전트에서 실행하도록 프롬프트를 주었다고 소개합니다.
4:41 "모든 코딩 태스크에 대해서 스스로 판단해서 적절한 로어 퍼포먼스 모델을 선택해 가지고 서브 에이전트에서 실행을 시켜라."
이는 Fable이 Sonnet 5와 Haiku 같은 모델들을 활용하여 작은 작업을 처리하고, Fable 자신은 판단, 검토, 통합과 같은 메인 루프에 집중하도록 하는 방식입니다. Fable은 이러한 사용자 요청을 스스로 기억하며 효율성을 높였다고 합니다.
정석님은 이러한 방식이 과거 Opus가 비쌌던 시절, Opus가 판단을 하고 Sonnet이 코딩을 하던 방식과 구조적으로 동일하다고 지적합니다. 이는 AI 모델의 가격과 성능에 따라 최적의 활용 전략이 달라진다는 점을 강조합니다.
5:58 "Opus가 되게 비싸다라고 생각했던 시절에 판단은 Opus가 하고, 코딩은 소넷이 하고 이런 식으로 썼던 거랑 완전히 똑같은 방식이고요."
또한, Anthropic과 OpenAI의 접근 방식 차이에 대해서도 논의합니다. Anthropic은 '한 번에 제대로 맞추는 원샷 방식'에 집중하는 반면, OpenAI의 ChatGPT는 'Test-time compute', 즉 계산 시간을 충분히 투자하여 성능을 높이는 방식에 기대가 크다는 분석입니다. 결국, AI 모델의 비즈니스 모델과 기술 발전 방향이 이 두 가지 접근 방식 사이에서 교차점에 놓여 있다고 설명합니다.
3. 인간의 인지 부채와 AI 시대의 새로운 병목 현상 😵💫
최신 AI 모델의 성능 향상에도 불구하고, 종현님은 생성된 코드 리뷰 과정에서 인지 부채가 발생한다고 언급합니다. AI가 너무 빠르게 많은 것을 생성하다 보니, 인간이 이를 모두 이해하고 따라가는 것이 어려워진다는 것입니다. 이는 "이해가 새로운 병목이 된다"는 Thariq Shihipar의 주장에 공명하는 지점입니다.
Thariq Shihipar는 "지도는 영토가 아니다"라는 알프레드 코르지브스키의 말을 인용하며, 인간의 이해와 AI의 작동 방식 사이에 존재하는 "미지의 영역(unknowns)"을 탐색하는 것이 중요하다고 강조합니다. AI가 많은 일을 처리할수록, 이 미지의 영역이 넓어지고 AI가 잘못 판단할 가능성도 커진다는 것입니다.
9:29 "지도와 영토 사이의 미지" 10:19 "이해가 새로운 병목이 된다는 건 이와 궤를 같이 하는 얘기 같아요."
종현님은 Fable 이전에도 이러한 문제는 존재했지만, Fable의 등장으로 더욱 부각되는 이유에 대해 의문을 제기합니다. 정석님은 Fable과 같은 고성능 모델이 더 깊은 사고를 요구하기 때문이며, 이는 결국 인간이 해결해야 할 새로운 인지적 도전이라고 설명합니다. 이러한 패턴은 과거에도 반복되었으며, 앞으로도 AI 기술이 발전할 때마다 계속될 것이라고 예측합니다.
4. 인지 부채 해소를 위한 도구와 방법론 🧠
AI 시대에 발생하는 인지 부채를 줄이기 위해 다양한 도구와 방법론이 제시됩니다. Thariq Shihipar는 구현 전, 중, 후 단계로 나누어 인지 부채를 줄이는 장치들을 소개합니다.
- 구현 전:
- 블라인드 스팟 인지: 자신이 인지하지 못하는 부분을 파악하는 것.
- 인터뷰: Claude에게 미지의 영역이나 모호한 부분에 대해 질문하도록 하여 전문가 인터뷰처럼 활용하는 방식.
- 구현 중:
- 구현 노트 작성: LLM 위키나 HTML 형식으로 모델이 자신의 생각을 확장하는 방식으로 기록.
- 구현 후:
- 보고서 및 퀴즈: 생성된 결과물에 대한 HTML 보고서를 작성하고, 이해도를 확인하기 위한 퀴즈(Quiz)를 포함하도록 프롬프트.
14:41 "나는 이번 체인지에서 발생한 모든 것을 정확하게 이해했는지 확인하고 싶다. 이 체인지에 대한 HTML 리포트를 만들어줘. Context, intuition, 그리고 실행된 작업들을 다 포함해서 내가 읽고 이해할 수 있게 해주고, 마지막에는 내가 통과해야 하는 퀴즈를 하나 넣어 줘."
종현님은 유튜브에서 최근 영상 업로드 시 퀴즈 기능을 추가할 수 있게 된 점을 언급하며, 사람들이 긴 콘텐츠를 요약본으로 소비하는 경향이 있지만, 이는 세부적인 이해를 놓치게 할 수 있다고 지적합니다. 퀴즈와 같은 도구는 능동적인 학습을 유도하여 인지 부채를 줄이는 데 도움을 줄 수 있다는 것입니다.
노션(Notion)의 직원이 제시한 'Explain Diff'라는 스킬도 소개되는데, 이는 AI가 생성한 코드 변경점(diff)을 노션 페이지나 HTML로 설명해주고, 이를 출력하여 보면서 학습하는 방식입니다. 이처럼 인간의 이해를 돕는 도구들은 AI와 인간이 함께 성장하는 데 필수적임을 강조합니다.
정석님은 이러한 방식이 결국 Alan Kay가 말한 '증강(Augmentation)'의 개념과 연결된다고 설명합니다.
20:56 "우리가 루프 밖으로 나갈 필요가 없을 뿐만 아니라, 오히려 그 루프 안으로 더 깊이 들어갈 수 있고, 그거는 우리한테 달려있다."
AI가 모든 것을 대신하는 것이 아니라, 인간이 루프 안에서 깊이 이해하고 통제하며 역량을 강화해야 한다는 것입니다.
5. AI 시대, 새로운 세대의 학습 방식과 인지 부채 🤯
AI 시대의 도래는 기존 세대와 새로운 세대의 학습 방식과 문제 해결 방식에 큰 차이를 가져올 것이라는 흥미로운 논의가 이어집니다. 정석님은 기성세대가 문제를 쪼개고 쪼개서 밑바닥까지 이해하려 했던 반면, 새로운 세대는 AI를 블랙박스처럼 사용하며 하위 레이어의 상세한 원리를 이해하려 하지 않을 것이라고 예측합니다.
24:03 "새로운 신세대는 이걸 그냥 아래쪽 레이어로 다 밀어버릴 거다. CPU 어셈블러가 옵티마이즈 됐는지를 우리가 안 물어보는 것처럼, 그냥 그걸 다 밑으로 밀어버리고 '해 줘, 해 줘, 해 줘' 하면서 바로 다음 레이어에서 본인들의 생산성을 형성하거나 새로운 지식 체계를 형성할 가능성이 굉장히 높다."
종현님은 20대 초반의 개발자들이 만든 작품에서 "README는 사람이 읽지 마시오"라고 쓰인 것을 보고 놀랐다고 말합니다. 이는 README가 AI가 읽고 이해하는 설명서로 인식되고 있다는 것을 보여주며, 새로운 세대의 기본 가정이 기존 세대와는 완전히 다르다는 점을 시사합니다.
24:54 "README는 사람이 읽지 마시오."
종현님은 AI와 함께 일하면서 자신의 이해 능력이 병목이 되고 뇌가 타는 듯한 사이버사이코(cyberpsycho) 증상을 느낀다고 표현하며, 이러한 새로운 환경에 적응하기 위한 조언을 시청자들에게 구하기도 합니다.
정석님은 인지적 과부하를 줄이기 위해 "토끼굴 게이트"를 만들었다고 고백합니다.
27:07 "이거 아무리 이해해 봤자 내 결과에 도움이 안 된다."
결과에 도움이 되지 않는다고 판단되는 부분은 블랙박스로 남겨두고 "해 줘, 해 줘" 모드로 진행한다는 것입니다. 이는 마치 과거 항해술을 몰라도 바다로 나갔던 인류처럼, AI라는 블랙박스를 활용하여 새로운 도전을 하는 방식과 일맥상통합니다.
6. AI 모델 평가의 의미와 한계 📊
박종현님은 Fable, GPT-5.6과 같은 최신 모델의 실제 성능과 이를 평가하는 지표에 대해 심도 깊은 분석을 이어갑니다. 많은 사람이 궁금해하는 "Fable이 얼마나 좋은가?"라는 질문에 대해, 단순히 "Artificial Analysis"와 같은 벤치마크 점수만으로는 실제 사용자 경험을 완벽하게 반영하기 어렵다고 설명합니다. 벤치마크는 표준화된 시험처럼 문제를 풀고 채점하는 방식이지만, 문제와 답이 공개되어 모델이 벤치마크에 최적화될 가능성이 있다는 한계를 지적합니다.
32:36 "하지만 이게 좋은 지표냐라고 물어보면 저는 여전히 물음표를 달고 있어요. 왜냐하면 벤치마크라는 거는 문제랑 답이 다 공개돼 있거든요."
그 대안으로 "LMArena"를 소개하는데, 이는 A/B 테스트와 인간의 선호도(좋다, 싫다, 이게 더 좋다 등)를 수집하여 엘로(Elo) 점수 방식으로 모델을 평가하는 시스템입니다. LMArena는 에이전트 모드에서 사용자가 태스크를 부여하면, 모델 종류를 공개하지 않은 채 결과를 보여주고 사용자에게 평가를 받습니다.
종현님은 LMArena를 통해 Artificial Analysis의 평가 결과 보고서를 PPT로 만드는 실험을 진행했는데, Fable과 LMArena에서 만든 PPT 내용에 큰 차이가 없었다고 합니다. LMArena는 최근 17억 달러의 기업 가치로 투자를 유치했으며, 이는 인간 선호도 데이터를 수집하고 평가하는 비즈니스가 큰 가치를 지니고 있음을 보여줍니다.
하지만 LMArena 역시 한계를 가지고 있습니다. 종현님은 약 1년 전 Llama 4 출시 당시의 사례를 언급하며, Llama 4가 LMArena에서 높은 순위를 차지했지만 실제 사용자 경험은 매우 좋지 않았다고 합니다. 이는 Llama 4가 LMArena 벤치마크에 최적화(tuning)되어 나타난 결과였습니다.
37:16 "그때 알고 보니까 라마 4를 온갖 방식으로 튜닝을 해 가지고 LMArena에다가 다 때려 박은 거예요." 37:30 "인간 선호도라는 것도 벤치마크인데, LLM으로 튜닝하면 해킹할 수 있을 정도로 난이도가 낮구나."
이러한 경험을 통해 종현님은 인간 선호도 평가조차도 모델이 최적화될 수 있는 대상임을 깨달았다고 말합니다. 현재 LLM은 특정 벤치마크, 예를 들어 코딩 능력 평가 벤치마크인 SWE-bench 같은 곳에 최적화되면서 "들쭉날쭉한 지능(jagged intelligence)"을 보인다는 것입니다. 수학 문제 같은 어려운 것은 잘 풀지만, 소설 쓰기나 유머와 같이 평가하기 어려운 태스크는 여전히 잘하지 못하는 현상이 대표적인 예입니다.
38:43 "지금은 저희가 재기드 인텔리전스라고 부르잖아요. 어떤 건 엄청 잘하고 어떤 건 또 못하고 '이것도 이렇게 잘하는데 왜 이것도 못 해?' 이런 것들." 39:19 "제가 생각할 때는 결국 이밸류에이션이 어려워서 그렇다고 생각하고 있거든요."
이러한 논의는 평가 데이터 자체가 AI 산업의 중요한 비즈니스 영역이 될 수 있음을 시사합니다.
7. 도메인 특화 모델과 평가의 미래 🌐
정석님은 모든 영역을 아우르는 일반 인공지능(AGI)이 아닌, 특정 도메인에 특화된 모델의 중요성을 강조합니다.
41:50 "다 일반 지능, 제너럴 인텔리전스까지 다 커버하겠다는 게 아니라, 각 도메인마다 자기 비즈니스를 커버하겠다는 거면 훨씬 적은 노력으로도 될 수 있다."
최소 30B 이상의 파라미터를 가진 모델이라면 충분한 실용성을 가질 수 있으며, 여기에 회사 고유의 로직을 학습시키면 좋은 결과물을 얻을 수 있을 것이라고 말합니다. 이는 Engram과 같이 특정 도메인에 집중하는 스타트업의 사례와도 연결됩니다.
최승준님은 전체 오케스트레이션이나 판단은 대형 모델에 맡기고, 작은 모델들이 많은 일을 처리하도록 하는 전략이 필요하다고 언급하며, 이는 결국 모델 간의 경계 설정과 엔지니어링 문제로 귀결된다고 봅니다.
종현님은 LLM 외의 다른 모달리티, 특히 오디오와 로보틱스 분야에서의 평가 문제에 주목합니다. 이러한 분야에서는 데이터가 부족하고, 물리적인 환경에서의 평가가 훨씬 어렵기 때문에 더 많은 비즈니스 기회가 있다고 판단합니다. 로봇이 커피를 내리는 작업을 예로 들며, 각 서브 태스크에 대한 정확한 평가와 이를 통해 보상 모델(reward model)을 구축하는 것이 중요하다고 설명합니다.
44:06 "저는 여기에 굉장히 많은 비즈니스 기회가 있다고 생각하고 있고요." 44:52 "그 서브 태스크 화면에서 얘가 지금 액션을 잘하고 있는지 못하고 있는지 이걸 정확하게 스코어를 매겨줘야 되는데, 그것도 결국 이밸류에이션이거든요."
결론적으로, AI 모델의 평가는 단순한 성능 측정 지표를 넘어 AI 기술의 발전 방향과 비즈니스 모델을 결정하는 중요한 요소이며, 특히 인간의 선호도와 복잡한 물리적 환경에서의 평가는 앞으로 더욱 중요하고 어려운 과제가 될 것이라고 전망합니다.
마치며
AI Frontier Korea 팀은 Fable과 같은 최신 AI 모델이 가져온 기술적 도약과 동시에, 인간이 이를 이해하고 활용하는 과정에서 발생하는 인지적 병목 현상에 대해 심도 있게 논의했습니다. 복잡한 AI 시스템을 모두 이해하려 하기보다는, 필요한 부분은 블랙박스로 두고 상위 레이어의 판단에 집중하는 '토끼굴 게이트' 전략과 같은 새로운 협업 방식이 필요하다는 제안은 시사하는 바가 큽니다. 또한, AI 모델 평가가 단순히 벤치마크 점수를 넘어서 인간의 선호도, 그리고 물리적 환경에서의 복합적인 평가로 확장되어야 하며, 이 과정에서 평가 데이터 자체가 중요한 비즈니스 영역이 될 것이라는 통찰은 AI 산업의 미래 방향을 제시합니다. 이러한 논의들은 우리가 AI 시대를 어떻게 항해해 나갈지에 대한 중요한 질문들을 던지며, 앞으로도 이 분야에서 끊임없이 새로운 관점과 해결책이 모색될 것임을 암시합니다.