이 글은 지난 70년간의 인공지능(AI) 연구 역사를 되짚어보며 얻은 가장 중요한 교훈, 즉 쓰디쓴 교훈에 대해 이야기합니다. 인공지능 분야에서 계산 능력을 활용하는 일반적인 방법들이 궁극적으로 가장 효과적이며, 시간이 지남에 따라 그 격차는 더욱 벌어진다는 점을 강조해요. 우리는 복잡한 인간의 지식을 시스템에 직접 주입하려는 노력이 단기적으로는 유용해 보일지라도, 장기적으로는 발전을 저해하며, 결국은 방대한 계산과 학습을 통한 범용적인 접근 방식이 성공을 가져온다는 사실을 역사적 사례들을 통해 배우게 됩니다.
지난 70년간의 인공지능 연구에서 얻은 가장 큰 교훈은 계산 능력을 활용하는 일반적인 방법들이 궁극적으로 가장 효과적이라는 것입니다. 이는 무어의 법칙(Moore's law) 덕분에 단위 계산당 비용이 계속해서 기하급수적으로 감소하기 때문이에요. 많은 AI 연구가 에이전트가 사용할 수 있는 계산 능력이 일정하다고 가정하고 진행되었지만, 실제로는 시간이 지남에 따라 엄청나게 많은 계산 능력이 활용 가능해지게 됩니다.
연구자들은 단기적인 성과를 위해 도메인에 대한 인간의 지식을 활용하려고 노력하지만, 장기적으로는 계산 능력의 활용만이 중요하게 작용해요. 이 두 가지 접근 방식이 반드시 상충되는 것은 아니지만, 실제로는 서로 대립하는 경향이 있습니다. 한 가지 방식에 투자하는 시간은 다른 방식에 투자하지 못하는 시간이 되기 때문이죠. 게다가 인간 지식 중심의 접근 방식은 방법론을 복잡하게 만들어 계산 능력을 활용하는 일반적인 방법들과 잘 맞지 않게 됩니다. AI 연구자들이 이러한 쓰디쓴 교훈을 늦게 깨달은 많은 사례들을 살펴보는 것이 중요해요.
컴퓨터 체스 분야에서는 1997년에 세계 챔피언인 카스파로프를 물리친 방법들이 방대한, 깊이 있는 탐색(search)에 기반을 두었어요. 당시 대다수의 컴퓨터 체스 연구자들은 체스의 특별한 구조에 대한 인간의 이해를 활용하는 방법들을 추구했기에, 이러한 결과에 크게 실망했습니다. 특별한 하드웨어와 소프트웨어를 사용한 더 간단한 탐색 기반 접근 방식이 훨씬 더 효과적이라는 것이 증명되자, 인간 지식 기반의 체스 연구자들은 패배를 잘 인정하지 못했어요. 그들은 이렇게 말했습니다.
"무작위 대입(brute force) 탐색이 이번에는 이겼을지 모르지만, 이는 일반적인 전략이 아니며, 어쨌든 사람이 체스를 두는 방식도 아니다."
이 연구자들은 인간의 입력에 기반한 방법들이 이기기를 원했고, 그렇지 못했을 때 실망감을 감추지 못했습니다.
컴퓨터 바둑에서도 이와 비슷한 연구 발전 패턴이 20년 후에 나타났습니다. 초기에는 인간의 지식이나 게임의 특별한 특징들을 활용하여 탐색을 피하려는 막대한 노력이 있었지만, 이러한 모든 노력은 탐색이 효과적으로 대규모로 적용되자 무의미해지거나 오히려 방해가 되었습니다.
또한, 자기 대국(self-play)을 통한 학습을 이용해 가치 함수를 학습하는 것도 중요했습니다. (이는 다른 많은 게임들과 심지어 체스에서도 그랬지만, 1997년 세계 챔피언을 처음 이긴 프로그램에서는 학습이 큰 역할을 하지 않았어요.) 자기 대국 학습과 일반적인 학습은 탐색과 마찬가지로 방대한 계산 능력을 활용할 수 있게 해줍니다. 탐색과 학습은 AI 연구에서 방대한 양의 계산을 활용하는 가장 중요한 두 가지 기법이에요. 컴퓨터 바둑에서도 컴퓨터 체스에서처럼, 연구자들의 초기 노력은 인간의 이해를 활용하는 데 집중되었고 (그래서 탐색이 덜 필요하다고 생각했어요), 훨씬 나중에 탐색과 학습을 적극적으로 받아들임으로써 훨씬 더 큰 성공을 거두었습니다. 🚀
음성 인식 분야에서는 1970년대에 DARPA가 후원하는 초기 경쟁이 있었습니다. 참가자들은 단어, 음소, 인간의 발성 기관 등에 대한 인간 지식을 활용하는 다양한 특별한 방법들을 제시했어요. 반대편에는 은닉 마르코프 모델(HMMs)에 기반한, 통계적이고 훨씬 더 많은 계산을 수행하는 새로운 방법들이 있었습니다. 다시 한번, 통계적 방법들이 인간 지식 기반 방법들을 압도했어요. 이는 수십 년에 걸쳐 자연어 처리 분야 전반에 걸쳐 큰 변화를 가져왔고, 결국 통계와 계산이 이 분야를 지배하게 되었습니다.
음성 인식에서 딥러닝의 최근 부상은 이러한 일관된 방향의 가장 최신 단계입니다. 딥러닝 방법들은 인간 지식에 훨씬 덜 의존하고, 훨씬 더 많은 계산을 사용하며, 방대한 훈련 데이터셋에서의 학습을 통해 극적으로 더 나은 음성 인식 시스템을 만들어내고 있습니다. 게임 분야에서와 마찬가지로, 연구자들은 항상 자신들의 마음이 작동하는 방식대로 시스템을 만들려고 노력했습니다. 그 지식을 시스템에 넣으려고 했죠. 하지만 무어의 법칙을 통해 방대한 계산 능력이 활용 가능해지고 이를 효과적으로 사용할 수 있는 방법이 발견되면서, 이러한 노력은 결국 역효과를 낳고 연구자들의 시간을 엄청나게 낭비하는 결과를 초래했습니다. 😥
컴퓨터 비전 분야에서도 비슷한 패턴이 있었습니다. 초기 방법들은 비전을 에지(가장자리)를 찾거나, 일반화된 원통을 찾거나, SIFT 특징으로 설명하려는 식으로 개념화했습니다. 하지만 오늘날 이 모든 것은 폐기되었어요. 현대의 딥러닝 신경망은 합성곱과 특정 종류의 불변성 개념만을 사용하며, 훨씬 더 나은 성능을 보여주고 있습니다.
이것은 정말 큰 교훈입니다. 한 분야로서 우리는 아직도 이 교훈을 완전히 배우지 못하고 있으며, 계속해서 같은 종류의 실수를 저지르고 있어요. 이를 인식하고 효과적으로 저항하기 위해서는 이러한 실수들이 왜 매력적으로 느껴지는지 이해해야 합니다. 우리는 "우리가 생각하는 방식대로 시스템을 구축하는 것"이 장기적으로는 효과가 없다는 쓰디쓴 교훈을 배워야 해요.
쓰디쓴 교훈은 다음과 같은 역사적 관찰에 기반을 둡니다.
궁극적인 성공은 종종 쓰디쓴 맛을 남기고, 완전히 소화되지 못하는 경우가 많습니다. 왜냐하면 그것은 우리가 선호했던, 인간 중심적인 접근 방식을 뛰어넘어 얻은 성공이기 때문이죠.
쓰디쓴 교훈에서 배워야 할 한 가지는 범용적인 방법들, 즉 사용 가능한 계산 능력이 아무리 많아져도 계속해서 확장되는 방법들의 엄청난 힘입니다. 이러한 방식으로 임의로 확장되는 것처럼 보이는 두 가지 방법은 바로 탐색(search)과 학습(learning)이에요.
쓰디쓴 교훈에서 배워야 할 두 번째 일반적인 요점은 마음의 실제 내용은 엄청나게, 돌이킬 수 없을 정도로 복잡하다는 것입니다. 우리는 공간, 객체, 다중 에이전트, 대칭 등에 대해 간단하게 생각하는 것과 같이 마음의 내용에 대해 간단하게 생각하려는 노력을 멈춰야 합니다. 이 모든 것들은 임의적이고 본질적으로 복잡한 외부 세계의 일부예요. 그것들은 구축되어야 할 대상이 아닙니다. 왜냐하면 그것들의 복잡성은 끝이 없기 때문이죠. 대신 우리는 이러한 임의적인 복잡성을 찾고 포착할 수 있는 메타-방법들만을 구축해야 합니다. 이러한 방법들의 핵심은 좋은 근사치를 찾을 수 있어야 하지만, 그것들을 찾는 것은 우리가 아니라 우리의 방법에 의해 이루어져야 한다는 것입니다. 우리는 우리가 발견한 것을 담고 있는 AI 에이전트가 아니라, 우리처럼 발견할 수 있는 AI 에이전트를 원합니다. 우리가 발견한 것을 구축하는 것은 발견 과정이 어떻게 이루어질 수 있는지를 이해하기 더 어렵게 만들 뿐이에요.
결론적으로, 인공지능 연구의 역사는 인간의 지식을 직접 주입하는 방식이 아닌, 방대한 계산 능력을 활용하는 범용적인 탐색과 학습 방법이 궁극적인 성공을 가져온다는 명확한 메시지를 던져줍니다. 단기적인 만족감을 주는 인간 중심적 접근 방식의 유혹을 뿌리치고, 장기적인 관점에서 계산 능력의 확장에 초점을 맞추는 것이 AI 발전의 핵심입니다. 우리는 복잡한 세상의 지식을 직접 가르치려 하기보다, AI가 스스로 지식을 발견하고 학습할 수 있는 메타-방법을 구축하는 데 집중해야 할 것입니다.