영향력 있는 AI 연구를 위한 가이드: 오픈소스 중심의 접근법

AI로 요약된 콘텐츠

영향력 있는 AI 연구를 위한 가이드: 오픈소스 중심의 접근법

1. 논문이 아닌 프로젝트에 투자하라.

많은 대학원생들이 연구 초기에는 논문을 발표하는 데 큰 가치를 둡니다. 이는 연구를 배우고 초기 주제를 탐구하며 진전을 보여주는 데 중요한 단계입니다. 하지만 장기적으로는 논문의 수보다 연구의 영향력과 큰 그림을 전달하는 능력이 더 중요합니다.

"당신의 연구를 개별 논문의 집합으로 보지 말고, 더 큰 비전, 하위 분야, 또는 당신이 이끌어갈 패러다임으로 보세요. 당신의 연구가 어떤 변화를 만들고자 하는지 스스로에게 물어보세요."

이러한 비전을 구체화하는 한 가지 방법은 모델, 시스템, 프레임워크, 또는 벤치마크와 같은 오픈소스 아티팩트를 중심으로 연구를 구조화하는 것입니다. 단순히 실험을 하고 빠르게 레포를 올리는 것보다 더 많은 노력이 필요하지만, 이는 연구의 일관성과 유용성을 보장하는 데 큰 도움이 됩니다.

2. 시기적절하고, 발전 가능성이 크며, 파급 효과가 큰 문제를 선택하라.

모든 논문이 장기적인 투자를 받을 필요는 없습니다. 하지만 큰 프로젝트로 발전시킬 방향을 찾으려면 다음 세 가지 기준을 고려하세요.

시기적절성: 2~3년 후에 '핫'해질 가능성이 있지만 아직 주류가 되지 않은 문제를 찾으세요.
파급 효과 (Fanout): 연구 결과가 여러 하위 문제에 영향을 미칠 수 있는 문제를 선택하세요.
발전 가능성 (Headroom): 문제 해결로 인해 20배 더 빠르거나 30% 더 효과적인 결과를 낼 수 있는 가능성이 있는 문제를 찾으세요.

예를 들어, 2019년 말 ColBERT 연구는 BERT를 검색에 적용하는 방법이 매우 비효율적이라는 점에서 시작되었습니다. 이 문제는 시기적절했고, 효율성을 1000배 개선할 수 있는 발전 가능성이 있었으며, 검색 시스템이라는 파급 효과가 큰 문제였습니다.

"효율적인 검색은 '기초적인' 문제입니다. 모두가 검색기를 기반으로 무언가를 구축해야 하지만, 검색기를 직접 만들고 싶어하는 사람은 거의 없습니다."

3. 두 단계 앞을 내다보고 빠르게 반복하라.

문제를 찾았다면, 즉각적인 해결책에만 매달리지 마세요. 대신, 두 단계 앞을 내다보는 사고를 하세요. 사람들이 일반적으로 선택할 경로를 예측하고, 그 경로의 한계를 미리 파악하여 이를 해결하는 방법을 연구하세요.

예를 들어, ColBERT의 경우, 단일 벡터로 문서를 인코딩하는 것이 당시 '명백한' 접근법이었습니다. 하지만 두 단계 앞을 내다본다면, 단일 벡터 접근법이 어디에서 한계에 부딪힐지를 고민하게 됩니다. 이러한 사고는 Late Interaction 패러다임과 같은 혁신적인 아이디어로 이어졌습니다.

"많은 사람들이 명백한 접근법을 따를 것입니다. 하지만 그 접근법이 어디에서 한계에 부딪힐지를 미리 고민하세요."

또한, 빠르게 반복하는 것도 중요합니다. 초기 문제를 빠르게 테스트하고 피드백을 받는 과정을 통해 어려운 문제를 해결할 가능성을 높일 수 있습니다.

4. 연구를 공개하고, 아이디어를 대중화하는 데 주도권을 가져라.

좋은 문제를 찾고, 멋진 결과를 냈다면, 다음 논문으로 넘어가기 전에 연구를 공개하고 사람들과 적극적으로 소통하세요. 단순히 논문을 발표하는 것에 그치지 말고, 큰 그림과 오픈소스 아티팩트를 통해 지속적으로 아이디어를 발전시키세요.

"좋은 아이디어는 한 번의 발표로 끝나지 않습니다. 사람들이 아이디어를 흡수할 수 있도록 여러 번, 다양한 맥락에서 반복적으로 전달해야 합니다."

연구를 공개하는 첫 단계는 논문을 arXiv에 올리고, 이를 알리는 트윗이나 글을 작성하는 것입니다. 이때, 단순히 논문 발표를 알리는 것이 아니라, 핵심 주장을 명확하고 구체적으로 전달하는 것이 중요합니다.

5. 오픈소스 연구를 성장시키는 팁: 흥미를 커뮤니티로 연결하라.

오픈소스 프로젝트는 단순히 코드를 업로드하는 것으로 끝나지 않습니다. 사용 가능성, 유용성, 접근성을 갖춘 프로젝트를 만들어야 합니다. 이를 위해 다음과 같은 마일스톤을 고려하세요.

마일스톤 0: 사용 가능하게 만들기
다른 연구자들이 코드를 실행하고 실험을 재현할 수 있도록 하세요.
마일스톤 1: 유용하게 만들기
더 넓은 사용자층이 프로젝트를 활용할 수 있도록 설계하세요.
마일스톤 2: 접근 가능하게 만들기
기술적으로 완벽한 설명만으로는 부족합니다. 사용자들이 쉽게 접근할 수 있도록 문서화와 예제를 제공하세요.
마일스톤 3: 대안의 한계를 보여주고 인내심을 가지기
사람들이 문제를 인식하고 해결책을 받아들이는 데 시간이 걸릴 수 있습니다.
마일스톤 4: 다양한 사용자층을 이해하고 활용하기
전문가와 일반 사용자 모두를 대상으로 프로젝트를 확장하세요.
마일스톤 5: 커뮤니티로 성장시키기
기여와 토론을 환영하며, 커뮤니티가 자발적으로 성장할 수 있도록 지원하세요.
마일스톤 6: 협력적이고 모듈화된 하위 프로젝트로 확장하기
프로젝트를 모듈화하여 새로운 연구자들이 독립적으로 기여할 수 있는 기회를 만드세요.

"오픈소스 연구는 좋은 연구와 좋은 오픈소스 아티팩트가 모두 필요합니다. 이 균형을 맞추는 것은 어렵지만, 제대로 하면 매우 보람 있습니다."

6. 새로운 논문을 통해 프로젝트에 계속 투자하라.

오픈소스 프로젝트와 연구는 별개가 아닙니다. 오히려, 오픈소스 프로젝트는 새로운 문제를 직관적으로 인식하고, 협력자를 찾으며, 연구 결과를 효과적으로 배포할 수 있는 기회를 제공합니다.

예를 들어, ColBERT는 단일 논문으로 끝난 것이 아니라, 10개 이상의 논문으로 확장되었습니다. 이는 더 나은 훈련 방법, 메모리 최적화, 빠른 검색 인프라 등 다양한 주제를 다루며 프로젝트를 발전시켰습니다. DSPy 역시 프로그래밍 추상화, 프롬프트 최적화 등 여러 논문으로 이어졌습니다.