H
하베스트
AI로 요약된 콘텐츠

AI 코드 슬롭을 막는 법: Grok Bot 팀의 코드 검증 시스템

Grok Bot 팀의 로렌 탄은 AI 에이전트가 만든 코드를 신뢰하려면 프롬프트보다 코드베이스의 구조와 자동 검증 장치가 중요하다고 설명한다. 팀은 반복되는 실수를 린트 규칙과 설계에 반영하고, 에이전트가 실행 결과를 증거로 남기도록 만들어 높은 개발 속도와 낮은 되돌림 비율을 함께 추구했다. 핵심은 나쁜 코드를 빠르게 자동 생산하기 전에, 나쁜 코드가 생기기 어려운 환경부터 만드는 것이다.


1. 많은 PR과 낮은 되돌림 비율

영상은 Grok Bot을 만드는 팀의 엔지니어 로렌 탄(Lauren Tan)의 발표를 소개한다. 발표 제목은 「모든 코드는 슬롭이다, 내 코드를 제외하면」으로, 여기서 슬롭(slop)은 AI가 성급하게 대량으로 만들어낸 저품질 결과물을 뜻한다. 로렌 탄은 발표에서 자신을 포테이토(Potato)라는 별명으로 소개한다.

영상 도입부에 따르면, 이 팀은 한 달 동안 PR 19,260개를 병합했고 같은 달 되돌린 커밋의 비율은 약 0.5%였다. 다만 영상 제목에는 PR 1만 개라고 적혀 있어 도입부 자막의 수치와 차이가 있다. 또한 0.5%는 자막에서 되돌린 커밋의 비율로 설명되므로, PR 0.5%가 되돌려졌다는 뜻으로 단정하지는 않아야 한다.

영상이 살펴보려는 것은 에이전트에게 더 좋은 지시문을 쓰는 방법이 아니다. 저장소 안에 어떤 장치를 넣어야 에이전트가 작성한 코드를 믿을 수 있는지가 중심이다.

발표 초반에는 팀 전체가 아니라 로렌 탄 개인이 한 달에 올린 PR 수를 보여주는 그래프도 나온다. 출발점으로 제시된 3월의 수치는 68개였다. 이후 대규모 PR을 처리하는 수준에 이르기까지 약 6개월이 걸렸다고 한다.

2. 저신뢰 루프에서 고신뢰 루프로

로렌 탄은 두 가지 작업 방식을 대비한다. 저신뢰 루프에서는 에이전트가 품질 낮은 코드를 만들고, 사람이 이를 검증하면서 문제를 찾아낸다. 반면 고신뢰 루프에서는 에이전트가 더 좋은 코드를 작성하고, 검증 역시 에이전트가 수행한다.

이 전환을 위해 어디에 시간을 써야 하는지 설명하는 그림이 포테이토 피라미드다. 넓은 부분이 위에 있는 역삼각형이며, 위에서 아래로 다음 다섯 영역이 배치되어 있다.

  1. 코드베이스
  2. 정적 분석
  3. 검증
  4. 텍스트 지침
  5. 사람의 리뷰

넓은 위쪽은 더 많이 투자해야 할 부분이고, 좁은 아래쪽은 상대적으로 적게 남겨둘 부분이다. 규칙 파일, 스킬, AGENTS.md 같은 텍스트 지침은 피라미드의 좁은 아래쪽에 속한다. 사람이 일일이 판단해야 하는 내용이나 에이전트에게 글로 당부하는 내용만 늘리기보다, 코드와 검증 환경 자체를 개선하라는 뜻이다.

이는 영상에서 앞서 다뤘다는 Anthropic의 리디아 할리 발표, 즉 CLAUDE.md에서 감정적인 표현을 걷어내자는 방향과도 닮아 있다.


3. 임시방편이 퍼지지 않도록 코드베이스 바꾸기

피라미드의 가장 넓은 부분인 코드베이스를 설명하면서 로렌 탄은 정원과 건물 이미지를 비유로 활용한다. 영상의 설명에 따르면, 한 번의 빠른 수정이 복사되고 또 복사되면 결국 코드 전체의 반복적인 나쁜 패턴이 될 수 있다.

Grok Bot 팀은 자체 프레임워크인 Dune을 사용하면서 이런 문제를 코드 리뷰에서 매번 지적하는 대신, 애초에 생기기 어렵도록 제약했다. 영상에서 소개한 예는 프런트엔드의 두 가지다.

  • 올바르게 사용하기 까다로운 useEffect는 코드베이스에서 아예 금지했다.
  • UI 코드와 백엔드 로직이 섞이면서 앱이 느려지는 문제는 폴더 구조와 린트 규칙으로 경계를 분리했다.

두 사례는 겉보기에는 다르지만 목표는 같다. 실수를 발견한 뒤 사람에게 고치라고 요구하는 것보다, 같은 실수가 반복될 통로를 없애는 것이다. 그 결과 이런 문제는 매번 코드 리뷰에서 다시 살펴볼 필요가 없어진다.


4. 타이머와 주석이 남긴 교훈

다음 사례는 Cursor에서 일어난 일이다. 화면 깜빡임을 고치기 위해 9월 9일 setTimeout 한 줄이 추가됐다. setTimeout은 코드 실행을 잠시 미루는 타이머다. 발표에는 10월 3일과 10월 17일까지의 변화도 제시되는데, 임시 수정이 이후 널리 퍼지면서 성능이 오히려 나빠졌다고 한다.

자바스크립트에서 타이머가 대량으로 빠르게 만들어지고 사라지면 메모리를 정리하는 작업이 빈번해져 앱이 버벅일 수 있다. 로렌 탄은 문제를 더 키운 요소로 주석을 지목한다.

"에이전트는 이 임시방편이 왜 정당한지 설명하는 주석을 많이 작성했습니다. 그러는 사이 타이머가 곳곳으로 퍼졌고, 앱 성능은 크게 나빠졌죠."

주석은 시간이 지나면 실제 코드와 어긋나기 쉽고, 누군가 읽더라도 그 내용을 강제할 수 없다. 로렌 탄은 주석이 어려운 근본 해결을 피하면서 현재의 임시방편을 정당화하는 탈출구가 될 수도 있다고 본다.

"다음 에이전트에게 무엇을 하지 말라고 주석으로 남겨도, 결국 신뢰할 수 있는 장치가 되지는 않습니다."

이 경험을 바탕으로 Grok Bot과 Dune에서는 주석의 99%를 금지하기로 했다. 대신 에이전트가 잘못된 패턴을 사용하면, 린트가 이해하기 쉬운 오류 메시지를 보여주고 임시방편이 아니라 근본 원인을 고치도록 안내한다. 영상에 따르면 주석 수는 7월 말 65,824개에서 발표 당시 1,227개로 줄었다.

로렌 탄이 제시한 일반 원칙은 다음과 같다.

"에이전트를 바로잡을 때마다 그 교정을 결정적으로 확인할 수 있는 검사로 바꾸거나, 더 나은 API 설계와 아키텍처를 통해 그 문제를 코드에서 아예 없앨 방법을 생각합니다."

이런 작업이 쌓이면 사람이 코드 리뷰에서 주의 깊게 살펴볼 항목이 줄어든다. 로렌 탄은 충분히 개선하면 에이전트가 대부분의 PR을 스스로 병합하도록 할 수 있다고 말한다. 다만 영상 마지막에서는 주석을 거의 모두 없애거나 PR 병합을 자동화하는 것은 각 팀의 상황에 맞춰 별도로 판단할 일이라고 선을 긋는다.

영상에는 관련 그래프도 등장한다. 7월의 7에서 167까지 계단식으로 증가하지만, 축에 이름이 없어 그 숫자가 정확히 무엇을 뜻하는지는 자막만으로 확인하기 어렵다. 화면에 잠깐 등장하는 NoComments는 로렌 탄이 만든 pstack 플러그인의 스킬이다.


5. 가장 중요한 단계는 검증

로렌 탄은 피라미드의 세 번째 영역인 검증을 가장 중요하게 꼽는다. 에이전트가 PR을 대부분 스스로 병합한다면 사람은 무엇을 살펴봐야 할까? 영상이 제시하는 답은 코드만이 아니라 검증의 증거다.

에이전트는 실제 앱을 실행하고, 예를 들어 설정 버튼을 눌러 화면 상태를 확인한 뒤 스크린샷을 저장할 수 있다. 이렇게 실행 결과를 확인하고 남기는 것이 영상에서 설명하는 런타임 검증이다. 사람은 코드 전체를 일일이 읽는 대신 영상, 스크린샷, 다이어그램, 테스트 결과를 보고 의도한 대로 작동하는지 판단할 수 있다.

발표에서는 더 엄격한 검증 방법도 소개한다.

  • TLA+: 시스템에서 가능한 상태들을 모델로 만들고, 놓친 상황이나 문제가 있는지 확인하는 도구다.
  • Lean: 알고리즘이 올바른지 수학적 증명처럼 단계적으로 검증하는 도구다.
  • 속성 기반 테스트: 사람이 몇 가지 예시만 정하는 대신, 어떤 입력에도 성립해야 할 조건을 정해 놓고 다양한 입력을 넣어 검사하는 방식이다.

영상은 이런 방법이 기존 테스트를 대체하는 것이 아니라 추가하는 검증 계층이라고 설명한다. 발표에서 VonBody라는 이름과 저장소 주소도 등장하지만, 제공된 자막에는 구체적인 적용 내용이 충분히 담겨 있지 않다.


6. 에이전트가 열어준 검증의 여지

로렌 탄은 약 6개월 간격으로 작성된 신디의 두 게시물도 비교한다. 5월 게시물에는 미묘한 버그가 들어 있는 AI 생성 PR 여러 개가 병합됐고, 이를 고치는 데 며칠이 더 걸렸으며 수동 검증도 많이 필요했다는 이야기가 나온다. 11월 게시물은 일일 토큰 사용량이 어디에 쓰이는지를 보여준다.

이 팀은 하루 토큰의 70%를 검증에 사용한다고 한다. 코드를 생성하는 데만 자원을 쓰는 것이 아니라, 결과를 믿을 수 있는지 확인하는 데 상당한 비중을 둔 셈이다.

로렌 탄은 형식 검증과 테스트 자체가 새로운 발명은 아니지만, 예전에는 이해하고 작성하고 유지하는 비용이 너무 높았다고 설명한다.

"에이전트가 그 비용을 크게 낮춰줍니다. 예전에는 경제성이 없어서 하지 못했던 수준까지 모든 것을 테스트할 수 있게 됐기 때문에, 우리는 소프트웨어 테스트와 검증의 황금기로 들어서고 있습니다."

형식 검증은 단순히 버그를 찾는 데서 그치지 않는다. 제품이 어떻게 동작해야 하는지, 그리고 에이전트가 사람의 의도와 목표를 제대로 이해했는지 생각하는 데도 도움이 된다.

로렌 탄이 만든 pstack의 State Chart 스킬은 사용자 관점에서 상태 변화를 시각화한다. 로렌 탄은 이 그림을 동영상이나 스크린샷과 함께 보면 결과를 검토하기가 더 쉽다고 말한다.


7. 개발 속도와 성능 수치가 보여준 것

이제까지의 코드 정리, 린트 규칙, 여러 단계의 검증은 모두 투자에 해당한다. 발표에서는 그 결과를 보여주기 위해 다섯 가지 그래프를 제시한다. 차례로 팀의 병합 PR 수, 데스크톱 앱 릴리스 수, 기여자 수, 되돌림 비율, 앱 성능을 보여주는 그래프다.

기여자 그래프의 막대 색은 각 사람이 제출한 PR 수에 따라 달라진다. 발표에서는 빠른 개발 속도와 함께 되돌림 비율 및 앱 성능이 어떻게 움직였는지도 살펴본다. 다만 제공된 자막에는 각 그래프의 세부 수치가 모두 담겨 있지는 않다.

영상 진행자는 이 수치들이 로렌 탄의 팀이 발표에서 직접 제공한 자료이며, 별도로 검증하지는 못했다고 밝힌다. 릴리스는 대략 하루에 한 번이라고 소개됐지만, 슬라이드에 나온 릴리스 간격의 중앙값은 9월 25시간, 10월 28시간이었다.

성능 그래프 아래에는 Electron 앱의 성능에 한계가 있어 Rust로 다시 작성하는 방안을 검토 중이라는 작은 설명도 있었다. 즉, 제시된 성과가 모든 기술적 한계를 해결했다는 뜻은 아니다.


8. 자동화보다 먼저 할 일

이런 결과를 보고 곧바로 "소프트웨어 공장"부터 만들면 될까? 로렌 탄의 대답은 순서가 중요하다는 것이다.

"코드를 작성하는 내부 루프가 슬롭을 만들어낸다면, 그 루프를 자동화해도 슬롭만 더 많이 생산하게 됩니다."

따라서 먼저 린트로 새로운 안티패턴, 즉 피해야 할 나쁜 코드 패턴이 들어오는 것을 막고, 그다음 이미 쌓여 있는 문제를 정리해야 한다. 이렇게 기초를 다진 뒤 바깥의 신호를 받아 작업을 시작하는 자동화를 얹는다는 구상이다.

로렌 탄은 이 바깥쪽 루프의 도구로 팀의 제품인 Grok Bot을 소개한다. X의 피드백, 이슈 티켓, Slack 메시지, 모니터링 경고 같은 신호가 들어오면 Grok Bot이 에이전트를 실행해 작업을 시작하는 방식이다.

마지막 사례에서는 새 릴리스가 나갈 때마다 퍼징(fuzzing)을 수행한다고 한다. 퍼징은 앱에 갖가지 입력과 동작을 시도해 어디서 문제가 생기는지 찾는 테스트다. 화면에 표시된 Slack 스레드는 그 테스트 결과를 보고한 내용이었다.


9. 내 저장소에서 작게 시작하기

발표의 마지막 슬라이드에서는 제목의 괄호 안 문구가 "내 코드를 제외하면"에서 "당신의 코드를 제외하면"으로 바뀐다. 영상은 이를 거창한 자동화부터 도입하라는 말이 아니라, 각자의 저장소에서 검증 가능한 장치를 하나씩 만들라는 제안으로 풀어낸다.

에이전트가 같은 실수를 반복해 다시 고치게 된다면, 규칙 파일에 문장 한 줄을 추가하기 전에 먼저 이렇게 물어볼 수 있다.

"이 교정을 린트 규칙이나 테스트로 바꿀 수 있을까?"

그다음에는 새 문제가 생기는 것을 먼저 막고, 기존 문제를 정리한다. 에이전트가 직접 결과를 실행하고 확인할 수 있게 하며, 사람이 스크린샷이나 테스트 출력 같은 검증 증거를 볼 수 있도록 만드는 것도 출발점이다.

Grok Bot 팀이 수천 개의 PR을 처리하는 데는 약 6개월이 걸렸고, 발표 수치도 그 팀의 코드베이스에서 나온 것이다. 따라서 결과를 그대로 따라 하려 하기보다, 피라미드의 넓은 위쪽부터 하나씩 개선하는 것이 영상의 실천적인 결론이다.

발표에서 언급한 플러그인은 pstack 저장소에서 확인할 수 있다.

요약 완료: 2026. 11. 16. 오후 8:53:37

이런 요약이 필요하신가요?

하베스트가 원클릭으로 요약해드립니다

⚡
5초 요약
AI 자동 분석
📱
모든 기기
웹, iOS, Chrome
🔍
스마트 검색
언제든 재발견
요약 시작하기
나도 요약하기