Mayo Clinic의 AI 환각 방지 비밀 무기: 역방향 RAG의 실전 활용
AI 환각 문제와 Mayo Clinic의 도전
대규모 언어 모델(LLMs)이 점점 더 정교해지고 강력해지고 있지만, 여전히 "환각(hallucination)" 문제를 겪고 있어요. 쉽게 말해, 잘못된 정보를 제공하거나 심지어 거짓말을 하는 경우가 있다는 거죠. 특히 의료 분야에서는 이런 오류가 치명적인 결과를 초래할 수 있어요.
미국 최고 수준의 병원 중 하나인 Mayo Clinic은 이 문제를 해결하기 위해 독창적인 접근 방식을 도입했어요. 바로 역방향 RAG(Reverse Retrieval-Augmented Generation) 기법인데요. 이 방법은 모델이 정보를 추출한 후, 모든 데이터 포인트를 원래 출처와 연결하는 방식으로 작동해요. 이로 인해 진단 외의 사용 사례에서 데이터 검색 기반 환각을 거의 완전히 제거할 수 있었고, 이를 임상 실무 전반에 걸쳐 활용할 수 있게 되었어요.
"이 접근 방식으로 출처 정보를 참조하면 데이터 추출은 더 이상 문제가 되지 않습니다."
- Matthew Callstrom, Mayo Clinic 전략 의료 디렉터 겸 방사선학 의장
의료 데이터의 복잡성과 첫 번째 AI 활용 사례
의료 데이터는 방대하고 복잡하며, 이를 다루는 데 많은 시간이 소요돼요. Mayo Clinic은 처음으로 퇴원 요약(discharge summaries) 작성에 AI를 활용했어요. 퇴원 요약은 환자 방문 후의 요약 및 사후 관리 팁을 포함하는 문서인데, 이는 단순한 데이터 추출과 요약 작업이기 때문에 LLM이 잘 처리할 수 있는 영역이었죠.
"첫 번째 단계에서는 진단을 내리려는 것이 아닙니다. 예를 들어, '이 환자에게 지금 가장 적합한 다음 단계는 무엇인가요?' 같은 질문을 모델에 묻는 것이 아니에요."
- Matthew Callstrom
하지만 초기에는 환각 문제가 여전히 발생했어요. 예를 들어, 환자의 나이를 잘못 표시하는 등 명백히 받아들일 수 없는 오류가 있었죠. 이를 해결하기 위해 Mayo Clinic은 모델을 신중히 구축해야 했어요.
RAG의 한계와 역방향 RAG의 도입
기존의 RAG는 LLM이 특정 데이터 소스에서 정보를 검색하도록 돕는 중요한 기술이지만, 몇 가지 한계가 있어요. 예를 들어, 부적절하거나 부정확한 데이터를 검색하거나, 인간의 질문과 관련성을 판단하지 못하거나, 요청된 형식에 맞지 않는 출력을 생성할 수 있죠.
이 문제를 해결하기 위해 Mayo Clinic은 역방향 RAG를 도입했어요. 특히, CURE(Clustering Using Representatives) 알고리즘과 LLM, 벡터 데이터베이스를 결합해 데이터 검색을 이중으로 확인했어요.
- CURE 알고리즘: 데이터를 유사성이나 패턴에 따라 그룹화하는 클러스터링 기법이에요. 특히, "이상치(outliers)"를 감지해 다른 데이터와 일치하지 않는 항목을 식별할 수 있어요.
- Mayo Clinic은 LLM이 생성한 요약을 개별 사실로 나누고, 이를 원본 문서와 일치시키는 방식으로 작업했어요. 이후 두 번째 LLM이 이 사실들이 출처와 얼마나 잘 일치하는지 점수를 매겼죠.
"모든 데이터 포인트는 원래의 실험실 소스 데이터나 영상 보고서로 참조됩니다. 이 시스템은 참조가 실제이고 정확하게 검색되었는지 확인해 대부분의 검색 관련 환각 문제를 효과적으로 해결합니다."
- Matthew Callstrom
Mayo Clinic의 AI 활용 확장
이 기술은 새로운 환자 기록을 통합하는 데도 유용했어요. 외부 기록은 다양한 형식으로 방대한 데이터를 포함하고 있어 이를 검토하고 요약하는 데 시간이 많이 걸리는데요. AI는 이 작업을 자동화해 90분 걸리던 작업을 10분으로 단축했어요.
"외부 의료 기록은 마치 스프레드시트 같아요. 각 셀이 무엇을 포함하고 있는지 알 수 없어서 하나씩 확인해야 하죠."
- Matthew Callstrom
Mayo Clinic은 이 기술을 병원 전반에 걸쳐 확장해 의사의 행정 업무 부담을 줄이고 더 많은 시간을 환자 진료에 집중할 수 있도록 하고자 해요.
"우리의 목표는 콘텐츠 처리 과정을 단순화하는 것입니다. 어떻게 하면 의사의 능력을 보강하고 업무를 단순화할 수 있을까요?"
- Matthew Callstrom
더 복잡한 문제를 해결하기 위한 AI의 잠재력
Mayo Clinic은 AI를 더 복잡한 문제에 적용할 가능성도 보고 있어요. 예를 들어, Cerebras Systems와 협력해 유전자 모델을 구축하고, 환자에게 가장 적합한 관절염 치료법을 예측하는 프로젝트를 진행 중이에요. 또한, Microsoft와 협력해 영상 인코더와 영상 기반 모델을 개발하고 있어요.
- 첫 번째 프로젝트는 흉부 X-ray를 다루는 것으로, 현재 150만 개의 X-ray를 변환했으며, 다음 단계에서는 1,100만 개를 추가로 처리할 계획이에요.
- AI는 단순히 이미지를 분석하는 것을 넘어, 예를 들어 기관 삽관 위치를 추천하거나, 심장의 혈액 펌프 능력을 예측하는 데 도움을 줄 수 있어요.
"이제 치료 반응을 더 넓은 범위에서 예측하는 것을 생각해볼 수 있습니다."
- Matthew Callstrom
개인 맞춤형 의료와 AI의 미래
Mayo Clinic은 유전체학(genomics)과 단백질학(proteomics) 같은 분야에서도 AI의 가능성을 보고 있어요. AI는 환자의 DNA를 분석해 다른 환자와의 참조점을 만들고, 복잡한 질병에 대한 위험 프로파일이나 치료 경로를 제안할 수 있어요.
"결국 개인 맞춤형 의료가 제공할 것은 바로 이것입니다. '당신은 이 환자들과 비슷합니다. 따라서 이 방법으로 치료하면 예상되는 결과를 얻을 수 있습니다.'라는 것이죠."
- Matthew Callstrom
하지만 진단과 관련된 AI 활용은 여전히 많은 연구와 검증이 필요해요. 작은 데이터셋으로 시작해 점차 테스트 그룹을 확장하고, 기존 치료법과 비교하는 방식으로 진행해야 하죠.
"우리는 이러한 모델들이 환자 진료와 진단 방식을 실제로 변화시킬 수 있는 놀라운 잠재력을 가지고 있다는 것을 인식하고 있습니다."
- Matthew Callstrom
핵심 키워드
- AI 환각(Hallucination)
- 역방향 RAG(Reverse RAG)
- CURE 알고리즘
- 의료 데이터 자동화
- 개인 맞춤형 의료
- 유전체학(Genomics)
- 의료 영상 분석
Mayo Clinic의 사례는 AI가 의료 분야에서 어떻게 신뢰성과 효율성을 높이고, 환자 중심의 의료를 실현할 수 있는지 보여주는 훌륭한 예시라고 할 수 있어요. 앞으로도 AI가 의료 혁신에 어떤 변화를 가져올지 기대되네요