핵심 요약: 미국 마운트 시나이 아이칸 의대 연구팀이 9일(현지 시간) 국제 학술지 랜싯에 낸 연구에서, 인공지능(AI) 언어모델들이 정보의 출처를 권위 있다고 인식하면 잘못된 의료 정보를 사실로 수용할 확률이 높다는 결과를 보고했다. 연구진은 20종의 오픈소스·상용 대형언어모델(LLM)을 대상으로 실사용 유사 문서와 일상 대화형 문서에서 잘못된 정보를 걸러내는 능력을 비교했다. 전체 평균에서 잘못된 정보를 사실로 받아들일 확률은 약 32%였고, 특히 의사 기록처럼 보이는 문서에서는 그 비율이 47%까지 상승했다. 일부 모델은 최대 63%까지 잘못된 정보를 사실로 수용하는 것으로 나타났다.
핵심 사실
- 연구 주체: 미국 마운트 시나이 아이칸 의대 연구팀이 국제 학술지 랜싯에 연구 결과를 보고했다.
- 모델 대상: 오픈소스 및 상용을 포함한 20개 LLM을 평가했다.
- 전체 결과: 모든 자료에서 잘못된 정보를 사실로 받아들일 평균 확률은 약 32%였다.
- 의사 기록 유사 자료: 의사가 쓴 기록처럼 보이는 자료에서는 잘못된 정보를 받아들일 확률이 47%로 상승했다.
- 최대 수치: 일부 모델은 잘못된 정보를 사실로 받아들일 확률이 최대 63%에 달했다.
- 모델별 성과: 오픈AI의 챗GPT 계열이 비교군 중 잘못된 정보를 걸러낼 확률이 가장 높게 관측됐다.
- 실무적 함의: 연구진과 외신은 의료용 AI의 임상 도입 이전에 사실 검증 장치가 필수라고 권고했다.
사건 배경
의료 분야에서 AI 활용은 진단 보조, 환자 상담, 증상 분류 등으로 빠르게 확대되고 있다. 모바일 앱과 원격 진료 플랫폼들은 AI를 활용해 환자 증상을 해석하거나 치료 옵션을 제시한다고 광고하는 경우가 많다. 그러나 대형언어모델(LLM)은 사실과 허구를 혼동하는 ‘환각(hallucination)’ 문제로 이미 여러 차례 경고를 받아왔다. 규제 당국과 의료기관은 AI의 진료 보조 도입에 앞서 안전성, 책임 소재, 검증 절차를 둘러싼 가이드라인을 마련하려는 움직임을 보이고 있다.
이번 연구는 그러한 논의의 연장선에서 생성형 AI의 출처 인식이 오류 수용에 어떤 영향을 미치는지를 실험적 근거로 제시한다. 과거 연구들은 주로 모델의 일관성, 정확도, 단일 쿼리 성능을 측정해 왔지만, 이번 연구는 문서 유형과 출처 신뢰성이 잘못된 정보의 수용률에 미치는 영향을 집중적으로 분석했다. 의료 현장처럼 사용자가 출처를 권위로 간주할 가능성이 높은 환경은 특히 위험하다는 점이 강조됐다.
주요 사건
연구팀은 두 가지 유형의 문서 셋을 구성했다. 하나는 실제 의사가 작성한 기록처럼 보이도록 편집한 임상형 텍스트, 다른 하나는 소셜미디어나 일상 대화체를 흉내 낸 문서다. 각 모델에 동일한 잘못된 의료 정보 항목을 제시한 뒤, 모델이 해당 정보를 사실로 수용하는지 여부를 평가했다. 평가는 모델 응답의 사실검증 실패를 기준으로 계량화했다.
결과는 문서 유형에 따라 차이가 컸다. 전체 평균에서는 잘못된 정보를 사실로 받아들일 확률이 약 32%였으나, 의사 기록처럼 보이는 문서에서는 47%로 증가했다. 연구진은 이를 ‘출처 권위성 효과’로 규정하며, 포맷과 문체가 모델의 신뢰 판단에 영향을 준다고 분석했다. 일부 상용 모델은 63%까지 높은 오류 수용률을 보였고, 반대로 오픈AI의 챗GPT 계열은 상대적으로 더 낮은 오류 수용률을 보여 상호 모델 성능차가 존재함을 확인했다.
로이터 보도는 이번 분석을 인용해 현재 많은 모바일 앱이 AI를 통해 증상 판단을 돕는다고 주장하지만, 섣부른 진단은 위험하다고 지적했다. 연구팀은 AI를 통해 의료진과 환자가 초기에 정보를 얻을 수 있는 장점은 인정하면서도, 임상 적용 전 반드시 사실관계 검증과 안전장치가 필요하다고 권고했다.
분석 및 의미
첫째, 출처의 권위성이 AI의 판단에 미치는 영향은 의료 안전 측면에서 심각한 함의를 갖는다. 환자나 비전문가가 ‘의사 기록처럼 보이는’ 답변을 접하면 그 진위를 따져보기 어렵고, AI가 잘못된 의료 조언을 제시하면 직접적인 건강 피해로 이어질 수 있다. 둘째, 모델 간 성능 차이는 개발·배포 책임의 문제를 불러온다. 동일한 입력에 대해 모델별로 오류 수용률이 다르다면 서비스 제공자는 모델 선택과 검증 결과를 공개하고 보완조치를 마련할 필요가 있다.
셋째, 규제와 표준화의 필요성이 더욱 부각된다. 임상 보조용 AI는 민감한 도메인이므로 정확도 기준, 사용자 알림 방식, 실패 시 대체 절차 등의 규범적 장치가 요구된다. 넷째, 글로벌 시장에서의 파급도 고려해야 한다. 의료 시스템과 규제가 다른 국가로 기술이 확산될 경우, 동일한 오류가 더 큰 피해로 이어질 가능성이 있다.
마지막으로 기술 개선 관점에서는 사실 검증(fact checking) 모듈, 출처 명시 강화, 사용자에게 권위 수준을 알리는 인터페이스 설계 등 실무적 보완책이 시급하다. 연구 결과는 단순한 기술 오류 보고를 넘어서, 의료 AI의 신뢰성 관리 전반을 재검토해야 한다는 신호로 읽힌다.
비교 및 데이터
| 평가 항목 | 측정 결과 |
|---|---|
| 전체 자료에서의 평균 오류 수용률 | 약 32% |
| 의사 기록 유사 자료에서의 오류 수용률 | 약 47% |
| 최고 오류 수용률을 보인 일부 모델 | 최대 63% |
위 표는 연구에서 제시한 핵심 수치를 요약한 것이다. 수치는 대상 모델의 구성, 평가 방법, 표본 문서에 따라 변동 가능성이 있다. 특히 모델별 상세 분포와 통계적 유의성은 논문 본문에서 추가로 확인할 필요가 있다.
반응 및 인용
연구 결과에 대한 외부 반응은 즉각적이었다. 로이터 보도는 이번 연구를 인용해 모바일 앱들이 AI를 활용한다고 주장하지만 성급한 진단 제공은 위험하다고 경고했다. 보도 맥락은 AI 기반 증상 판단의 상용화와 안전성 사이의 긴장을 환기한다.
AI는 의료진과 환자에게 신속한 정보를 제공할 수 있으나, 의료 정보의 사실관계를 검증하는 안전장치가 선행되어야 한다.
연구팀 관계자, 마운트 시나이 아이칸 의대
위 인용은 연구진의 권고를 간결히 전달한 것이다. 연구진은 기술의 이점은 인정하면서도 임상 적용 전 보완책 마련을 반복해서 촉구했다.
많은 앱이 AI를 사용한다고 주장하지만 환자에게 섣부른 진단을 제공해서는 안 된다.
로이터 보도(언론)
이 발언은 언론 차원의 경고로, 기술 홍보와 실제 안전성 간 괴리가 존재함을 지적한다. 사용자와 공급자 모두에 대한 주의를 환기하는 맥락이다.
불확실한 부분
- 어떤 특정 모델이 63%의 최대 오류 수용률을 기록했는지는 공개된 보도에서 상세 모델명이 명시되지 않아 확인이 필요하다.
- 연구에 사용된 문서 표본의 구체적 구성(질환 종류·문장 길이 등)은 논문 전문을 통해 검토해야 한다.
- 오픈AI 챗GPT의 정확한 수치(숫자%)는 보도에서 상대적 우수성을 언급했으나, 원문 수치 확인이 필요하다.
총평
이번 연구는 AI의 ‘출처 권위성 효과’가 의료정보 오류 수용을 악화시킬 수 있음을 실증적으로 보여준다. 기술 자체의 발전은 의료 서비스의 접근성과 효율성을 높일 잠재력이 있지만, 검증장치 없이 현장에 도입되면 환자 안전을 위협할 여지가 크다. 서비스 제공자는 모델 선택, 사실검증 파이프라인, 사용자 고지 방식을 명확히 해야 하며 규제기관은 이에 맞는 기준을 마련할 필요가 있다.
독자는 AI 기반 의료정보를 접할 때 출처와 검증 여부를 확인하는 습관을 가져야 한다. 또한 정책 입안자와 플랫폼 사업자는 이번 연구를 계기로 실무적 가이드라인을 신속히 정립하고, 모델 성능에 대한 투명한 공개와 외부 검증을 강화해야 한다.
출처
- 동아일보 기사 — 언론 보도
- The Lancet — 학술지(연구 게재처)
- Icahn School of Medicine at Mount Sinai — 연구기관(공식)
- Reuters — 언론 보도(원문 인용 매체)