핵심 요약: 영국 옥스퍼드대 연구팀이 성인 1,300명을 대상으로 AI 챗봇의 건강 상담 능력을 실험한 결과, 질환 식별률은 34.5%에 그쳤고 응급·적절 대처를 권유한 비율은 44.2%였다. 참가자들은 GPT-4o, 라마3, 커맨드R+ 등을 사용해 10가지 가상 증상 시나리오로 자가 진단을 시도했으며, 결과는 기존 검색 엔진을 쓴 대조군과 유의미한 차이가 없었다. 연구진은 환자 표현의 다양성과 소통 오류를 주된 원인으로 꼽았고, 연구자는 AI를 ‘대체 의사’로 보기엔 시기상조라고 경고했다.
- 연구 대상: 영국 옥스퍼드대 연구팀이 성인 1,300명 대상으로 실험을 실시했다.
- 시나리오 수: 숙취성 두통, 담석증 등 10가지 가상 임상 시나리오를 사용했다.
- 모델 비교: 오픈AI(GPT-4o), 메타(라마3), 코히어(커맨드R+)를 포함해 참가자가 선택해 테스트했다.
- 질환 식별률: AI 챗봇의 정확한 질환 인식 비율은 34.5%로 기록됐다.
- 적절 대처 권고 비율: 병원 방문·응급차 호출 등 올바른 대응을 제시한 비율은 44.2%였다.
- 대조군 대비: 기존 검색 엔진을 사용한 그룹과 비교해 통계적으로 차이가 크지 않았다.
- 안전성 사례: 지주막하출혈 시나리오에서 표현 차이에 따라 상반된 권고가 나왔다.
- 의료기기 관련 보고: 트루디(TruDi) 장비는 AI 기능 추가 후 2021년부터 신고가 100건 이상 접수된 것으로 보고됐다.
사건 배경
AI 언어모델과 챗봇은 최근 몇 년간 진단 보조, 상담 챗봇, 헬스케어 앱 등에 빠르게 도입됐다. 주요 AI 업체들은 건강관리 도구를 앞다퉈 출시하며 소비자 접근성을 높였고, 소비자용 앱은 진단·상담을 표방하는 경우가 늘어났다. 그러나 임상 현장은 언어 표현의 다양성과 증상 표현의 모호성을 포함한 복잡한 의사소통 환경을 가진다. 기존 검증 절차가 충분치 않은 상태에서 상용화된 도구들이 임상 의사결정에 직접 관여할 때 안전성 문제가 제기되기 시작했다.
과거 의료기기에서 AI·소프트웨어 업데이트 후 이상 신고가 증가한 사례는 규제·감독의 필요성을 부각시켰다. 대표적으로 부비동 수술용 네비게이션 장비인 트루디는 AI 기능 추가 후 신고 건수가 급증해 안전 이슈를 촉발했다. 미국 식품의약국(FDA) 제출 문서에는 오작동으로 수술 도구 위치 안내가 잘못돼 심각한 합병증이 발생했다는 보고가 포함돼 있다. 이처럼 의료 행위와 직결되는 도구에서의 오류는 사후 피해가 크기 때문에 사전 검증과 책임 규명 요구가 커지고 있다.
주요 사건
옥스퍼드대 연구진은 참가자들에게 10개 가상 시나리오를 제시한 뒤, 참가자가 선택한 AI 챗봇 또는 기존 검색 엔진을 통해 증상을 묘사하게 하고 결과를 비교했다. 실험 결과 AI 챗봇이 질환을 정확히 식별한 비율은 34.5%였고, 응급성이 높은 상황에서 병원 방문이나 즉각적 대응을 권한 비율은 44.2%에 불과했다. 이 수치는 단순 정보 탐색에 사용되는 검색 엔진과의 성능 차이가 뚜렷하지 않음을 시사한다.
특히 지주막하출혈을 암시하는 시나리오에서 표현의 뉘앙스 차이가 큰 영향을 미쳤다. 참가자 중 한 명이 “지금까지 경험한 최악의 두통”이라고 표현했을 때는 병원 방문을 권고했지만, 다른 참가자가 “끔찍한 두통”이라고만 쓰자 챗봇이 휴식 권고나 어두운 방에 누워 있으라는 지시를 내렸다. 연구진은 이러한 사례를 들어 AI가 미묘한 표현 차이를 충분히 반영하지 못한다고 분석했다.
의료기기 사례도 병행되어 제기됐다. 존슨앤드존슨 산하 애클래런트의 트루디는 2021년 AI 기능을 추가한 이후 신고 건수가 100건을 넘었고, 이는 AI 추가 이전 3년간 접수된 7건과 대조된다. 인테그라 라이프사이언스(2024년 애클래런트 인수)는 사용 현장과 사고의 인과관계는 확인되지 않았다고 반박했지만, 보고서에는 수술 도구 안내 오류로 두개골 기저부 손상·뇌척수액 누출·뇌졸중 등 심각한 합병증 사례가 포함돼 있다.
분석 및 의미
첫째, 이번 연구는 자연어 이해 능력이 향상된 최신 모델이라도 임상적 문맥에서 높은 신뢰도를 확보하지 못했음을 보여준다. 모델은 방대한 의학 지식을 내장하고 있지만, 환자의 표현 방식과 증상의 미묘한 차이를 해석해 적절한 임상적 판단으로 연결하는 데 한계가 드러났다. 이 점은 특히 응급 상황에서 잘못된 권고가 실제 피해로 이어질 위험이 크다는 것을 의미한다.
둘째, 소비자용 헬스케어 앱과 상용 챗봇의 광고·표방 방식도 문제를 키운다. 일부 앱은 AI를 ‘의사’로 표방하거나 진단 정확도를 과장해 사용자가 과도하게 신뢰하도록 유도할 수 있다. 연구 결과가 검색 엔진 수준의 성능을 보여준다는 점은, 소비자가 전문 의료진 대신 챗봇에 의존할 때 발생할 수 있는 위험을 경고한다.
셋째, 규제·검증 체계의 공백이 노출됐다. 의료기기와 임상결정 지원 도구는 위험도에 따라 엄격한 성능·안전성 검증이 필요하지만, 빠른 기술 발전 속도에 맞춘 규제 대응은 지연되는 경우가 많다. 따라서 AI 기반 의료 도구의 임상 적용 전 사전 시험, 투명한 성능 공개, 책임 소재 규정 정비가 필요하다.
비교 및 데이터
| 항목 | AI 챗봇 | 검색 엔진(대조군) |
|---|---|---|
| 참가자 수 | 1,300명(전체) | |
| 시나리오 수 | 10가지 가상 증상 | |
| 질환 식별률 | 34.5% | 유의미한 차이 없음 |
| 적절 대처 권고 비율 | 44.2% | 유의미한 차이 없음 |
| 의료기기 신고 건수(트루디) | AI 추가 후 100건 이상 | AI 이전 3년간 7건 |
위 표는 연구 결과와 관련 의료기기 신고 현황을 요약한 것이다. 표의 수치는 논문과 규제 당국 제출 문서에 근거하며, AI 도구의 성능이 실사용 환경에서 어떻게 나타나는지를 비교하는 데 초점을 뒀다. 특히 질환 식별률과 적절 대처 권고 비율이 모두 낮게 나타난 점은 소비자 안전 관점에서 중요한 시사점을 준다.
반응 및 인용
논문의 공동 저자 중 한 명은 연구 의미를 설명하며 경고를 제기했다. 발언 전후 맥락을 보면 연구진은 AI의 기술적 능력과 실제 임상 적용 가능성 사이의 간극을 지적했다. 이 발언은 ‘AI가 임상의 대체자로 즉시 작동하지 않는다’는 핵심 메시지를 강조하기 위한 것이다.
“AI는 의사의 역할을 맡을 준비가 돼 있지 않다. 환자들은 자신의 증상을 AI 챗봇에 문의하는 것이 때로 위험할 수 있다는 점을 인지해야 한다.”
레베카 페인 박사(공동 저자, 옥스퍼드대)
회사 측의 반응도 실무적 시각을 제시했다. 인테그라 라이프사이언스는 보고서와 사고 현장의 연관성을 부정하면서 추가 조사가 필요함을 강조했다. 회사 입장은 책임 규명과 인과관계 확인의 절차적 필요성을 전면에 내세웠다.
“사고가 발생한 수술 현장에서 트루디가 사용됐다는 것일 뿐, 인과관계를 입증할 증거는 없다.”
인테그라 라이프사이언스(회사 성명)
일반 대중과 의료계의 반응은 엇갈린다. 일부 전문가들은 이번 연구 결과를 근거로 AI 도구의 임상 전제 조건을 강화해야 한다고 주장했고, 소비자 단체는 정보 표시와 광고 규제 강화를 요구했다. 반면 기술 개발 진영은 데이터와 학습 절차 개선을 통해 성능 향상이 가능하다고 응답했다.
불확실한 부분 (Unconfirmed)
- 트루디 장비 사고와 AI 기능의 직접적인 인과관계는 규제 문서에는 보고되었으나, 검증된 인과관계는 아직 명확하지 않다.
- 이번 실험 결과가 소아·노인·기저질환자 등 다른 인구집단에 동일하게 적용되는지는 추가 연구가 필요하다.
- 상업용 소비자 앱의 개별 오진 사례가 전체 서비스의 평균적 리스크를 대표하는지에 대한 종합적 데이터는 부족하다.
총평
이번 옥스퍼드대 연구는 AI 챗봇이 현재 수준에서는 진단 보조나 상담에 있어 아직 제한적이라는 점을 분명히 보여줬다. 질환 식별률 34.5%와 적절한 대처 권고 비율 44.2%는 기술의 실사용 안전성을 재검토하게 만드는 수치다. 특히 표현의 미묘한 차이에 따라 권고가 크게 달라지는 사례는 자연어 이해의 한계가 환자 안전에 직결될 수 있음을 시사한다.
정책적으로는 의료기기 및 임상지원 소프트웨어에 대한 사전 검증 강화, 광고·표시 규제 개선, 그리고 사고 발생 시 책임 소재를 명확히 하는 법적 장치 마련이 필요하다. 기술적 대응으로는 증상 표현의 다양성을 포괄하는 데이터 보강, 모델의 불확실성 표기 기능 강화, 임상 전문가와의 협업을 통한 검증 절차 확립이 요구된다. 독자는 AI 기반 건강 도구를 사용할 때 결과를 무비판적으로 신뢰하지 말고, 의심스러운 증상은 즉시 전문 의료기관에 문의해야 한다.