FDA의 인공지능 도구 엘사(Elsa)가 의료계에 큰 논란을 불러일으키고 있다. 2025년 6월에 공식 출시된 이 생성형 AI 도구는 약물 승인 과정을 가속화하고 의료기기 검토 효율성을 높이겠다는 취지로 개발되었지만, 내부 직원들의 제보를 통해 심각한 문제점들이 드러나고 있다.
CNN과의 인터뷰에서 익명을 요구한 6명의 현직 및 전직 FDA 직원들은 엘사가 실제로는 존재하지 않는 연구논문을 “환각(hallucination)”으로 만들어내거나 실제 연구 데이터를 잘못 해석하는 문제를 가지고 있다고 폭로했다.
관련 직원은 “이중 확인할 시간이 없는 모든 정보는 신뢰할 수 없다”고 말했다. 의료진이 환자의 생명과 직결된 의사결정을 내리는 과정에서 AI가 거짓 정보를 제공한다는 것은 매우 심각한 문제다.
실제로 엘사는 FDA의 의약품 승인 관련 기본적인 질문조차 잘못 답변하는 경우가 빈번하다. 아동용 의약품 승인 건수나 특정 라벨링을 가진 제품 수를 잘못 계산하는 등의 오류가 반복적으로 발생하고 있다고 직원들은 증언했다.
더욱 심각한 문제는 이러한 AI 도구에 대한 적절한 감독 체계가 부재하다는 점이다. 미국은 유럽연합(EU)의 AI법(AI Act)과 같은 포괄적인 AI 규제 법안이 없어 의료 분야에서의 AI 사용에 대한 안전장치가 부족한 상황이다.
바이든 행정부 시절 설립된 AI 규제 작업그룹은 해체되었고, 의회는 아직 AI를 통제하는 의미 있는 법안을 통과시키지 못했다. 이러한 규제 공백 속에서 트럼프 행정부는 AI 개발에 대한 “관료주의와 번거로운 규제”를 제거하겠다는 AI 액션 플랜을 발표했다.
현장에서 일하는 의료진들은 엘사가 실제로는 시간 절약이 아닌 추가 업무 부담을 가져다준다고 토로하고 있다. AI가 제공한 잘못된 정보나 왜곡된 연구 결과를 확인하는 데 더 많은 시간을 소모해야 하기 때문이다.
또한 엘사는 제약회사가 제출한 서류를 포함해 많은 중요 문서에 접근할 수 없어 실질적인 과학적 자료 검토에는 도움이 되지 않는다고 직원들은 지적했다. 현재로서는 회의록 작성, 이메일 템플릿 생성, 회의 요약 등 기본적인 사무업무에만 활용되고 있는 실정이다.
FDA의 최고 AI 책임자인 제레미 월시(Jeremy Walsh)는 엘사가 환각 현상을 일으킬 수 있다는 점을 인정했다. 그는 이러한 오류가 예상 범위 내라며 사용자 교육과 새로운 기능 추가를 통해 엘사의 능력을 개선하겠다고 밝혔다.
물론 인공지능이 의료 분야에 가져올 수 있는 긍정적 변화는 분명하다. 질병 진단 지원, 환자 모니터링, 치료법 추천 등에서 의사들의 임상 의사결정을 도울 수 있는 잠재력을 가지고 있다. 하지만 엘사 사례가 보여주듯 충분한 검증과 안전장치 없이 성급하게 도입된 AI 도구는 오히려 환자 안전을 위협할 수 있다.
특히 AI 모델이 특정 인구 집단의 데이터로만 훈련될 경우 다른 집단에서 사용할 때 편향된 결과를 낳을 위험이 있다. 이는 의료 격차를 해소하기는커녕 오히려 확대시킬 우려를 낳는다.
현재 FDA는 2025년 6월 30일까지 AI 완전 통합을 목표로 하고 있다고 발표했지만 엘사 사례는 속도보다 안전성을 우선시해야 한다는 교훈을 남기고 있다. 의료 AI의 성공적 정착을 위해서는 기술 개발자, 의료계, 규제 당국, 그리고 의회가 함께 노력하여 환자 중심적이고 위험을 인식하는 지속적으로 적응 가능한 규제 접근법을 만들어가야 할 것이다.