인공지능이 전문 의료 교육 분야로 빠르게 스며들고 있지만, 최근 연구 결과는 학업적 성취도가 곧바로 임상적 신뢰성으로 직결되지는 않는다는 점을 경고한다. 연구진은 성형외과 전공의 수련 시험(PSITE)을 활용해 14개 거대언어모델(LLM)을 다각도로 평가했다. 흔히 언급되는 단순 정확도 수치는 초기 지표에 불과하며, 이번 연구는 모델이 여러 차례 독립적인 답변을 수행할 때 얼마나 일관성을 유지하는지를 깊이 있게 분석했다.

분석 결과, 기술 생태계 내에서 뚜렷한 격차가 확인되었다. Claude Opus 4.5나 GPT-5.2 Pro와 같은 고성능 독자 모델은 90% 이상의 정확도를 기록하며 압도적인 모습을 보였다. 다만, 연구진은 정확도가 평가의 전부가 아니라고 지적한다. 이들은 모델이 같은 질문에 대해 반복적으로 다른 답변을 내놓는 '확률적 불안정성'을 측정하기 위해 변동 계수와 같은 새로운 지표를 도입했다.

의료 교육의 미래를 준비하는 학생들에게 이번 연구는 중요한 시사점을 던진다. LLM은 방대한 의학 지식을 학습할 수 있는 능력을 갖췄지만, 답변의 신뢰성이 변동할 수 있다는 점에서 아직 완전한 교육자로 보기는 어렵다. 전문가들은 전문적인 훈련 환경에 AI를 도입할 때, 단순한 성능 지표를 넘어 시스템의 안정성과 일관성을 우선순위에 두어야 한다고 강조한다.

인공지능이 전문 의료 교육 분야로 빠르게 스며들고 있지만, 최근 연구 결과는 학업적 성취도가 곧바로 임상적 신뢰성으로 직결되지는 않는다는 점을 경고한다. 연구진은 성형외과 전공의 수련 시험(PSITE)을 활용해 14개 거대언어모델(LLM)을 다각도로 평가했다. 흔히 언급되는 단순 정확도 수치는 초기 지표에 불과하며, 이번 연구는 모델이 여러 차례 독립적인 답변을 수행할 때 얼마나 일관성을 유지하는지를 깊이 있게 분석했다.

분석 결과, 기술 생태계 내에서 뚜렷한 격차가 확인되었다. Claude Opus 4.5나 GPT-5.2 Pro와 같은 고성능 독자 모델은 90% 이상의 정확도를 기록하며 압도적인 모습을 보였다. 다만, 연구진은 정확도가 평가의 전부가 아니라고 지적한다. 이들은 모델이 같은 질문에 대해 반복적으로 다른 답변을 내놓는 '확률적 불안정성'을 측정하기 위해 변동 계수와 같은 새로운 지표를 도입했다.

의료 교육의 미래를 준비하는 학생들에게 이번 연구는 중요한 시사점을 던진다. LLM은 방대한 의학 지식을 학습할 수 있는 능력을 갖췄지만, 답변의 신뢰성이 변동할 수 있다는 점에서 아직 완전한 교육자로 보기는 어렵다. 전문가들은 전문적인 훈련 환경에 AI를 도입할 때, 단순한 성능 지표를 넘어 시스템의 안정성과 일관성을 우선순위에 두어야 한다고 강조한다.