DPE 프레임워크, 멀티모달 AI의 사각지대 없앤다
- •DPE는 모델의 취약점을 진단해 맞춤형 데이터 생성 및 타겟 학습을 수행함
- •AI 에이전트가 이미지 검색과 편집으로 정교하고 다양한 학습 샘플을 제작
- •단 1,000개의 핵심 예시만으로 Qwen 모델의 성능을 비약적으로 향상
연구진이 '진단 기반 점진적 진화(DPE)'라는 새로운 학습 패러다임을 도입하며, 무조건 많은 데이터가 좋다는 기존의 통념을 뒤집었다. 텍스트와 이미지를 동시에 처리하는 거대 멀티모달 모델은 그동안 방대한 양의 정적 데이터셋을 통해 학습되어 왔으나, 이는 특정 분야의 능력 격차를 메우는 데 한계가 있었다. 특히 복잡한 수학 연산이나 세밀한 광학 문자 인식(OCR) 작업 등에서 발생하는 '롱테일 병목' 현상은 드물게 나타나지만 모델의 신뢰도를 떨어뜨리는 고질적인 문제로 꼽혀왔다.
DPE 프레임워크는 일종의 정교한 '진단 후 교정' 루프로 작동한다. 먼저 진단 에이전트가 모델의 오답 사례를 분석해 정확히 어떤 부분의 이해도가 낮은지 파악한다. 이후 멀티 에이전트 시스템이 웹 검색이나 이미지 편집 도구를 동원해 부족한 부분을 보완할 수 있는 맞춤형 데이터를 직접 생성하거나 찾아낸다. 이러한 타겟 강화 방식은 일반적인 정보를 단순히 반복하는 것보다 훨씬 효율적이며, 모델의 사각지대를 실제적인 성능 지표 향상으로 연결한다.
Qwen3-VL과 Qwen2.5-VL 등 최신 모델을 통한 테스트 결과, 이 과정은 놀라운 효율성과 안정성을 보여주었다. 실제로 연구진이 엄선한 단 1,000개의 학습 예시를 추가하는 것만으로도 11개의 벤치마크 지표에서 일관된 성능 향상을 기록했다. 무엇보다 이 방식은 새로운 지식을 배울 때 기존의 능력을 잃어버리는 '역량 퇴행' 문제를 방지한다는 점에서, 향후 AI 개발의 확장성을 보장할 핵심 전략으로 주목받고 있다.