학생을 가르칠 때 어제 틀렸던 문제를 기억하지 못하는 선생님이 있다고 상상해보자. 이것이 오늘날 많은 대규모 언어 모델(LLM)이 강화학습으로 학습되는 과정에서 직면한 근본적인 한계이다. 학습을 거듭해도 모델은 '메모리'가 없는 보상 모델 때문에 같은 틀린 답을 반복하는 '러닝(rut) 현상'에 빠지기 쉽다. 보상 모델이 각 출력을 개별적으로 평가할 뿐, 모델이 잘못된 논리 구조에 갇혀 있다는 사실을 인식하지 못하기 때문이다.

이러한 현상은 모델이 복잡한 추론을 완전히 습득하는 것을 방해한다. 시스템이 오류를 지속적인 패턴이 아닌 매번 새로운 사건으로 간주하기 때문에, 모델은 자신의 과거 실패 이력을 '볼' 수 없다. 결과적으로 동일한 실수를 반복하며 컴퓨팅 자원을 낭비하고, 생소한 문제를 만났을 때 모델의 전반적인 신뢰도가 저하되는 문제가 발생한다.

이를 해결하기 위해 MEDS(Memory-Enhanced Dynamic Reward Shaping)가 등장했다. MEDS는 모델의 내부 계층별 로짓(logits)을 활용해 여러 학습 라운드에 걸쳐 오류를 추적하는 기억 중심의 학습 방식이다. 이러한 내부 신호는 '추론 지문' 역할을 하며, 시스템이 모델이 언제 비생산적인 과거 습관으로 회귀하는지 정확히 파악하도록 돕는다.

이 메커니즘은 밀도 기반 군집화(density-based clustering)를 사용하여 반복되는 오류를 식별 가능한 그룹으로 묶는다. 모델이 알려진 실패 사례와 유사한 답변을 내놓으면 시스템은 자동으로 보상을 조정하여 해당 오류 유형에 더 큰 페널티를 부여한다. 이를 통해 모델은 실패의 굴레에서 벗어나 더 성공적인 추론 경로를 탐색하게 된다.

실제로 5개의 데이터셋과 3개의 기반 모델을 대상으로 한 테스트 결과, MEDS는 오류 빈도를 줄일 뿐만 아니라 '샘플링 다양성'까지 향상시켰다. 모델이 더 예측 불가능하면서도 창의적이고 정확한 해결책을 찾아내는 능력을 갖추게 된 것이다. pass@k 벤치마크에서 4점 이상의 정확도 향상을 보인 이번 연구는 단순한 패턴 매칭을 넘어 장기적인 기억 기반 학습으로 나아가는 중요한 전환점이 될 것으로 보인다.

학생을 가르칠 때 어제 틀렸던 문제를 기억하지 못하는 선생님이 있다고 상상해보자. 이것이 오늘날 많은 대규모 언어 모델(LLM)이 강화학습으로 학습되는 과정에서 직면한 근본적인 한계이다. 학습을 거듭해도 모델은 '메모리'가 없는 보상 모델 때문에 같은 틀린 답을 반복하는 '러닝(rut) 현상'에 빠지기 쉽다. 보상 모델이 각 출력을 개별적으로 평가할 뿐, 모델이 잘못된 논리 구조에 갇혀 있다는 사실을 인식하지 못하기 때문이다.

이러한 현상은 모델이 복잡한 추론을 완전히 습득하는 것을 방해한다. 시스템이 오류를 지속적인 패턴이 아닌 매번 새로운 사건으로 간주하기 때문에, 모델은 자신의 과거 실패 이력을 '볼' 수 없다. 결과적으로 동일한 실수를 반복하며 컴퓨팅 자원을 낭비하고, 생소한 문제를 만났을 때 모델의 전반적인 신뢰도가 저하되는 문제가 발생한다.

이를 해결하기 위해 MEDS(Memory-Enhanced Dynamic Reward Shaping)가 등장했다. MEDS는 모델의 내부 계층별 로짓(logits)을 활용해 여러 학습 라운드에 걸쳐 오류를 추적하는 기억 중심의 학습 방식이다. 이러한 내부 신호는 '추론 지문' 역할을 하며, 시스템이 모델이 언제 비생산적인 과거 습관으로 회귀하는지 정확히 파악하도록 돕는다.

이 메커니즘은 밀도 기반 군집화(density-based clustering)를 사용하여 반복되는 오류를 식별 가능한 그룹으로 묶는다. 모델이 알려진 실패 사례와 유사한 답변을 내놓으면 시스템은 자동으로 보상을 조정하여 해당 오류 유형에 더 큰 페널티를 부여한다. 이를 통해 모델은 실패의 굴레에서 벗어나 더 성공적인 추론 경로를 탐색하게 된다.

실제로 5개의 데이터셋과 3개의 기반 모델을 대상으로 한 테스트 결과, MEDS는 오류 빈도를 줄일 뿐만 아니라 '샘플링 다양성'까지 향상시켰다. 모델이 더 예측 불가능하면서도 창의적이고 정확한 해결책을 찾아내는 능력을 갖추게 된 것이다. pass@k 벤치마크에서 4점 이상의 정확도 향상을 보인 이번 연구는 단순한 패턴 매칭을 넘어 장기적인 기억 기반 학습으로 나아가는 중요한 전환점이 될 것으로 보인다.