LLM이 신경망 가중치를 직접 해석하고 수정하는 가중치 공간 프로그래밍 연구 공개

연구진이 대규모 언어 모델을 활용해 신경망 가중치를 직접 읽고 수정할 수 있음을 규명한 연구 논문을 공개했다. 이 연구는 인공지능 모델이 부동 소수점 숫자로 이루어진 원시 가중치 텍스트를 분석하고 조작하는 작업을 가중치 공간 프로그래밍(Weight-Space Programming)으로 정의했다. 아울러 최첨단 모델뿐만 아니라 270억 매개변수 규모의 오픈소스 모델인 Qwen 3.8 27B 역시 이러한 가중치 해석 작업을 수행할 수 있는 것으로 나타났다.

연구에 따르면 최첨단 모델인 GPT-6 Astra는 원시 가중치만을 확인하고도 해당 신경망이 어떤 목표로 학습되었는지 파악했다. 또한 별도의 환경 피드백 없이 PPO 알고리즘으로 1억 단계 학습한 네트워크를 능가하는 소형 게임용 네트워크를 새로 작성했다. 나아가 기울기 계산 없이 가중치 내부의 추론 루프 유발 요소를 찾아내 Qwen3.5-0.8B 모델의 수학 문제 해결 성능을 개선했다.