마이크로소프트, 소분자 역합성 예측 앙상블 모델 '레트로키메라' 공개

새로운 역합성 인공지능 모델 공개

마이크로소프트 연구진이 소분자 화합물의 합성 경로를 자동으로 설계하는 역합성(Retrosynthesis) 인공지능 프레임워크인 레트로키메라(RetroChimera)를 국제 학술지 네이처에 발표하고 오픈소스로 공개했다. 역합성은 최종 목표 분자에서 출발해 구매 가능한 기본 화학 원료 물질에 도달할 때까지 분해 단계를 거꾸로 추론하는 화학 분석 기법이다. 연구진은 개발자가 활용할 수 있도록 모델의 구현체와 사전 학습 가중치를 오픈소스 저장소에 배포했으며 관련 클라우드 플랫폼을 통해서도 이용할 수 있도록 지원한다.

레트로키메라는 상호 보완적인 강점을 지닌 두 가지 딥러닝 모델의 제안을 취합하고 순위를 재조정하는 순위 학습(Learning-to-Rank) 방식을 도입했다. 화학 박사급 전문가들을 대상으로 진행한 블라인드 평가에서 레트로키메라가 제안한 개별 반응 경로는 이전 인공지능 모델은 물론 학술 문헌에 기록된 실제 반응보다 더 높은 선호도를 기록했다.

역합성 경로 탐색의 한계와 배경

의약품, 스마트 소재, 지속 가능한 농업 분야에서 신규 기능성 분자의 수요는 꾸준히 증가하고 있으나, 실험실에서 기본 물질을 조합해 실제 분자를 합성하는 과정은 여전히 많은 시간과 비용이 소모되는 병목 단계로 남아 있다. 계산 과학의 발전으로 탐색 가능한 가상 후보 물질의 수는 폭발적으로 늘어났지만 이를 실제로 합성할 현실적인 경로를 찾는 작업은 여전히 까다롭다.

역합성 과정은 체스나 바둑과 같은 전략 보드게임에 비유될 수 있지만, 각 단계에서 취할 수 있는 화학적 절단(Disconnection) 경우의 수가 보드게임의 수보다 훨씬 방대하다는 어려움이 있다. 기존 역합성 예측 시스템들은 빈도가 낮지만 전략적으로 중요한 희귀 반응을 제대로 찾아내지 못하거나, 학습 데이터 분포를 벗어난 분자에 대한 강건성이 부족하고 화학 전문가의 실제 판단 기준과 어긋나는 문제가 지속되어 왔다.

두 하위 모델의 상호보완적 결합

레트로키메라는 두 종류의 서브 모델을 기반으로 작동한다. 첫 번째 모델인 알-스마일스 2(R-SMILES 2)는 트랜스포머 아키텍처를 기반으로 목표 분자로부터 전구체 분자를 직접 생성하는 디노보(De-novo) 생성 모델이다. 이 모델은 데이터로부터 유연하게 반응 패턴을 학습할 수 있으나 제한 없는 생성 방식으로 인해 가짜 화학 반응을 만들어내는 할루시네이션(환각) 위험을 안고 있다.

두 번째 모델인 뉴럴락(NeuralLoc)은 목표 분자와 반응 템플릿을 그래프 형태로 인코딩하는 그래프 신경망(GNN) 기반 모델이다. 학습 데이터에서 추출된 반응 템플릿 라이브러리를 기반으로 반응이 적용될 위치를 예측하므로 정확하고 신뢰성 있는 결과를 내놓지만, 사전에 정의되지 않은 반응을 다루는 데는 한계가 있다. 알-스마일스 2는 반응 전후의 구조 변화가 큰 경우에 강점을 보이며, 뉴럴락은 선례가 적은 반응이나 국소적인 분자 변화를 예측할 때 뛰어난 성능을 발휘한다.

순위 학습 앙상블과 성능 검증

레트로키메라는 두 하위 모델의 예측 순위에 기반한 학습형 앙상블 전략을 채택했다. 각 하위 모델은 예측 순위에 따라 정해진 투표 가중치를 부여받으며 두 모델이 동일한 반응 경로를 동시에 제안하면 투표 점수가 합산된다. 이를 통해 전체 반응 군에 걸쳐 더 우수한 하위 모델의 장점을 효과적으로 흡수하고 약점을 상쇄하도록 학습되었다.

10개의 까다로운 목표 분자를 대상으로 다단계 합성 경로를 검증한 전문가 평가에서 레트로키메라는 9개 분자의 전체 합성 경로를 성공적으로 통과시켰다. 반면 디노보 모델은 5개, 템플릿 편집 모델은 4개, 강력한 기존 기준 모델인 뉴럴심(NeuralSym)은 2개 분자에 대해서만 경로 승인을 받았다. 레트로키메라는 희귀 반응 유형에 대한 재현 능력뿐만 아니라 독점 데이터셋에 대한 제로샷(Zero-shot) 전이 학습 및 미세조정(Fine-tuning) 실험에서도 유효성을 입증했다.

활용 조건과 향후 확장성

레트로키메라의 코드베이스는 엠아이티(MIT) 라이선스로 배포되었으며 오픈소스 저장소의 안내에 따라 모델 체크포인트에 접근할 수 있다. 현재 공개된 프레임워크는 예측 원천으로 딥러닝 모델만을 연결해 검증했으나, 구조적으로는 외부 반응 데이터베이스 조회 기능이나 전문가가 직접 참여하는 휴먼인더루프(Human-in-the-loop) 질의 체계를 추가 앙상블 요소로 확장할 수 있도록 설계되어 있다.

연구진은 레트로키메라가 신약 개발과 스마트 소재 연구의 설계-제작-시험(Design-Make-Test) 주기를 가속하고 복잡한 후보 물질의 대규모 평가를 지원할 것으로 전망했다. 다만 실제 실험실 자동화 장비와의 결합을 통한 완전한 닫힌 루프(Closed-loop) 자기 개선 시스템 구축까지는 추가 연구가 필요하며, 연구진은 광범위한 화학 연구 커뮤니티의 검증을 통해 장단점을 지속해서 파악하고 개선해 나갈 방침이다.