Nvidia ToolOrchestra

LLM 서비스를 도입하는 많은 기업이나 기관의 담당자들을 만나면 가장 괴로운 부분 중 하나가 GPT5, Gemini, Claude 등의 빅테크의 LLM 서비스가 기준이 될 때가 많습니다. 기업이나 기관 내부에 도입하기 전에 빅테크들의 상용 서비스를 사용해 보면서 우리 회사에는 어디에 어떻게 적용하면 좋을지 고민하는 기준이 되는데요.

파라미터가 커지면 커질수록 모델의 추론 능력이 뛰어나고 더 많은 작업을 잘 수행할 수 있지만, 현실적으로 기업이나 기관에서 100B 이상의 모델을 돌리기에는 인프라나 여러 가지 측면에서 어려움이 있습니다. 그래서 충분하지 않은 리소스를 기반으로 안정적인 LLM 서비스를 구축하기 위해 최근에 큰 모델 하나를 사용하기보다는 역할에 따라 작은 모델을 사용하는 멀티 LLM 등 여러 가지 시도들이 있는데요.

최근에 Nvidia에서 ToolOrchestra: Elevating Intelligence via Efficient Model and Tool Orchestration이라는 흥미로운 논문을 공개하였습니다. 이 논문은 작은 오케스트레이터 LLM이 다양한 도구와 대형 LLM을 조합해 HLE, FRAMES, 𝜏2-Bench 같은 어려운 에이전트형 과제를 더 높은 성능과 더 낮은 비용으로 푸는 방법을 제안하고 있습니다.

논문 출처 : https://arxiv.org/pdf/2511.21689
깃허브 주소 : https://github.com/NVlabs/ToolOrchestra

이 논문에서 제안하는 핵심 아이디어는 기존에 하나의 강력한 LLM이 웹검색, 코드 실행 등 몇 개의 도구만 쓰는 “모놀리식 + 툴” 구조의 경우 대형 LLM이 도구 선택과 추론을 모두 담당하기 때문에 비용 효율성이 떨어지고 도구 사용 전략이 최적화되지 못하는 한계가 있기 때문에 8B 규모의 Orchestrator 모델이 “도구 + 여러 LLM(수학·코딩 특화, GPT-5 같은 일반 모델)”을 통합 툴 셋으로 보고, 어떤 순서로 어떤 툴을 얼마나 쓸지 스스로 결정하는 오케스트레이션을  제안합니다.

ToolOrchestra는 추론용 LLM이 아니라 “어떤 도구를 어떤 순서와 파라미터로, 어떤 비용·선호 제약 하에서 호출할지”를 결정하는 강화학습(Reinforcement Learning) 기반 정책 모델로, 모든 도구를 통일된 인터페이스(LLM도 함수처럼)로 다루는 것이 특징입니다.​ 학습은 다중 목표 보상으로 진행되며, 정확도(과제 해결), 효율성(비용·지연·불필요 호출 페널티), 사용자 선호(비용 최소, 특정 모델 선호, 외부 API 금지 등) 등의 여러 가지 목표를 단순한 지도 학습으로는 달성하기 매우 어려우며, 순차적인 의사결정(도구 호출 순서와 전략)을 통해 장기적인 이득을 최대화하는 강화학습을 통해 가능합니다.

작은 모델이 지능형 감독자로서 사용하고 큰 모델은 필요한 순간에만 쓰는 프리미엄 도구라는 역할 분리를 통해 비용을 낮추고, 모놀리식 LLM 에이전트에서 모듈식·도구 중심 아키텍처로 전환하는 아이디어를 제시합니다.​ RL 기반 정책으로 정확도·프라이버시·비용 같은 에이전트 제약을 명시적으로 컨트롤 가능하다고 합니다. 

아이디어는 꽤 참신해 보이지만, 강화학습은 데이터를 만드는데 생각보다 많은 리소스와 비용이 들어가고 무엇보다 보상함수를 만드는 일이 쉽지 않으며, 학습을 진행하면서 불안정한 부분 등이 있어서 실제 환경에서 구현하고 안정화하는데 여러 가지 어려움과 도전 과제가 있는데요.

그럼에도 ToolOrchestra에서 강화 학습은 무엇보다 LLM 에이전트에서 가장 어려운 부분인 추론과 계획 부분의 핵심인 복잡한 '도구 오케스트레이션'이라는 문제를 해결하고,  단순한 성능 향상을 넘어 효율성과 사용자 선호도까지 동시에 최적화하기 위해 시스템의 핵심적인 성공 요인이자 가장 중요한 차별화 전략으로서 가장 적합한 방법인 것 같습니다.