금융기술연구소에서는 Multi-Agent System(MAS) 이 실제 금융 의사결정 환경에서 어떤 효용을 가질 수 있는지 검증하기 위해, 약 3개월간 PoC를 진행했습니다.
이번 연구는 단순히 성능 비교를 넘어서, 에이전트 간 협업 구조를 어떻게 설계해야 효과적인지, 그리고 MAS의 성능을 어떻게 평가하고 설명할 수 있는지에 대한 실질적인 인사이트를 도출하는 것을 목표로 했습니다.
1. 왜 MAS였을까?
단일 LLM 에이전트는 다중 데이터 소스 결합, 다단계 분석, 다양한 관점 종합이 필요한 금융 의사결정에서 단일 실행 흐름의 한계를 드러납니다. MAS는 이러한 복잡한 문제를 데이터 수집 → 분석 → 전략 수립 → 결과 생성의 하위 과업으로 분해해 단계별 특화 에이전트가 협업하도록 설계할 수 있습니다. 검증 과제로는 가격·지표·뉴스·심리가 결합되고 정성(품질)·정량(투자 성과) 양면 측정이 가능한 “가상자산 투자자를 위한 데일리 리포트 생성”을 선정했습니다.
MAS 프로토타입 선정 및 연구 동향 검토
PoC에 앞서 AutoGen, CrewAI, LangGraph 등 주요 MAS 프레임워크를 비교·분석한 결과 기능적인 차이는 크지 않았으나, 커뮤니티 활성도, 연구 활용 사례, 유지·확장 가능성 측면에서 AutoGen[1]이 상대적으로 우수하다고 판단하여 본 연구의 주요 프레임워크로 채택했습니다.
이번 연구에서는 특정 도메인 적용에 그치지 않고, “MAS를 어떻게 설계하고 평가해야 하는가”라는 구조적 질문을 함께 다루는 방향을 지향했습니다.
2. 프로토타입 설계
프로토타입 설계 단계에서는, 사람의 리포트 작성 절차(데이터 수집 → 데이터 분석 →전략 수립 → 리포트 작성)를 반영해 역할·입출력을 명확히 분리했습니다.
이에 따라 다음과 같은 에이전트 구조를 설계했습니다.
•
Price Analysis Agent: 가격 및 기술적 지표 분석
•
News Analysis Agent: 뉴스 요약 및 시장 심리 분석
•
Bullish / Bearish Trading Agent: 상승·하락 관점의 투자 전략 제시
•
Report Writer Agent: 모든 분석을 종합해 최종 리포트 생성
MAS 구조 실험
프로토타입 설계 과정에서는 서로 다른 MAS 디자인 패턴도 함께 실험했습니다.
•
Sequential 구조는 구현은 간단했지만, 앞 단계 오류가 그대로 누적되는 한계가 있었습니다.
•
Router 구조는 유연성은 높았으나, 실행 흐름이 매번 달라지며 디버깅이 어렵다는 문제가 있었습니다.
•
Hierarchical 구조는 상위 에이전트가 하위 에이전트를 관리하는 방식으로, 역할과 흐름이 명확했습니다.
여러 실험 결과, 리포트 생성처럼 구조가 비교적 명확한 과업에서는 Hierarchical 구조가 가장 안정적이라는 판단 하에, 본 PoC의 최종 프로토타입 구조로 채택했습니다.
Hierarchical MAS 구조 도식화
3. MAS는 정말 더 나은가?
MAS의 효과를 검증하기 위해, Single-Agent System과의 비교 실험을 설계했습니다. 단일 에이전트가 전 과정을 한 번에 수행하는 것은 현실적으로 어렵기 때문에, 동일한 입력 데이터 하에서 리포트 생성 및 의사결정 품질을 비교하는 방식으로 범위를 한정했습니다.
실험 조건
•
대상 가상자산: BTC, ETH, SOL
•
분석 시나리오: Bullish / Bearish 국면 [2]
•
사용 데이터
◦
가격 데이터: 리포트 기준 D-31 ~ D-1
◦
뉴스 데이터: D-2 ~ D-1
평가 방법: 품질과 성과를 함께 본다
1) 직접 평가 (Direct Evaluation)
LLM as Judge 방식을 활용해, Analyticity(분석성)·Readability(가독성)·Reliability(신뢰성) 세 기준으로 리포트 품질을 평가했습니다.
2) 간접 평가 (Indirect Evaluation)
리포트의 투자 시그널로 전략을 구성해 실제 시장에 적용, 수익률 성과를 측정하고 Buy & Hold, SMA, MACD 등 전통 전략과 비교했습니다.
4. 무엇이 달랐나?
리포트 품질 측면
가독성 측면에서는 두 시스템 간 큰 차이는 없었지만, Multi-Agent가 생성한 리포트는 분석 근거가 더 구체적이고, 가격·뉴스·전략 간의 연결성이 높으며, 전문가 관점의 서술이 더 잘 드러나는 경향을 보였습니다. Analyticity와 Reliability 항목에서 일관되게 높은 점수를 기록했습니다.
투자 성과 측면
간접 평가 결과, 평균 수익률 기준으로도 Multi-Agent 구조가 전반적으로 우위를 보였습니다.
•
Multi-Agent 평균 수익률: 0.2675
•
Single-Agent 평균 수익률: 0.1900
상승장에서는 더 적극적인 투자 판단으로 성과를 기록한 반면, 하락장에서는 보수적인 HOLD 시그널이 자주 발생해 손실은 줄였으나 반등 구간에서 기회를 놓치기도 했습니다. 이는 구조 자체의 한계라기보다 의사결정 로직과 시그널 결합 방식의 추가적인 고도화가 필요한 지점으로 해석했습니다.
5. PoC 기간 중 실제 투자 시뮬레이션
과거 데이터 기반 실험에 더해, PoC 기간의 실제 시점의 시장 데이터로 투자 시뮬레이션도 함께 진행했습니다. 초기 자본 100만 달러를 가정하고 Single/Multi-Agent System(Bullish·Bearish 페르소나 포함), 다양한 LLM 모델, 전통 전략(Buy & Hold·SMA 등)을 동일 조건에서 비교했습니다. 변동성이 큰 구간에서도 Multi-Agent 기반 일일 매매 전략은 Buy & Hold 전략을 상회했습니다. 또한 일부 모델은 Single-Agent 구조에서 Function Calling 실패·리포트 미완성·실행 불안정이 반복됐으나, Multi-Agent 구조에서는 역할 분리를 통해 이러한 불안정성이 완화되었습니다.
6. 실험 과정에서 확인한 주요 이슈
1) 결과 일관성 문제
동일한 입력·조건에서도 실행 시점에 따라 리포트·시그널이 달라져, 재현성과 통제 가능성을 높이기 위한 구조적 보완이 필요합니다.
2) 정보 유실 및 왜곡
에이전트 수가 늘수록 중간 요약 단계에서 맥락이 손실되어, “에이전트를 늘리는 것 자체가 곧 성능 향상은 아니다”라는 점을 확인했습니다.
3) 에이전트 기여도 추적의 어려움
어떤 에이전트가 최종 의사결정에 얼마나 영향을 미쳤는지, 손실 발생 단계를 정량적으로 설명하기 어려웠습니다.
연구를 통해 얻은 핵심 인사이트
이번 PoC를 통해 얻은 가장 중요한 교훈은, MAS의 성능은 모델 성능이나 에이전트 수가 아니라 구조와 설계 원리에 의해 크게 좌우된다는 점이었습니다. 구체적으로 다음 요소가 결정적이었습니다.
•
명확한 역할 분리와 책임 범위 설정
•
에이전트 간 메시지 흐름의 단순화
•
의사결정 단계에서의 편향 제어
또한 MAS의 효과를 평가할 때는 단순한 수익률 비교를 넘어, 의사결정 과정의 품질과 설명 가능성을 함께 고려해야 한다는 점도 분명해졌습니다.
마치며
이번 PoC는 MAS가 금융 도메인에서 단순한 실험을 넘어 실질적인 활용 가능성을 가진 접근법임을 확인한 과정이었습니다. 단일 에이전트 대비 더 깊이 있는 분석, 서로 다른 관점을 반영한 균형 잡힌 의사결정, 실제 투자 성과로 이어질 수 있는 가능성을 확인하는 동시에, 구조 설계의 중요성과 평가·검증·설명 가능성이라는 현실적 과제 역시 드러났습니다. 다만 이번 성과는 제한된 자산과 기간에 기반한 결과이므로, 위험조정 성과·재현성·시장 국면별 강건성에 대한 추가 검증을 통해 결론의 신뢰도를 높여갈 필요성이 있습니다. 금융기술연구소는 이를 지속적인 연구와 시스템 고도화를 위한 출발점으로 삼아, 기술적 가능성이 실제 금융 현장의 가치로 이어질 수 있도록 연구를 이어가겠습니다.
[1] Wu, Q., Bansal, G., Zhang, J., Wu, Y., Li, B., Zhu, E., ... & Wang, C. (2023). Autogen: Enabling next-gen llm applications via multi-agent conversation. arXiv preprint arXiv:2308.08155.
[2] Wang, Q., Gao, Y., Tang, Z., Luo, B., Chen, N., & He, B. (2024). Exploring LLM Cryptocurrency Trading Through Fact-Subjectivity Aware Reasoning. arXiv preprint arXiv:2410.12464. https://arxiv.org/abs/2410.12464
카카오뱅크 금융기술연구소
Financial Tech Lab