핵심 요약
미국 UC 샌디에이고 연구진이 대형언어모델(LLM)의 장기 과제 수행 능력을 평가하기 위해 고전 TRPG인 던전앤드래곤(Dungeons & Dragons, D&D)을 도구 기반 시뮬레이션으로 재구성해 NeurIPS 2025에서 발표했다. 실험은 수십 단계에 걸친 계획 수립, 규칙 준수, 역할 연기 능력을 동시에 요구하는 게임 환경에서 AI의 장기 추론과 대화 기반 협업 능력을 측정했다. AI 성능은 2,000여 명의 숙련된 인간 플레이어 기록과 대조해 평가됐으며, 모델별로 강점과 한계가 뚜렷하게 관찰됐다. 연구진은 디지털 게임 엔진을 보조 도구로 사용해 AI의 ‘환각(hallucination)’을 억제하고 규칙 기반 추적을 가능하게 만들었다.
핵심 사실
- 실험 주최: UC 샌디에이고 연구진이 제안한 ‘Tool-Grounded D&D Simulations to Test LLM Agents’가 NeurIPS 2025에서 공개됐다.
- 평가 대상: 상용·오픈소스 LLM을 포함한 여러 모델을 D&D 시뮬레이션에서 비교 평가했다.
- 비교 기준: 자원·행동 가능 수 추적 정확도, 전술적 선택 적절성, 캐릭터 성격에 맞는 역할 몰입도 등을 채점했다.
- 참고 데이터: 실험 결과는 약 2,000명의 숙련된 인간 플레이어 데이터와 대조해 실력 지표로 활용됐다.
- 주요 발견: 전반적인 플레이 수행은 가능했으나 장기 시나리오에서 역할 연기 일관성·표현 다양성이 저하됐다.
- 모델별 특성: ‘딥시크-V3’는 행동 묘사와 도발적 대사에 강점을 보였고, ‘클로드 하이쿠 3.5’는 직업군 맞춤 표현에 우수했으며, ‘GPT-4o’는 장면 묘사와 전술 표현에서 안정적이었다.
- 한계: 소형 오픈소스 모델은 일관된 다단계 시뮬레이션 유지에 제약을 보였다.
사건 배경
던전앤드래곤(D&D)은 1974년 등장한 테이블탑 롤플레잉게임(TRPG)으로, 참가자들이 대화와 상상력을 통해 이야기를 만들어가는 형식이 핵심이다. 연구진은 이 대화 중심의 구조가 LLM의 실제 협업·의사결정 능력을 평가하는 데 유리하다고 판단했다. 전통적인 AI 성능 평가는 주로 단답형 질의응답이나 단기 과제에 초점을 맞춰 왔는데, 이는 장기 계획과 규칙 준수가 필요한 복합 과제의 성능을 과소평가할 가능성이 있다. 게임 기반 평가는 이러한 공백을 메우는 역할을 하며, 인간과 유사한 상호작용 맥락에서 모델의 한계와 가능성을 드러낸다.
디지털 환경에서의 게임 시뮬레이션은 특히 ‘환각(hallucination)’ 문제를 완화하는 수단으로 사용됐다. 자연어로만 진행되는 롤플레잉은 모델이 현실 근거 없이 이야기를 만들어낼 위험이 크기 때문에, 연구진은 물리적 규칙과 상태 추적을 담당하는 게임 엔진을 보조 도구로 결합했다. 이로써 대화 지시와 규칙적 행동이 분리·검증 가능해져 모형의 의사결정 근거를 더 엄밀히 평가할 수 있었다. 또한 과거에 게임을 활용한 에이전트 평가는 포켓몬 등 단일플레이 조작 중심 사례가 있었지만, 이번 연구는 복수 에이전트의 장기적 협력·경쟁과 역할 일관성까지 다루며 범위를 넓혔다.
주요 사건
연구진은 D&D 규칙과 시나리오를 디지털 엔진으로 구현한 뒤, 다양한 LLM을 에이전트로 투입해 수십 단계의 캠페인을 진행했다. 에이전트들은 서로 협력하거나 대결하면서 자원(체력·아이템 등)과 행동 가능 수를 관리했고, 연구팀은 각 행동의 적절성·전술 효과·역할 몰입도를 자동·수동 방식으로 채점했다. 실험 과정에서 일부 모델은 전투 묘사와 전술적 판단에서 안정적인 성과를 냈지만, 장시간 진행 시 캐릭터 성격의 일관성과 대사 다양성에서 약점을 보였다.
구체적 사례로 연구진은 워록(Warlock) 역할을 맡은 모델이 상황과 동떨어진 과장된 대사를 반복적으로 생성한 반면, 팔라딘(Paladin)은 전투 흐름과 부조화되는 장황한 신념 표명을 하는 경향을 보였다고 보고했다. 고블린 등 비주류 NPC 역할을 맡은 모델들은 상투적 표현 반복으로 표현 다양성이 낮아졌다. 이러한 패턴은 특히 장기 시나리오에서 더 빈번히 나타났다. 연구진은 모델 내부의 맥락 유지 능력과 장기 메모리 관리가 향후 개선 과제라고 지적했다.
모델 간 성능 차이는 명확했다. ‘딥시크-V3’는 행동 묘사와 도발적 발언 생성에서 비교적 좋은 점수를 받았으나, 캐릭터 개성의 폭이 제한적이었다. ‘클로드 하이쿠 3.5’는 직업군에 따른 말투·표현 조정 능력이 우수했고, ‘GPT-4o’는 장면 묘사와 전술적 언급을 균형 있게 제시하며 전반적으로 중간 이상의 캐릭터 밀도를 유지했다. 소형 오픈소스 모델들은 복잡한 규칙과 긴 역사 추적을 요구하는 상황에서 일관성을 잃는 사례가 많았다.
분석 및 의미
이번 연구는 LLM 평가지표를 단순 정확도 중심에서 상호작용적·시간누적적 능력으로 확장한 점에서 의미가 크다. D&D 시뮬레이션은 규칙 준수, 자원 관리, 전술 선택, 그리고 역할 연기라는 다중 요소를 동시에 평가해 모델의 종합 역량을 가늠할 수 있게 한다. 특히 인간 플레이어와의 대조를 통해 ‘인간 유사성’이 단순 언어 유창성뿐 아니라 맥락 유지·성격 일관성에서 비롯된다는 점을 확인시켰다.
경제적·산업적 관점에서도 시사점이 있다. 에이전트가 장기 프로젝트를 수행하거나 인간과 협업하는 응용(예: 고객 서비스, 가상 비서, 교육 시뮬레이션 등)에서는 일관된 성격과 추론의 지속성이 중요하다. 이번 결과는 단기 질의응답에서 우수한 모델이 장기 협업 환경에서도 자동으로 우수하다고 단정할 수 없음을 경고한다. 기업은 LLM 도입 시 단기 성과뿐 아니라 장기 상호작용에 대한 검증을 병행해야 한다.
정책·안전 측면에서는 규칙 기반 보조 도구의 결합이 의미심장하다. 대화형 에이전트의 ‘환각’을 억제하고 결정 근거를 추적 가능하게 만드는 설계는 규제·책임성 측면에서 요구되는 투명성을 일부 충족시킬 수 있다. 다만, 규칙 엔진이 모든 오류를 막아주지는 못하므로 설계 단계에서 인간 감독(human-in-the-loop)과 보완적 검증 체계를 병행해야 한다는 결론이 도출된다.
비교 및 데이터
| 모델 | 관찰된 강점 | 관찰된 한계 |
|---|---|---|
| 딥시크-V3 | 행동 묘사·도발적 대사 생성 우수 | 캐릭터 개성 폭 제한 |
| 클로드 하이쿠 3.5 | 직업군 맞춤 말투·표현 조절 우수 | 장기 전술 일관성에서 일부 약점 |
| GPT-4o | 장면 묘사·전술적 표현의 균형적 제공 | 극단적 상황에서 말투 일관성 저하 |
위 표는 연구진이 보고한 주요 관찰을 요약한 것으로, 각 모델의 상대적 특성과 반복적으로 드러난 약점을 정리했다. 수치적 성능 지표(정확도, 추론 유지 비율 등)는 논문과 보조자료에 자세히 제시돼 있으며, 본문에서는 정성적 차이를 중심으로 해석했다.
반응 및 인용
“D&D는 대화·규칙·역할 연기가 결합된 복합 환경으로, LLM의 장기 추론 능력을 실험하기에 적합하다.”
UC 샌디에이고 연구진(NeurIPS 2025 발표)
연구진은 D&D의 복합성을 에이전트 평가의 장점으로 꼽으며, 단기 질의응답 중심의 기존 평가가 놓치는 능력들을 드러낼 수 있다고 설명했다.
“이번 접근은 환각을 줄이고 결정 근거를 추적할 수 있는 실무적 방향을 제시한다.”
AI 안전 연구자(독립 연구자)
중립적 관찰자들은 규칙 기반 보조 도구의 도입이 실용적이라는 평가를 내렸지만, 완전한 오차 제거를 기대하기보다는 보조적 수단으로 활용해야 한다고 덧붙였다.
불확실한 부분
- 실험에서 사용된 구체적 점수 체계와 가중치 비율의 일부는 공개 보조자료에만 존재하며 본문에서 일부 요약되었다.
- 특정 모델 버전(예: 소형 오픈소스 모델)의 학습 데이터·튜닝 방식이 성능 차이에 미친 영향은 추가 분석이 필요하다.
총평
이번 연구는 게임 기반 시뮬레이션을 통해 LLM의 장기적·상호작용적 능력을 평가하는 새로운 방향을 제시했다. D&D의 복합적 요구사항은 규칙 준수, 계획 지속성, 역동적 협업 능력 등 실용적 에이전트 역량을 다면적으로 드러냈다. 실험 결과는 고성능 모델이라도 장기 맥락에서는 일관성·표현 다양성에서 취약점을 드러낼 수 있음을 보여준다.
실무 적용을 위해서는 규칙 기반 보조 도구, 인간 감독, 그리고 장기 메모리 관리 기법의 통합적 도입이 필요하다. 향후 연구는 더 다양한 게임적 시나리오와 실사용 환경을 결합해 모델의 실전 대응력을 정량화하는 방향으로 진행될 것으로 보인다.