MIT, "전함" 게임으로 AI 에이전트에게 더 나은 질문을 가르치다
원문 출처
MIT, "전함" 게임으로 AI 에이전트에게 더 나은 질문을 가르치다
출처: MIT News (2026.06.03) 저장일: 2026-06-04 태그: #AI #LLM #MonteCarlo #BayesianExperimentalDesign #MIT-CSAIL #AI-Agent
---
개요
MIT CSAIL과 하버드 SEAS 연구진이 'Collaborative Battleship' 게임을 통해 LLM의 '질문하는 능력'을 개선하는 연구를 발표. Monte Carlo 추론 전략과 코드 생성 기반 검증을 결합하여 소형 모델이 대형 모델을 능가하는 비용 효율성 입증.
---
핵심 발견
문제 인식
현재 LLM은 '답변하는 능력'에 최적화되어 있지만, '스스로 좋은 질문을 하는 능력'은 부족. 의료진단, 과학발견 같은 고위험 분야에서는 방대한 해결책을 불확실한 환경에서 탐색해야 하는데, 이때 질문의 질이 성능을 결정.
실험 설계
- 'Collaborative Battleship' 게임: 한쪽은 'captain'이 숨겨진 배의 위치를 묻고, 다른쪽은 'spotter'가 실시간으로 답변하는 자연어 기반 게임
- 40명 이상의 인간이 함께 플레이하여 'BattleshipQA' 데이터셋 구축
- 테스트 모델: GPT-5, Claude 4 Opus, Llama 4 Scout, GPT-4o-mini
- Zero-shot 설정 (사전 학습 없음)
결과
| 모델 | 기존 성능 | Monte Carlo 적용 후 | 비고 |
|---|---|---|---|
| Llama 4 Scout | 8% | 82% | 10배 향상 |
| GPT-4o-mini | - | ~30% 향상 | - |
| Claude 4 Opus | - | ~8% 향상 | - |
비용 효율성: Llama 4 Scout가 GPT-5를 능가하면서도 비용은 약 1% 수준
핵심 기술
1. Monte Carlo 추론 전략
각 질문마다 잠재적 답변의 가능성을 개별 '입자'로 추론. Spotter의 답변마다 가중치를 조정하는 방식 — Bayesian Experimental Design의 원리 활용.
- 질문마다 여러 가설을 병렬로 유지
- 각 답변마다 가설의 확률을 업데이트 (particle filter 방식)
- 가장 많은 정보를 제공하는 질문을 선택
2. 코드 생성 통한 검증 (Auto-formalization)
질문을 Python 코드로 자동 변환하여 spotter가 명확한 검색 명령으로 답변.
- 예: "1열에 2행에 걸친 배가 있나요?" → 해당 영역 검색 + 크기 검증 코드 생성
- 소형 모델 평균 15% 정확도 상승
- 기존 'auto-formalization' 전략이 '해결책 검증' 용도였다면, 여기서는 '질문 자체를 더 잘 만드는' 데 사용
Guess Who? 게임 검증
동일한 접근법을 'Guess Who?' 게임에도 적용:
| 모델 | 기존 | 개선 후 |
|---|---|---|
| Llama 4 Scout | 30% | 72% |
| GPT-4o | 62% | 90% |
---
연구진
- Gabriel Grand (MIT 박사과정, 주저자)
- Jacob Andreas (MIT EECS 부교수, CSAIL PI, 공동저자)
- Joshua Tenenbaum (MIT)
- Valerio Pepe (OpenAI 연구원, 하버드 졸업)
---
새로운 시각
질문하는 능력과 답변하는 능력은 분리됨
현재 LLM 벤치마크는 거의 전적으로 '답변 품질'에 집중. 이 연구는 '질문 품질'이 별도의 역량이며, 이를 개선하면 작은 모델도 대형 모델보다 효율적일 수 있음을 보여줌.
Bayesian Experimental Design의 실제 적용
통계학에서 수십 년간 연구된 '최적 실험 설계' 개념을 LLM에 Monte Carlo 방식으로 구현. AI가 '무엇을 물어봐야 하는지'를 체계적으로 추론할 수 있음을 의미.
코드 생성의 이중 역할
탐색(exploration)과 검증(verification)의 통합 — 질문을 더 잘 만들고, 그 질문에 대한 답변도 더 정확하게 검증하는 이중 효과를 달성.
의료진단에의 직접적 시사점
Differential diagnosis (차별진단)는 본질적으로 'needle-in-a-haystack' 문제. 의사가 환자에게 어떤 질문을 해야 가장 많은 정보를 얻을 수 있는지가 바로 Bayesian Experimental Design. 이 연구의 접근법이 의료 AI의 진단 효율성에 직접 적용 가능.
'월드 모델'의 중요성
연구진 인용: "질문하는 능력은 세계를 예측하고 시뮬레이션하는 능력에 달려있다. 에이전트에게 '월드 모델'을 제공하면 더 나은 질문을 하고 더 효율적으로 발견한다."
---
한계점
- 단순한 테스트베드: 연구진도 인정하듯, Battleship은 비교적 단순한 상태공간. 실제 과학발견이나 의료진단은 훨씬 더 복잡한 상태공간을 가짐
- 전문가 인간과의 비교 미비: "expert players are still hard to beat for all models" — 평균 인간은 이겼지만 전문가 인간은 아직 아님
- Zero-shot만 테스트: fine-tuning의 잠재력은 아직 미확인
- 복잡한 질문 답변 실패: 모델은 여전히 복잡한 질문에 답하는 데 인간보다 뒤처짐
- 사회적 상호작용의 한계: "가장 어려운 문제는 사회적 문제다: 공통지식 추적, 오해 해결, 다양한 파트너에 대한 적응"
---
자녀와 미래에 대한 시사점
직접적 영향
- AI 에이전트가 '좋은 질문을 하는 법'을 배우면 교육 보조 도구로 활용 가능. 아이들이 스스로 질문하는 능력을 기르는 데 AI가 모델이 될 수 있음
- 의료진단 AI의 정확도 향상 → 가족 건강 관리에 간접적 영향
장기적 영향
- '질문하는 AI'는 과학발견 가속화 → 신약 개발, 기후변화 해결 등 글로벌 과제에 기여
- AI가 인간보다 더 효율적으로 질문하면, 인간의 '호기심'과 '탐구심'의 가치가 상대적으로 낮아질 수도 있는 역설적 상황
- 아이들이 성장할 때 AI가 질문을 대신하면, 스스로 탐색하는 능력이 약화될 가능성 — 교육에서 '질문하는 법' 가르침의 중요성 재조명 필요
---
관련 링크
- MIT News 원문
- MIT CSAIL
- Hacker News (게시 직후, 논의 초기)