Code as Agent Harness: 코드를 에이전트의 실행 기반으로 보는 102페이지 서베이

한 줄 요약

코드는 더 이상 LLM이 생성하는 '결과물'이 아니라, 에이전트가 추론하고 행동하며 상태를 관리하는 '실행 환경(Harness)' 그 자체로 진화하고 있으며, 이는 단순한 프로그래밍 패러다임 변화를 넘어 디지털 세계의 운영 체제(OS) 재설계를 의미한다.

원문 핵심 내용

코드의 정체성 전환: 결과물에서 실행 기반(Execution Substrate)으로

기존의 대형 언어 모델(LLM)은 코드를 '답안'으로 생성했다. 예를 들어, "파이썬으로 정렬 알고리즘을 짜줘"라고 하면 코드를 출력하고 끝이었다. 하지만 이 서베이 논문은 코드가 에이전트의 운영체제(OS) 역할을 한다고 주장한다. 코드는 에이전트가 살아가는 세계이자, 에이전트가 자신의 생각을 외부화(Externalize)하고 검증하며, 환경과 상호작용하는 매체다.

비유하자면, 과거에는 의사가 진단서(코드)를 써서 내주면 끝이었는데, 이제는 그 진단서가 실시간으로 환자의 생체 신호를 모니터링하고 약물을 투여하며 상태를 기록하는 '스마트 치료 시스템'으로 변모한 것과 같다. 코드는 이제 .py 파일에 갇혀 있는 정적 텍스트가 아니라, 에이전트가 사고하고 행동하는 동적 공간(Dynamic Space)이다.

3계층 구조: 에이전트 시스템의 해부학

논문은 에이전트 시스템을 세 가지 레이어로 나누어 분석한다. 이는 복잡한 시스템을 이해하기 위한 핵심 프레임워크다.

1. Harness Interface (연결 계층)

• 코드는 에이전트와 외부 환경을 연결하는 인터페이스다.
• Program-of-Thoughts: 추론 과정을 코드로 작성해 실행함으로써 정확도를 높인다. (예: 복잡한 수학 문제를 단계별 코드로 분해해 실행)
• 환경 모델링: 코드베이스, 실행 트레이스(Trace), 시뮬레이터가 에이전트가 인식하는 '환경' 자체가 된다. 로봇 제어나 GUI 조작도 생성된 프로그램이 정책(Policy)으로 작동한다.

1. Harness Mechanisms (제어 계층)

• 장기 실행을 지속시키는 핵심 메커니즘이다.
• Planning (계획): 단순한 단계 분해(Decomposition)를 넘어, PLAN.md 같은 파일 시스템을 활용한 지속 가능한 계획으로 진화한다. '메타-하네스(Meta-Harness)'는 하네스 설계 자체를 탐색 공간(Search Space)으로 삼아 최적화한다.
• Memory (기억): 단일 벡터 데이터베이스가 아닌, 작업 기억(Working), 의미 기억(Semantic), 경험 기억(Experiential), 장기 기억(Long-term) 등으로 세분화된 통합 상태 관리 계층이다.
• PEV Loop (Plan-Execute-Verify): 사이버네틱스(Cybernetics)의 피드백 고리를 재정의한다. 실행 권한은 읽기 전용(Read-only) → 샌드박스 편집(Sandbox-edit) → 전체 접근(Full-access/HITL)으로 단계적으로 개방된다.

1. Scaling the Harness (확장 계층)

• 멀티에이전트가 코드라는 공유 매체 위에서 협업하는 방식이다.
• 핵심 발견: "토폴로지 복잡성은 공유 상태 표현의 미성숙함이 만든 세금이다." 즉, 상태를 잘 설계한 시스템은 단순한 구조로도 잘 작동하지만, 암묵적 상태(Implicit State)에 의존하는 시스템은 그 결핍을 복잡한 연결 구조(토폴로지)로 메꾸려 한다. 이는 의료 시스템에서 명확한 환자 기록(명시적 상태)이 있을 때 의사 간 협업이 원활해지고, 기록이 불분명할 때 불필요한 회의와 소통(복잡한 토폴로지)이 증가하는 것과 유사하다.

실패의 원인: 모델이 아닌 하네스(Harness)의 문제

흥미롭게도 논문은 에이전트 실패의 주된 원인이 LLM 모델의 능력 부족이 아니라, 하네스의 설계 결함이라고 지적한다.

• 부족한 저장소 컨텍스트
• 깨지기 쉬운 도구 인터페이스
• 약한 검증기(Verifier)
• 과도한 토큰 비용
• 잘못된 재시도 정책

이는 "의사의 실수가 아니라, 진료 프로토콜과 기록 시스템의 결함"이 의료 사고의 주원인이라는 주장과 통한다. 따라서 해결책은 더 큰 모델을 만드는 것이 아니라, 더 견고한 하네스(검증, 메모리 관리, 상태 오프로딩)를 구축하는 것이다.

검증의 새로운 기준: 결정적 센서(Deterministic Sensors)

LLM의 자기 비판(Self-Critique)보다는 린터(Linter), 타입 체커(Type Checker), 테스트(Test), 퍼저(Fuzzer) 같은 결정적 피드백을 제어 신호로 사용해야 한다. 이는 의학적 진단에서 의사의 직관보다는 혈액 검사 수치나 영상 진단 결과 같은 '객관적 데이터'를 더 신뢰하는 것과 같은 이치다.

새로운 시각

하네스(Harness)는 디지털 세계의 '신경계'다

기존에는 AI를 '뇌'(LLM)로 비유했다. 하지만 이 논문은 AI에게 '신경계'(Harness)가 필요함을 보여준다. 뇌만으로는 신체(환경)를 제어할 수 없다. 신경계가 신호를 전달하고, 감각 정보를 수집하며, 반사 신경(PEV Loop)으로 즉각적인 반응을 해야 한다. 코드는 이제 이 신경계의 시냅스다. 따라서 AI의 진화는 '더 큰 뇌'가 아닌 '더 정교한 신경계'를 구축하는 방향으로 갈 것이다.

'상태(State)'의 중요성 부각: 암묵적 지식의 명시화

논문에서 강조된 "토폴로지 복잡성은 공유 상태 표현의 미성숙함이 만든 세금"이라는 문장은 조직론과도 연결된다. 많은 조직이 복잡한 보고 체계(복잡한 토폴로지)를 가지는 이유는 정보가 명확하게 공유되지 않기(상태 표현의 미성숙) 때문이다. AI 에이전트 시스템도 마찬가지다. 상태를 명확하게 정의하고 관리하는 시스템은 단순한 구조로도 높은 성능을 낸다. 이는 '명시적 상태 관리'가 AI 시스템 설계의 핵심 경쟁력이 될 것임을 시사한다.

검증(Verification)의 민주화: 결정적 센서의 역할

LLM의 자기 검증 능력은 한계가 있다. 하지만 린터, 테스트, 타입 체커 같은 '결정적 센서'는 절대적이다. 이는 AI 시대에 '진리'를 판단하는 기준이 인간의 직관이 아닌, 객관적이고 자동화된 검증 도구로 이동함을 의미한다. 의료 진단에서도 AI의 진단보다 혈액 검사 수치(결정적 센서)가 더 신뢰받는 것처럼, AI 에이전트의 출력도 결정적 검증기를 통과해야만 신뢰할 수 있다.

자녀와 미래에 대한 시사점

① 어린 다음세대에게 올 세상: '코드 리터러시'의 재정의

앞으로의 세대는 코드를 '작성'하는 법보다, 코드가 '어떻게 작동하고 검증되는지' 이해하는 법을 배워야 한다. 코드는 이제 AI가 생성하는 결과물이므로, 자녀들은 생성된 코드의 신뢰성을 판단하는 '검증자'의 역할을 하게 될 것이다. 이는 단순히 프로그래밍 언어를 배우는 것을 넘어, 시스템의 논리적 구조와 보안 원리를 이해하는 '시스템 사고(System Thinking)' 능력을 키우는 것이 중요하다.

② 무엇을 가르치고 준비시킬지: 비판적 사고와 검증 능력

AI가 코드를 생성하는 시대에, 가장 중요한 능력은 '비판적 사고'와 '검증 능력'이다. 자녀들에게 "이 코드가 왜 맞는지", "어떤 경우에 실패할 수 있는지"를 질문하게 하라. 또한, '상태 관리'의 개념을 가르쳐야 한다. 즉, 정보가 어떻게 저장되고, 어떻게 공유되며, 어떻게 변화하는지를 이해하는 능력이다. 이는 디지털 시민으로서의 기본 소양이 될 것이다.

③ 사용자의 의료 분야 함의: 진단의 객관화와 프로토콜 설계

의료 분야에서 이 논문은 큰 시사점을 준다.

• 진단의 객관화: AI의 진단(LLM의 출력)보다, 검사 수치와 영상 분석 결과(결정적 센서)를 더 신뢰해야 한다. AI는 보조 도구일 뿐, 최종 판단은 객관적 데이터에 기반해야 한다.
• 진료 프로토콜의 하네스화: 현재 수동적인 진료 프로토콜을, AI 에이전트가 실행하고 검증할 수 있는 '하네스'로 재설계할 수 있다. 예를 들어, 내시경 검사 후 AI가 영상을 분석하고, 이상 소견을 자동으로 기록하며, 추가 검사가 필요하면 자동으로 예약을 잡는 시스템이다. 이때 중요한 것은 '상태 관리'다. 환자의 정보가 명확하게 정의되고 공유되어야, 복잡한 의사 소통 없이 효율적인 진료가 가능하다.
• 안전성: AI 에이전트가 의료 데이터를 조작할 수 있는 권한을 가질 때, '샌드박스'와 '단계적 권한 개방' 모델이 필수적이다. 환자의 안전을 위해 AI의 실행 권한은 최소화되고, 인간의 감독(HITL)이 필수적으로 포함되어야 한다.