Rich Sutton의 AI 창의성과 발견: 모방을 넘어선 '발견'의 조건

한 줄 요약

지도학습 기반 생성 AI는 '모방'에 불과하므로 진정한 과학적 발견을 할 수 없으며, 진정한 창의성과 발견을 위해서는 '변이-평가-선택적 보존'의 강화학습 루프(에이전트 하네스)가 필수적이다.

원문 핵심 내용

1. 생성 AI의 근본적 한계: "좋은 것은 새롭지 않고, 새로운 것은 좋지 않다"

• 리처드 서튼(Rich Sutton)은 고전적인 연구 평가 농담을 들어 생성 AI의 현재 상태를 설명한다.
• 모방 모델의 특성: 대규모 예시(데이터)를 받아 그 패턴을 따라하는 텍스트, 이미지, 비디오를 생성한다.
• 환각(Hallucination) 문제: 인터넷 검색이나 문서 요약처럼 사실성이 중요한 작업에서 AI가 원천 자료를 벗어나 '새로운' 내용을 만들면 그것은 오류(환각)로 간주된다. 따라서 사용자는 새로움을 원하지 않으며, 품질은 원천 자료의 질에 의존한다.
• 창의성의 역설: 소설이나 예술처럼 새로움을 원할 때, AI는 확률적(Stochastic) 처리로 인해 무작위성을 띄지만, 이 무작위성은 학습 데이터의 품질과 무관하게 나타나므로 '좋으면서도 새로운' 결과를 동시에 보장할 수 없다.

1. 진정한 발견(Discovery)의 3단계 공식

• 과학, 수학, 진화론에서 발견은 단순한 패턴 인식이 아닌 다음 세 단계의 결합이다.

1. 변이(Variation): 다양한 시도나 가설 생성 (완전히 무작위일 필요는 없으나 불확실성이 필수).
2. 평가(Evaluation): 생성된 결과가 목표나 현실에 부합하는지 검증.
3. 선택적 보존(Selective Retention): 평가에서 좋은 결과만 기억하고 유지.

• 지도학습의 결함: 기존 생성 AI(역전파 기반)는 훈련 시에는 지도학습을 하지만, 추론(Run-time) 시점에 생성물을 '평가'하고 그 결과에 따라 '보존'할 메커니즘이 없다. 따라서 변이는 있을지언정 발견은 일어나지 않는다.

1. 발견 가능한 AI 시스템의 사례

• 서튼은 다음과 같은 시스템들이 평가와 선택적 보존을 통해 '좋고 새로운' 결과를 찾았다고 주장한다.
• AlphaGo / AlphaZero: 바둑 수 37수나 체스 스타일처럼 인간이 상상하지 못한 최적의 수를 발견.
• AlphaFold / AlphaProof: 단백질 구조 예측, 수학 증명 등 과학적 진전.
• Claude-Code / RL-Lyft: 코딩 에이전트나 차량 배정 최적화처럼 외부 피드백(컴파일러 결과, 보상 함수)을 통해 결과를 개선하는 시스템.
• 이 시스템들은 공통적으로 강화학습(Reinforcement Learning) 또는 에이전트 하네스(Agentic Harness)를 통해 생성-테스트-피드백 루프를 돌린다.

1. 미래 지향적 제언: 자율적 발견의 자동화

• 완전한 AI 과학자를 원한다면 명시적 목표(Goal)를 공유해야 한다.
• AI가 단순히 데이터를 예측하는 것을 넘어, 목표를 향해 생성하고 평가하며 발견하도록 하는 '발견의 자동화'가 필요하다.
• 역전파의 한계(가중치 초기화 후 고정)를 해결하기 위해 그룹에서 제안한 '지속적 역전파(Continual Backpropagation)'처럼 학습 중에도 변이를 유지하는 가소성(Plasticity)이 중요하다.

Hacker News 커뮤니티 반응

1. 에이전트 하네스(Agentic Harness)의 중요성 부각

• 많은 사용자가 서튼의 주장을 단순한 LLM 비판이 아니라, 루프를 닫는 시스템(Closing the Loop)의 중요성으로 재해석했다.
• 코딩 도메인에서 가장 성공한 사례(Claude Code 등)는 순수 LLM이 아니라, LLM이 코드를 생성하면 컴파일러/터미널에서 실행 결과를 확인하고 피드백을 받는 생성-테스트-선택적 개선 루프였다는 데 동의했다.
• 이는 현대 컴퓨팅 시스템 위에 구현된 피셔/박스(Fisher/Box) 피드백 루프에 가깝며, LLM은 그중 하나의 구성 요소일 뿐이라는 분석이 나왔다.

1. 평가(Evaluation)의 난제: 적합도 함수(Fitness Function) 문제

• 진화 알고리즘과 마찬가지로, 무한히 많은 해법을 생성할 수는 있지만 이를 '평가'할 기준(적합도 함수)이 필요하다는 지적이 있었다.
• 코딩이나 수학처럼 정답이 명확한 도메인(Neurosymbolically closed)에서는 평가가 쉬워 AI가 잘 작동하지만, 의학이나 사회과학처럼 정답이 모호하거나 물리적 세계의 복잡한 상호작용을 필요로 하는 영역에서는 평가 함수 설계가 여전히 난제라는 의견이 제기되었다.
• 일부는 "인간도 물리적 세계에 접근해야 평가를 할 수 있다"며, AI가 가상 공간에서만 완전한 발견을 할 수 있는지에 대한 철학적 의문을 던졌다.

1. RLVR(Reinforcement Learning with Verifiable Rewards)의 한계와 가능성

• 최근 o3 등 최전선 모델의 성능 향상 뒤에 RLVR이 있다는 점은 인정되지만, 이것이 여전히 베이스 모델의 분포(Base Distribution) 내에서 최적화(Mode-seeking)에 그칠 수 있다는 우려도 있었다.
• 즉, 기존 데이터에 없는 완전히 새로운 경로를 탐색(Exploration)하는 능력은 아직 제한적이며, 외부 탐색 알고리즘(MCTS 등)이나 진화적 계획기가 필요할 수 있다는 기술적 논의가 활발했다.

1. 전문성에 대한 논쟁

• 서튼이 튜링상 수상자이자 강화학습의 아버지라는 점을 들어 그의 주장을 무조건 수용해야 한다는 의견과, 최신 LLM의 실제 성능(예: 복잡한 코딩 문제 해결)을 근거로 그의 주장이 지나치게 보수적일 수 있다는 반론이 공존했다.
• 그러나 대부분의 논의는 "서튼이 LLM 자체를 부정하는 것이 아니라, LLM을 둘러싼 공학(Harness)의 중요성을 강조한다"는 해석으로 수렴했다.

새로운 시각

1. '평가의 민주화'와 과학적 발견의 비용 절감

• 서튼의 관점에서 본다면, 과학적 발견의 병목 현상은 '가설 생성(변이)'이 아니라 '가설 검증(평가)'에 있다. 과거에는 실험 장비나 임상 시험이 필요해 평가 비용이 막대했으나, AI 시대에 들어 시뮬레이션이나 코딩 컴파일처럼 평가 함수를 디지털화할 수 있는 영역에서는 발견 비용이 기하급수적으로 떨어진다. 이는 과학적 발견의 민주화를 가져올 수 있으며, 소규모 연구팀도 대규모 실험 없이 시뮬레이션 기반의 발견을 주도할 수 있음을 시사한다.

1. 의료 진단의 '모방'에서 '최적화'로의 패러다임 전환

• 현재 의료 AI는 대부분 병리 사진이나 기록을 보고 진단을 내리는 '모방(지도학습)' 모델이다. 이는 서튼이 지적한 대로 '환각' 위험이 있으며, 새로운 치료법을 발견하지 못한다.
• 진정한 의료 AI의 미래는 환자의 유전체, 생활 습관, 실시간 생체 신호를 입력으로 받아, 가상의 치료 시나리오를 생성(변이) → 시뮬레이션된 생체 반응으로 효능/부작용 예측(평가) → 최적의 치료 계획만 제시(선택적 보존)하는 에이전트 시스템으로 전환되어야 한다. 이는 단순한 진단 보조를 넘어 개인 맞춤형 치료 발견 시스템으로의 도약이다.

1. 창의성의 재정의: '오류'의 체계적 관리

• 서튼은 무작위성(변이)이 필요하다고 했다. 이는 창의성이 '완벽한 예측'이 아니라 '체계적인 오류 관리'에서 나온다는 것을 의미한다.
• 교육이나 업무에서 우리는 AI의 오류(환각)를 두려워하지만, 서튼의 프레임워크에서는 이 오류(변이)가 평가 필터를 통과할 때 비로소 가치 있는 발견이 된다. 따라서 AI 활용 능력은 '정답을 찾는 능력'이 아니라 '어떤 평가 기준(Filter)을 설정하느냐'에 달려 있다. 평가 기준의 설계 능력이 새로운 시대의 핵심 역량이다.

자녀와 미래에 대한 시사점

1. 어린 다음세대의 미래·교육·진로

• 암기과목의 종말, 평가 기준 설계자의 시대: 단순 지식 재생산(모방)은 AI가 대체한다. 자녀가 경쟁력을 갖기 위해서는 '정답이 무엇인지' 아는 것보다 '어떤 질문을 던져야 하고, 그 답을 어떻게 검증할 것인가'를 아는 것이 중요하다.
• 진로 방향: 코딩이나 데이터 처리 자체보다는, 도메인 전문가(Domain Expert)이자 평가자(Evaluator)로서의 역량이 중요하다. 예를 들어, 의사가 AI가 제안한 수술 계획을 맹목적으로 따르는 것이 아니라, 그 계획의 생리학적 타당성을 평가하고 수정하는 역할을 수행해야 한다.

1. 무엇을 가르치고 준비시켜야 할지

• 실패와 피드백 루프에 대한 내성: 서튼의 '발견' 공식은 수많은 실패(변이)와 피드백(평가)의 반복이다. 자녀에게 완벽한 정답을 요구하기보다, 시도-실패-피드백-수정의 과정을 즐기도록 가르쳐야 한다.
• 비판적 사고와 검증 능력: AI가 생성한 정보(텍스트, 이미지, 코드)를 맹신하지 않고, 독립적인 기준(논리, 실험, 외부 데이터)으로 검증하는 능력을 키우는 것이 최우선 교육 목표여야 한다. 이는 '디지털 리터러시'를 넘어 '과학적 방법론'의 실습이다.

1. 사용자의 의료 분야(소화기·내시경·종양학)에 주는 함의

• 내시경 AI의 한계와 확장: 현재 내시경 AI는 종양을 찾는 '패턴 인식(모방)'에 강점이 있다. 하지만 서튼의 관점에서 이는 진정한 발견이 아니다.
• 미래 적용: 환자의 내시경 영상, 조직 검사 결과, 유전자 정보를 종합하여, 가상의 약물 치료나 수술 경로를 시뮬레이션(변이)하고, 그 결과가 환자의 예후에 미치는 영향을 예측(평가)하여 최적의 치료법을 제안(선택적 보존)하는 시스템이 필요하다.
• 의사의 역할 변화: 의사는 '정체된 병변을 찾는 눈'에서 'AI가 제시한 치료 시나리오의 생체 역학적 타당성을 평가하는 뇌'로 역할이 전환되어야 한다. 특히 종양학에서는 표준 치료 가이드라인을 벗어난 새로운 조합의 치료를 AI가 제안할 때, 의사가 그 안전성과 효능을 임상적 지식으로 검증하는 '평가자' 역할이 핵심이 될 것이다.