훈련시킬 수 없는 것: 지능의 시대에 살아남는 최후의 해자

한 줄 요약

측정 가능하고 벤치마크로 증명되는 모든 지능은 상품화(Commodity)되어 사라지며, 결국 가치는 '사적 데이터', '실제 책임(Accountability)', '인간적 신뢰'라는 훈련 불가능한 영역(Untrainable)으로 이동한다.

원문 핵심 내용

측정 가능성의 함정과 '얇은 래퍼(Thin Wrapper)'의 몰락

최근 투자자들 사이에서는 AI 모델이 모든 것을 더 잘하게 되면, 모델 위에 단순한 인터페이스만 얹은 회사들은 결국 모델에 흡수될 것이라는 'AI 정신증(AI Psychosis)'적 절망론이 퍼지고 있다.

• 흡수 프런티어(Absorption Frontier): 과거에는 모델 외부에서 처리하던 검색(Retrieval), 라우팅, 도구 사용(Tool use) 등이 점점 모델의 가중치(Weights) 내부로 통합되고 있다. 즉, '껍데기'였던 기능들이 모델의 '본체'가 되어버리는 현상이다.
• 상품화(Commoditization)의 경로: 벤치마크로 측정 가능한 과제는 모델이 학습 목표로 삼을 수 있고, 이는 곧 성능 평준화와 가격 하락으로 이어진다. 결국 사용자는 "어떤 모델인가"가 아니라 "가장 저렴한 모델이 무엇인가"를 묻게 된다.

소프트웨어 엔지니어링이 주는 교훈: 작성(Writing) vs 배포(Shipping)

많은 이들이 AI 에이전트(예: Devin)의 벤치마크 점수가 급상승(13% $\rightarrow$ 80%대)한 것을 보고 "AI가 코딩을 정복했다"고 오해했다. 하지만 실제 데이터는 다르다.

• 구체적 수치: MIT 연구에 따르면 최신 코딩 에이전트는 코드 작성량은 약 180% 늘렸지만, 실제 배포(Shipped)된 양은 30% 증가에 그쳤다.
• 이유: 코드는 컴파일러나 테스트 슈트라는 '무료 검증기(Free Verifier)'가 있어 훈련시키기 쉽다. 하지만 10년 된 코드베이스의 맥락, 문서화되지 않은 모듈의 존재 이유, 복잡한 배포 파이프라인의 실체는 리더보드(Leaderboard)에 기록되지 않는다. 이러한 '현장의 정답'은 오직 세상을 실제로 돌려본 시간(Time)을 통해서만 검증된다.

최후의 해자: 훈련 불가능한 영역(The Untrainable)

저자는 가치가 머무는 곳을 2x2 매트릭스로 분석하며, 가장 가치 있는 지점을 '사적 정답(Private Ground Truth) + 프런티어 작업'으로 정의한다.

• 지능 vs 권한(Permission)과 책임(Accountability): 모델이 아무리 똑똑해져도 라이선스를 보유하거나, 법적 책임(Liability)에 서명하거나, 잘못된 답에 대해 소송을 당하는 당사자가 될 수는 없다.
• 자물쇠(Lock)와 빗장(Deadbolt):
• 자물쇠(환경): 보안 검토와 통합 과정을 거쳐 시스템 내부로 들어가는 신뢰의 과정.
• 빗장(사용자): 의사가 특정 의료 AI 도구를 매일 사용하는 '습관'과 '신뢰'. 이는 컴퓨팅 파워(Compute)로 살 수 없는 영역이다.
• 번역(Translation)의 가치: 기업의 사적 현실을 모델이 다룰 수 있게 정렬하고, 도구를 쥐여주며, 조직의 문화를 바꾸는 '비화려한 작업'이 진짜 경쟁력이 된다.

새로운 시각

'지능의 가치'에서 '판단 기준의 소유권'으로의 이동

이 글의 핵심 통찰은 이제 "누가 더 똑똑한 모델을 가졌는가"가 아니라 "누가 '정답(Good)'의 기준을 정의하는가"로 게임의 룰이 바뀌었다는 점이다.

• 과거에는 지식을 많이 가진 자가 권력을 가졌다면, 이제 지식(Intelligence)은 전기처럼 저렴한 유틸리티가 된다.
• 이제 권력은 "이 정도면 안전한 임상 답변이다" 혹은 "이것이 우리 회사에서 통용되는 올바른 업무 처리 방식이다"라고 판단(Judgment)하고 이를 표준화(Benchmark)하는 주체에게 돌아간다. 즉, '정답을 맞히는 능력'보다 '정답의 정의를 내리는 권위'가 더 중요해진 것이다.

시간의 비대칭성: 모델의 속도 vs 조직의 속도

AI 모델은 기하급수적으로 발전하지만, 인간 조직(Firm)과 신뢰 관계는 선형적으로, 혹은 매우 느리게 움직인다.

• 모델의 업데이트는 몇 주 단위로 일어나지만, 병원의 의사결정 프로세스를 바꾸거나 은행의 핵심 시스템 권한을 넘겨주는 일은 수년이 걸린다.
• 이 '속도의 차이'가 역설적으로 인간 전문가와 도메인 특화 기업에게 보호막을 제공한다. 기술적 격차는 금방 좁혀지지만, '관계의 격차'와 '운영의 관성'은 쉽게 좁혀지지 않기 때문이다.

자녀와 미래에 대한 시사점

다음 세대를 위한 교육: '정답 맞히기'에서 '기준 만들기'로

• 교육의 방향: 벤치마크 시험처럼 정답이 정해진 영역(Legible work)은 AI가 가장 먼저 점령할 것이다. 자녀에게 필요한 것은 '주어진 문제를 푸는 능력'이 아니라, '무엇이 가치 있는 문제인지 정의하고, 그 결과가 좋은지 나쁜지 판단하는 기준(Judgment)을 세우는 능력'이다.
• 훈련 불가능한 역량: 타인과의 깊은 신뢰 관계 구축, 복잡한 이해관계 조정, 책임지는 자세 등 '사회적 자본'과 '책임감'이 미래의 가장 강력한 경쟁력이 될 것이다.

의료 분야(소화기·내시경·종양학)로의 함의

• 지능의 상품화: 완벽한 진단 모델이 내일 당장 나와도, 환자가 그 모델을 믿고 수술대에 오르는 것은 별개의 문제다. 의료에서의 '정답'은 단순한 수치가 아니라 환자의 삶의 질, 가치관, 그리고 의사와의 신뢰 관계가 결합된 '사적 정답'이다.
• 전략적 포지셔닝: 단순히 AI 도구를 사용하는 '사용자'에 그치지 않고, "무엇이 안전하고 최선인 임상적 답변인가"에 대한 기준(Clinical Benchmark)을 수립하고 검증하는 주체가 되어야 한다. 즉, AI가 흉내 낼 수 없는 '임상적 판단의 권위'를 구축하는 것이 의료 전문가의 생존 전략이다.