잃어버린 확신 (Lost Confidence) - 분석 노트

한 줄 요약

우리가 프로젝트 우선순위를 정할 때 사용하는 '확신 점수(Confidence Score)'는 정의도 불명확하고, 검증 데이터도 없으며, 실제로는 작은 프로젝트에 높은 점수를 주고 큰 혁신 프로젝트는 체계적으로 밀어내는 왜곡을 일으키므로, 불확실성(uncertainty) 영역에서 '확률 분포와 무관하게 현명한 행동'을 찾는 여러 실제적 기법으로 대체해야 한다.

원문 핵심 내용 (가장 두텁고 깊게)

### 확신 점수의 겉보기 합리성과 숨은 함정

많은 우선순위 프레임워크(RICE, RPS 등)는 '이 프로젝트를 예상 노력과 예상 임팩트대로 수행할 수 있다고 얼마나 확신하는가'를 점수에 포함한다. 겉보기엔 합리적이다. 가치와 노력이 같은 두 프로젝트가 있을 때, 실행 확신이 높은 쪽을 고르는 것은 직관적으로 맞아 보인다. 하지만 실제 사용 방식은 이렇지 않다. 올바른 과정은 "① 점수 매김 → ② 명확한 승자가 있으면 실행 → ③ 동점이면 확신 높은 쪽 선택"이어야 한다. 그런데 RICE는 1단계 점수 계산식에 확신을 직접 곱해 넣는다.

RICE 공식: Score = (Reach × Impact × Confidence) / Effort

이렇게 하면 다음과 같은 두 시나리오가 동일한 점수로 계산된다.

• 작지만 확실히 실행할 수 있는 점진적 기능 (확신 높음)
• 리스크는 크지만 잠재 임팩트가 큰 대형 기능 (확신 낮음)

이것은 '거짓 등가(false equivalence)'다. 작은 프로젝트는 대개 확신이 높고 큰 프로젝트는 확신이 낮은 것이 현실인데, 확신을 곱하면 가치 있는 대형 프로젝트가 체계적으로 밀려난다. 애자일(Agile) 운동의 핵심 동기가 "대형 프로젝트 성공에 대한 확신은 항상 낮아야 한다"는 통찰이었다는 사실을 떠올려 보라. 확신 점수는 그 통찰을 정반대로 왜곡한다.

### 확신 점수를 믿을 수 없는 세 가지 이유

첫째, 정의가 모호하다. "확신 30%"가 무엇을 의미하는가? 진정으로 유효하려면 모든 프로젝트의 확신 점수를 기록하고, 실제 결과와 대조해 정확도를 수학적으로 계산해야 한다. 하지만 그런 작업을 하는 조직은 거의 없다. 연간 주요 기능이 몇 개뿐이라면 사후 검증용 데이터도 턱없이 부족하다.

둘째, 프로젝트는 거의 항상 늦고 임팩트도 작다. 우리는 모두 Hofstadter의 법칙을 안다. "Hofstadter의 법칙을 감안해도 항상 예상보다 오래 걸린다." 9개월, 6개 팀이 투입된 프로젝트도 "어느 정도 확신"이 있었기에 시작했다. 그런데도 예상보다 늦어지고 효과는 기대에 못 미친다. 경험 많은 PM에게 "환영받을 거라 확신했지만 실패한 기능"을 물으면 누구나 여러 사례를 술술 이야기한다. 고객 대화, 명시적 요청, 구매 약속 같은 근거가 있어도 막상 만들면 약속한 사람조차 거의 쓰지 않는다. 예측을 개선하는 기법(예: 고객에게 실제 워크플로 단계별로 어떻게 쓸지 설명하게 하기)도 완전히 없애지는 못한다.

셋째, 확신과 결과의 관계는 완전히 무작위적이다. 원문에서는 2×2 표를 제시한다.

네 칸 모두 사례가 가득하다. 콘텐츠 제작자에게도 마찬가지다. 별 기대 없이 급히 쓴 글이 그해 최고 조회수를 기록하고, 수십 시간 공들인 역작은 외면받는다. 확신은 예측력이 거의 없다.

### 불확실성 영역에서의 새로운 질문

답은 확률(probability)이 아닌 불확실성(uncertainty) 영역에 있다. 확률은 분포를 안다는 전제를 깐다. 공정한 동전 100회 던지기는 앞면이 40~60회 나올 확률을 꽤 정확히 예측할 수 있다. 하지만 스타트업의 성공, 전략, 기능은 전례가 없거나 너무 복잡하거나 입력 변수의 정밀도가 없다. 이는 경제학자 Frank Knight가 1921년에 정의한 'Knightian Uncertainty(나이트적 불확실성)' 영역이다. 베이즈(Bayesian) 방법도 수치적 사전확률과 조건부확률이 필요한데, 둘 다 알 수 없고 정의할 수 없다.

따라서 질문을 바꿔야 한다. "확률 분포와 무관하게 어떤 행동이 현명한가?" 저자는 다섯 가지 구체적 기법을 제시한다.

### 다섯 가지 대체 기법의 작동 방식과 예시

1. 항상 참인 것 (True always) Bezos의 장기 상수(long-term constants) 원칙. 사용자는 보편적으로 빠르고 반응성 좋은 소프트웨어를 선호한다. 최악의 경우(속도에 무관심)에도 속도는 부정적으로 보지 않는다. Notion, Figma, Gmail 같은 제품에서 성능이 핵심 차별화 요소가 된다. 또한 SOC 2 규정 같은 엔터프라이즈 요구사항은 지루하지만 판매에 확실히 필요하다. 단, 가장 혁신적인 아이디어는 이 범주에 거의 들어가지 않는다는 한계가 있다.

2. 빠른 발견, 빠른 회복 (Quick discovery, quick recovery) 만들기 전에 완전히 확신할 수는 없지만, 만들기 전에 검증 실패(invalidate)할 수는 있다. '더미 기능(dummy features)' 예시가 인상적이다. 버튼을 클릭하면 "이 기능은 아직 없습니다. 어떻게 쓰실지 알려주세요"라는 메시지가 나온다. 이 버튼을 실제로 클릭한 사용자 수는 설문조사보다 100배 더 강한 신호다. 관찰된 행동(observed behavior)이 진술된 의도(stated intention)를 이긴다.

3. 고객 임팩트에 집중 확신을 임팩트로 대체한다. 저자는 두 가지 임팩트를 정량화한다.

• 다수결(Majority rule): 고객의 최소 51%가 정기적으로 사용하는 기능.
• 열성 옹호자(Passionate advocates): 고객의 최소 15%가 선택 이유 상위 3개로 언급하는 기능. 예: iPod의 매력 덕에 수십억 명이 끔찍한 iTunes를 참아냄. 아름다운 디자인 하나로 기능 부족을 용인받는 사례.

4. 레버리지에 투자 (Invest in leverage) 작은 변화가 큰 결과를 내는 구조적 영역에 집중한다. 저자의 신간을 홍보하는 부분이지만, 개념 자체는 타당하다.

5. 옵션 극대화 (Maximize optionality) 미래를 알 수 없으므로, 도착했을 때 선택지의 수를 최대화하는 결정을 내린다. 예: 낮은 비용 유지, 크로스플랫폼 UI 라이브러리 선택, 플러그인 아키텍처, API-first 설계, 벤더 래퍼(wrapper). 단, 초기 스타트업에게는 속도가 더 중요할 수 있으므로 맥락에 따라 판단해야 한다. 회사 전체의 최고 옵션은 '훌륭한 회사'를 만드는 것이다. 건강한 성장, 큰 마진, 고객과 직원의 사랑이 많은 옵션(인수, IPO, 장기 운영 등)을 열어준다.

6. 비대칭 베팅 (Asymmetric bets) 포트폴리오는 변동성을 줄이지만 최대 상승도 줄인다. 반면 비대칭 베팅은 하방은 제한적이고 상방은 무제한인 베팅을 추구한다. 확률을 추정하려 하지 말고, 최악의 경우(예: 2개월, 3명의 엔지니어)와 최선의 경우(완전한 차별화)를 구체적으로 추정하라. 하방이 생존 가능하고 상방이 '10번 져도 한 번 이기면 본전'이라면 확률은 중요하지 않다. '타임박스(time-box)'가 하방을 제한하는 메커니즘이다.

새로운 시각

### 확신 게임은 의료 현장의 '임상적 확신'과 닮아 있다

사용자는 소화기내시경·종양학 분야 종사자다. 의료에서 '확신'은 진단과 치료 결정에 결정적이다. 내시경 검사에서 병변을 발견했을 때 "이게 암일 확률이 30%"라는 식의 확신은 얼마나 신뢰할 만한가? 저자가 지적한 대로, 그 30%는 보통 경험에 기반한 직관이지 데이터로 검증된 숫자가 아니다. 의료에서도 'Knightian Uncertainty'가 존재한다. 환자 각각의 유전체, 면역 상태, 병력은 전례가 없고 복잡하다. 리스크 계산기를 사용해도 개별 환자의 예후는 믿기 어렵다.

여기서 저자의 기법을 의료 의사결정에 적용할 수 있다. '항상 참인 것'은 감염 관리, 정확한 기록, 환자 안전 같은 기본 원칙이다. '고객(환자) 임팩트'는 생존율 향상 또는 삶의 질 개선 같은 명확한 지표로 대체할 수 있다. 하지만 의료에서는 실패가 생명과 직결되므로, 비대칭 베팅은 다르게 적용된다. 하방이 치명적이기 때문에 '제한적 하방'을 보장하는 베팅만 허용된다. 예를 들어 조기 발견 프로그램은 약간의 비용(하방 작음)으로 생존율을 크게 높일 수 있다(상방 큼) → 전형적인 비대칭 베팅이다. 반면 확신이 낮은 실험적 치료는 신중한 접근이 필요하다.

### 교육에서 '확신 점수'의 함정: 우리는 아이들에게 무엇을 가르치고 있는가?

이 글이 교육 시스템에 주는 교훈은 깊다. 현재 교육은 확신 점수를 높게 주는 요소(시험 점수, 정해진 커리큘럼, 단기적 성취)를 체계적으로 보상한다. 하지만 진짜 가치가 큰 것들(탐구 능력, 창의적 실패, 복잡한 문제 해결)은 '리스크가 크고 확신이 낮은' 대형 프로젝트와 같아서 밀려난다. 저자의 말을 빌리면, 교육 우선순위 프레임워크가 정반대의 결과를 낳고 있는 것이다.

새로운 시각은 '불확실성에 살아남는 법'을 가르치는 것이 핵심 교육 목표가 되어야 한다는 점이다. 저자의 다섯 기법을 교육에 매핑하면: 항상 참인 것(기초 문해력·수리력), 고객 임팩트(학생이 실제로 가치 있게 여기는 역량), 옵션 극대화(다양한 진로·전환 가능성), 비대칭 베팅(한 번의 실패가 치명적이지 않은 도전). 특히 '빠른 발견, 빠른 회복'은 프로젝트 기반 학습과 실패를 두려워하지 않는 문화로 연결된다.

자녀와 미래에 대한 시사점

### 다음 세대가 배워야 할 핵심 기술: '불확실성 리터러시'

아이들은 미래를 예측하는 방법이 아니라, 불확실성 속에서 현명하게 행동하는 방법을 배워야 한다. 확률을 정밀하게 계산하는 것이 아니라, '하방이 제한적인 도전'을 식별하고, '항상 참인 원칙'에 집중하며, '옵션을 최대화하는 사고방식'을 기르는 것이다. 학교에서 '확신 점수'로 평가되는 과제(예: 정답이 정해진 시험) 대신, '비대칭 베팅' 성격의 프로젝트(예: 실패해도 성적에 큰 영향 없지만 성공하면 큰 보상이 있는 탐구 활동)를 장려해야 한다.

### 교육 시스템의 변화 방향

현재 교육은 안전하고 확신할 수 있는 선택(인기 학과, 안정적 직업)을 강조한다. 하지만 저자의 논리에 따르면, 그런 선택은 '작고 확실한 점진적 개선'에 불과하며 진정한 차별화나 성장을 가져오지 못한다. 교육 시스템은 '고객(학생) 임팩트'를 재정의해야 한다. 즉, 학생의 삶에 진정으로 가치 있는 역량(비판적 사고, 협업, 적응력)을 최우선 순위에 두고, 덜 확실하더라도 큰 임팩트를 줄 수 있는 교육 방법(프로젝트 기반 학습, 현장 경험, 자기 주도 학습)에 과감히 투자해야 한다.

### 의료인으로서 개인적 시사점: 환자 교육과 공유 의사결정

의료 현장에서 환자와의 의사결정(shared decision-making)은 불확실성의 전형적인 예다. 환자에게 "이 치료의 성공 확률이 70%"라고 말하는 것은 저자가 비판한 '거짓 확신'일 수 있다. 대신, 저자의 접근법을 적용해 "이 치료가 잘 맞을 최선의 경우는 이렇고, 최악의 경우는 이렇습니다. 당신이 가장 가치 있게 여기는 것은 무엇인가요?"라고 질문하는 것이 더 현명하다. 또한 자녀의 진로 선택에 대해 '확실한 직업'보다 '옵션이 많은 경로'를 추천할 수 있게 된다. 의사의 직업적 직관을 '확신 점수'로 위장하지 않고, 불확실성을 솔직히 인정하는 문화를 만드는 것이 다음 세대 의료인과 환자 모두에게 이익이 될 것이다.