몬티 홀 문제, 문을 바꾸면 확률이 2배인 이유

게임 쇼에 나왔어요. 눈앞에 문 3개가 있고, 하나 뒤에 자동차가 숨어 있어요. 나머지 두 문 뒤에는 염소. 당신은 1번 문을 골랐어요. 그러자 진행자가 3번 문을 열어서 염소를 보여줘요. 그리고 묻죠. "선택을 바꾸시겠습니까?"

남은 문은 2개. 확률은 반반 아닌가? 바꾸든 유지하든 똑같지 않나?

아니에요. 바꾸면 당첨 확률이 2/3, 유지하면 1/3이에요. 이 글 끝까지 읽으면 왜 그런지 머릿속에 그림이 그려질 거예요.

🎬 TV 쇼에서 시작된 수학 전쟁

1963년부터 약 40년간 미국에서 방영된 TV 쇼 Let's Make a Deal의 진행자 이름이 몬티 홀이에요. 이 쇼의 규칙을 수학 문제로 처음 정리한 건 1975년이고, 대중적으로 폭발한 건 1990년이에요.

기네스북에 IQ 228로 등재된 마릴린 보스 사반트가 잡지 《퍼레이드》의 칼럼에서 이 문제를 다뤘어요. 그녀의 답변은 간단했죠.

🔑 "선택을 바꾸세요. 유지하면 1/3, 바꾸면 2/3입니다."

약 1만 통의 항의 편지가 쏟아졌어요. 그중 약 1,000통은 수학·공학 박사학위 소지자가 보낸 거예요 (National Geographic, 2021; Wikipedia, "Monty Hall problem"). 천재 수학자 폴 에르되시조차 동료들의 설명을 거부하다가, 컴퓨터 시뮬레이션 10만 회 결과를 눈으로 확인한 뒤에야 수긍했어요 (Vazsonyi, 1999).

박사 1,000명이 틀릴 정도면, 이건 단순한 산수 문제가 아니에요. 인간 직관의 구조적 한계가 드러나는 문제예요.

🚪 처음 고른 순간의 확률이 변하지 않는다

핵심을 짚어볼게요. 문 3개 앞에 서서 1번을 골랐어요. 이 시점에서 각 문 뒤에 자동차가 있을 확률은 이래요.

문	자동차 확률
1번 (내 선택)	1/3
2번 + 3번 (나머지)	2/3

$P(\text{1번에 자동차}) = \frac{1}{3}$

자, 여기서 진행자가 3번 문을 열어 염소를 보여줬어요. 이때 많은 사람이 "남은 문이 2개니까 반반이지"라고 생각하는데, 함정이 바로 여기에 있어요.

진행자는 정답을 알고 있는 사람이에요. 절대 자동차가 있는 문을 열지 않아요. 랜덤이 아니라 의도적으로 염소 문을 골라서 열어주는 거예요. 이 행위가 확률 구조를 바꿔요.

내가 1번을 고른 순간 확정된 1/3은 그대로예요. 진행자가 문을 열었다고 해서 내 선택의 확률이 올라갈 이유가 없거든요. 나머지 영역이 가지고 있던 2/3가, 3번이 탈락하면서 2번 문 한 곳에 모이는 거예요.

🧮 100개 문으로 늘려보면 보인다

3개에서는 감이 안 잡혀도, 문을 100개로 늘리면 직관이 달라져요. 보스 사반트 본인이 사용한 설명법이기도 해요.

문 100개 중 1번을 골랐어요. 자동차가 1번 뒤에 있을 확률은 1/100. 나머지 99개에 있을 확률은 99/100이에요.

진행자가 나머지 99개 중 98개를 열어서 전부 염소를 보여줬어요. 이제 남은 건 내가 고른 1번과, 진행자가 남겨둔 77번 단 하나.

바꾸시겠어요?

1번에 자동차가 있을 확률은 여전히 1/100이에요. 77번에 있을 확률은 99/100이에요. 진행자가 98개 문을 "이건 아니야, 이것도 아니야" 하면서 제거해준 거니까, 77번을 남겨둔 데에는 이유가 있죠. 이렇게 보면 바꾸는 게 압도적으로 유리하다는 감이 오죠.

문 3개짜리 몬티 홀 문제는 이것의 축소판이에요. 숫자만 작아서 차이가 극적으로 안 느껴질 뿐, 구조는 같아요.

🕊️ 비둘기는 맞히는데 사람은 틀린다

2010년, 심리학자 월터 허브랜슨과 줄리아 슈로더가 비둘기를 대상으로 몬티 홀 실험을 했어요 (Herbranson & Schroeder, 2010, Journal of Comparative Psychology).

실험 첫날 비둘기들은 약 36%만 문을 바꿨어요. 30일째가 되자 96%의 확률로 바꾸는 전략을 택했어요. 비둘기는 이론을 모르지만, 시행착오를 반복하면서 경험적으로 "바꾸면 먹이가 더 자주 나온다"는 패턴을 체득한 거예요.

반면 같은 실험에 참여한 인간 피험자들은 200회 이상 반복해도 바꾸는 비율이 눈에 띄게 올라가지 않았어요.

왜 그럴까요? 사람은 결과를 경험하는 대신 머릿속 이론으로 판단하려 하거든요. "문이 2개 남았으니 반반이지"라는 직관이 너무 강력해서, 데이터를 봐도 기존 믿음을 고수해요. 확증편향(이미 블로그에서 다뤘죠?)이 여기서도 작동하는 셈이에요.

📊 조건부 확률, 수식으로 한 번만

수학 기호가 나오면 도망가고 싶겠지만, 딱 한 번만 볼게요. 베이즈 정리를 적용하면 이래요.

$P(\text{2번에 자동차} \mid \text{진행자가 3번을 열었음}) = \frac{P(\text{3번을 열었음} \mid \text{2번에 자동차}) \times P(\text{2번에 자동차})}{P(\text{3번을 열었음})}$

각 값을 넣으면:

항목	값	이유
$P(\text{2번에 자동차})$	1/3	처음 배치 확률
$P(\text{3번 열기} \mid \text{2번에 자동차})$	1	진행자는 염소 문만 열 수 있으니 3번을 열 수밖에 없음
$P(\text{3번 열기})$	1/2	전체 경우를 따지면 절반

$P = \frac{1 \times \frac{1}{3}}{\frac{1}{2}} = \frac{2}{3}$

바꿨을 때 당첨 확률 2/3. 유지했을 때 1/3. 수식이 말해주는 건 앞에서 직관으로 느꼈던 것과 같아요. 진행자의 "정보를 가진 행동"이 나머지 문의 확률을 몰아주는 거예요.

💡 직관은 왜 자꾸 틀릴까

💡 몬티 홀 문제가 어려운 이유는 수학이 어려워서가 아니에요. 우리 뇌가 "남은 선택지 수"에만 집중하고, "진행자가 정보를 가지고 행동했다"는 조건을 무시하기 때문이에요.

심리학에서는 이걸 등확률 편향(equiprobability bias)이라고 불러요. 남은 선택지가 N개면 각각 1/N이라고 자동으로 가정하는 습관이에요. 동전 앞뒤, 주사위 6면처럼 대칭적인 상황에서는 맞는 가정이지만, 몬티 홀처럼 정보가 비대칭인 상황에서는 틀려요.

에르되시 같은 천재 수학자도 이 직관에서 벗어나지 못했어요. 논리적 설명을 듣고도 납득 못 하다가, 10만 번 시뮬레이션 결과를 눈으로 확인한 뒤에야 받아들였죠. 허브랜슨은 이렇게 평했어요. "에르되시가 비둘기처럼 경험적으로 접근한 뒤에야 정답을 받아들일 수 있었다."

확률 문제에서 직관을 믿으면 위험한 이유, 몬티 홀이 가장 깔끔하게 보여주는 사례예요.

그럼 다음에 확률 문제 하나 더 들고 올게요. 오늘도 읽어줘서 고마워요 👋

📚 참고 자료

National Geographic (2021), "Pigeons outperform humans at the Monty Hall Dilemma"
Herbranson, W. T. & Schroeder, J. (2010), "Are birds smarter than mathematicians?", Journal of Comparative Psychology, 124(1), 1-13
Vazsonyi, A. (1999), "Which Door Has the Cadillac?", Decision Line, 30(1)
Wikipedia, "Monty Hall problem" (en.wikipedia.org)
Steven Pinker (2022), "Why You Should Always Switch", Behavioral Scientist