옆집 아이가 학원을 하나 늘렸다는 소식에 괜히 마음이 급해집니다.
2025년 초중고 사교육비는 27조 5,000억 원이었어요. 다 같이 줄이면 모두 편한데 혼자 줄이면 손해 보는 이 구조가 죄수의 딜레마이고, 각자의 합리적 선택이 굳어진 자리를 내쉬균형이라고 부릅니다.
게임 이론이 다루는 ‘게임’은 무엇일까
게임 이론이라는 이름만 들으면 컴퓨터 게임이나 보드게임 이론 같지만, 여기서 게임은 훨씬 넓은 뜻입니다.
여러 사람이 결정을 내리는데 각자의 선택이 서로에게 영향을 주는 상황, 즉 전략적 상황을 말해요. 가위바위보로 점심 내기하기, 축구 페널티킥, 기업 간 가격 경쟁, 나라 사이의 무역전쟁이 모두 게임입니다.
게임 상황의 핵심 특징은 내 최선의 선택이 상대의 선택에 따라 달라진다는 점입니다.
가위바위보에서 ‘무엇을 내는 게 최선인가’는 상대가 무엇을 내느냐에 달려 있죠. 고전 경제학의 주력 도구인 최적화(optimization)는 이런 상황에 약합니다. 소비자가 소득과 가격을 보고 만족을 최대화하는 문제처럼, 남을 신경 쓸 필요 없이 나만 잘하면 되는 상황에서는 막강하지만, 서로의 선택이 얽히는 순간 힘을 잃어요. 소수 기업이 경쟁하는 과점 시장 연구가 그 중요성에 비해 한동안 더뎠던 이유도 여기 있습니다. 이 벽을 넘으며 20세기 경제학의 지평을 넓힌 게 게임 이론입니다.
게임 이론의 세 가지 재료, 경기자·전략·보수
아무리 단순한 전략적 상황이라도 세 가지 요소는 반드시 들어갑니다. 경기자(player), 전략(strategy), 보수(payoff)예요.
가위바위보로 점심 내기를 하는 갑과 을을 떠올려 보죠.
선택을 해야 하는 주체인 갑과 을이 경기자입니다. 각자 고를 수 있는 가위, 바위, 보가 전략이고요. 보수는 게임 결과에 따라 각 경기자가 얻는 만족도로, 여기서는 점심을 얻어먹는 쪽과 사야 하는 쪽의 기분이
되겠죠. 상황이 복잡해지면 정보나 순서 같은 요소가 더 필요하기도 하지만, 이 셋이 빠진 게임은 없습니다.
내쉬균형, 아무도 먼저 바꾸고 싶지 않은 상태
게임 이론이 알고 싶은 건 결국 ‘그래서 무슨 일이 일어나느냐’입니다.
수학자 존 내쉬(John Nash)는 1950년 이 질문에 대한 답으로 균형 개념을 내놨어요.
모든 경기자가 다른 경기자의 전략을 정확히 예측하고, 거기에 맞춰 최적의 선택을 하고 있는 상태. 이게 내쉬균형(Nash Equilibrium)입니다.
내쉬균형에서는 모두가 이미 상대에 대한 최선을 두고 있으니, 누구도 혼자 행동을 바꿀 이유가 없습니다. 그래서 그 상태가 안정적으로 유지돼요.
반대로 내쉬균형이 아니라면 적어도 한 명은 다른 선택으로 옮겨 가고 싶어 하니 그 상태는 오래가지 못합니다.
이 개념을 기점으로 게임 이론은 폭발적으로 성장해 경제학과 사회과학은 물론 생물학 같은 자연과학에까지 쓰이게 됐습니다. 내쉬의 삶은 영화 〈뷰티풀 마인드〉로도 만들어졌는데, 영화보다 더 극적인 삶이라는 평을 들을 만합니다.
죄수의 딜레마, 똑똑해서 함께 손해 보는 이유
내쉬균형을 가장 선명하게 보여 주는 게 죄수의 딜레마입니다.
갑과 을이 범죄 혐의로 체포됐습니다. 정황상 범인이 분명하지만 물증이 없어 자백이 필요해요. 경찰은 둘이 입을 맞추지 못하게 따로 떼어 신문하면서 이렇게 제안합니다. 둘 다 자백하면 각각 3년 형, 둘 다 끝까지 부인하면 다른 혐의로 1년 형, 한 명만 자백하면 자백한 쪽은 바로 풀어 주고 부인한 쪽은 10년 형.
죄수의 딜레마 보수표 (괄호 안은 갑의 보수, 을의 보수, 단위: 년 형)
| 갑 \ 을 | 을 부인 | 을 자백 |
|---|---|---|
| 갑 부인 | (-1, -1) | (-10, 0) |
| 갑 자백 | (0, -10) | (-3, -3) |
갑의 입장에서 시나리오를 나눠 보죠.
을이 자백한다면 갑은 자백해서 3년을 사는 게 부인해서 10년을 사는 것보다 낫습니다. 을이 부인한다면 갑은 자백해서 바로 풀려나는 게 부인해서 1년을 사는 것보다 낫고요. 을이 뭘 하든 갑에게는 자백이 유리합니다. 을도 정확히 같은 처지니 역시 자백이 유리해요. 그래서 둘 다 자백하는 것이 내쉬균형이 되고, 결과는 각자 3년 형입니다.
그런데 표를 다시 보면 둘 다 부인했을 때가 각자 1년으로 훨씬 낫습니다. 문제는 그 칸이 내쉬균형이 될 수 없다는 거예요. 끝까지 부인하기로 약속했더라도 상대가 약속을 지킨다면 나는 자백해서 바로 풀려나는 게 이득이니, 약속은 버티지 못합니다.
이 결과에서 가장 곱씹을 만한 건 비효율의 원인입니다.
갑과 을이 어리석어서 3년을 사는 게 아니에요. 오히려 너무 똑똑하고 합리적이라서 그 자리에 갇힙니다. 경제학에는 합리적인 개인들이 각자 최선을 다하면 사회 전체의 결과도 효율적일 거라는 암묵적인 믿음이 있었는데, 죄수의 딜레마는 그 믿음에 큰 금을 냈습니다.
군비 경쟁부터 사교육비까지, 현실 속 죄수의 딜레마
이런 구조가 실험실에만 있다면 걱정할 필요가 없겠죠. 현실에는 죄수의 딜레마를 닮은 상황이 널려 있습니다.
서로 적대하는 이웃 나라 A와 B의 군비 경쟁이 대표적이에요.
A가 군비를 늘리면 B는 맞서기 위해 늘려야 하고, A가 늘리지 않아도 B는 우위를 차지하려고 늘리는 게 유리할 가능성이 큽니다. 그렇게 둘 다 군비를 늘리고 힘의 균형은 처음 그대로인데, 그 돈만 비효율적으로 사라집니다. 그 돈을 복지 같은 곳에 썼다면 둘 다 나아졌을 텐데요.
사교육 경쟁도 같은 뼈대를 갖고 있습니다.
국가데이터처의 2025년 초중고 사교육비 조사를 보면 총액은 27조 5,000억 원으로 전년 29조 2,000억 원보다 5.7% 줄었고, 참여율도 75.7%로 4.3%포인트 내려갔습니다. 그런데 사교육을 받는 학생 1인당 월평균 지출은 60만 4,000원으로 오히려 2.0% 늘었어요. 학생 수가 줄고 참여하는 집이 줄어도, 경쟁에 남은 집은 더 많이 쓰는 쪽으로 움직였다는 뜻입니다.
모든 집이 동시에 줄이면 아이들의 상대적 위치는 그대로면서 돈과 시간은 아낄 수 있을 텐데, 한 집만 줄이면 뒤처질 것 같은 두려움이 그걸 막습니다. 대학생들의 스펙 경쟁, 나라끼리 주고받는 보호무역도 비슷한 구조예요.
그래서 이런 비효율을 깨는 데에는 대개 모두를 동시에 묶는 장치가 필요합니다. 강제력 있는 규제나 제한, 군비 경쟁이라면 군축 협상 같은 것들이죠. 약속만으로는 버티지 못한다는 걸 죄수의 딜레마가 이미 보여 줬으니까요.
역지사지가 게임 이론의 출발점인 이유
게임 이론은 자기 이익을 좇는 여러 사람이 얽힌 상황에서 무슨 일이 벌어질지 예측하게 해 줍니다.
내쉬균형의 핵심은 모두가 상대의 선택에 대해 최선을 둔다는 것이고, 그러려면 상대가 어떤 선택을 할지 정확히 읽어야 합니다.
상대의 자리에 앉아 보는 일, 역지사지가 게임 이론의 첫 단계인 셈입니다.
죄수의 딜레마 앞에서도 마찬가지예요. 내가 왜 자백하고 싶은지를 이해하면 상대도 왜 자백하고 싶어 하는지가 보이고, 그때 비로소 둘을 동시에 묶을 장치가 필요하다는 결론에 이릅니다.