Как понять теорию вероятностей интуитивно (почему «один шанс на миллион» вас обманывает)

В прогнозе сказано «вероятность дождя 30 процентов». Анализ на редкое заболевание пришёл положительным. Джекпот в лотерее достиг 200 миллионов, и коллега скупает пачку билетов. В каждой из этих ситуаций у вашего чутья есть мнение, и чутьё, как правило, ошибается. Вероятность, это та область, где математическая интуиция подводит чаще всего и сильнее всего, причём даже умных людей и даже тех, кто сам преподаёт эту тему. Числа здесь не сложные. Сложными оказываются инстинкты, которые их окружают.

Эта статья, картинка того, что такое вероятность на самом деле, почему привычная интуиция ломается и как её починить. Математика проста. Сложнее сдвиг в мышлении, и он окупается практически в любой сфере, с которой человек сталкивается: погода, медицина, спорт, финансы, азартные игры, машинное обучение, даже обычные бытовые решения вроде «лететь или ехать».

Одна идея: пересчёт

Если убрать всё лишнее, вероятность, это пересчёт. Чтобы найти вероятность события, посчитайте исходы, в которых событие происходит, и разделите на общее число исходов, с которых вы начали. Это вся определение целиком. Каждая формула в учебнике, аккуратный способ что-то посчитать.

Бросьте честную шестигранную игральную кость. Вероятность выпадения 4, это один исход (4) разделить на шесть всего (от 1 до 6), то есть 1/6. Вероятность выпадения чётного числа, это три исхода (2, 4, 6) разделить на шесть, то есть 3/6, или 1/2. Вероятность получить число больше 7, это ноль исходов разделить на шесть, то есть 0, потому что таких исходов попросту не существует.

Если эта картинка напоминает дроби, то так и есть. Как мы показывали в статье про дроби, дробь, это деление, которое ещё не довели до конца. Вероятность, это та же идея, применённая к исходам: подходящие из них поверх всех. Вся тема, дроби сверху донизу.

Загвоздка в том, что «считать исходы» становится сложнее по мере того, как ситуации усложняются. Всё остальное в главе (перестановки, сочетания, условная вероятность, теорема Байеса), это аккуратная бухгалтерия для тех случаев, когда ситуация не так проста, как один кубик.

Независимые события: когда вероятности перемножаются

Допустим, вы дважды подбрасываете честную монету. Какова вероятность того, что орёл выпадет дважды подряд?

Многие отвечают 1/2 плюс 1/2, что равно 1, и это очевидно неверно. Кто-то отвечает 1/2, что выглядит безопаснее, но тоже неверно. Правильный ответ, 1/2 умножить на 1/2, то есть 1/4, и причина заслуживает того, чтобы пару секунд над ней подумать, потому что именно этот шаг ломает интуицию у большинства новичков.

Когда два события независимы (исход одного никак не влияет на исход другого), вероятность того, что произойдут оба, равна произведению их вероятностей. Почему именно умножение? Перечислите все возможные исходы двух подбрасываний: ОО, ОР, РО, РР. Всего четыре, и только один из них, ОО, поэтому ответ 1/4. Умножение, это просто короткая запись этого перечисления.

Та же идея объясняет, почему длинные серии так редки. Вероятность выбросить орла десять раз подряд, это (1/2) в десятой степени, то есть примерно 1 к 1024. Не невозможно, но и не часто. А вероятность с первой попытки случайно угадать шестизначный PIN-код, это (1/10) в шестой степени, то есть один к миллиону. Вот это, настоящий «один на миллион». Скоро мы увидим несколько случаев, которые ненастоящие.

Когда события не являются независимыми

Независимость, это допущение, которое ломает больше задач на вероятность, чем любое другое. Если вы вытащили из колоды две карты, не возвращая первую обратно, вероятность для второй карты уже не та же, что для первой, потому что колода изменилась. В колоде 52 карты и 4 туза, поэтому вероятность вытащить туза первым, это 4/52. После того как вы вытащили туза, в колоде 51 карта и 3 туза, поэтому вероятность вытащить туза вторым, это 3/51. Вероятность вытащить двух тузов подряд, это 4/52 умножить на 3/51, то есть около 0,45 процента.

Это и есть условная вероятность: вероятность одного события при условии, что другое уже произошло. Записывается как P(B при условии A), и именно она нужна большинству реальных рассуждений на практике. «Какова вероятность того, что завтра пойдёт дождь?», это одно число. «Какова вероятность того, что завтра пойдёт дождь, если радар показывает грозовой фронт прямо над городом?», это совсем другое, гораздо большее число. Новая информация перестраивает пересчёт релевантных исходов.

Большинство «парадоксов» теории вероятностей, это задачи на условную вероятность, в которых условие тихонько спрятано. Распутайте условие, и парадокс обычно растворяется.

Парадокс дней рождения

Вот вопрос, который ставит в тупик почти всех. В комнате 23 человека. Какова вероятность того, что хотя бы у двоих день рождения совпадает?

Интуитивный ответ, маленькая, потому что в году 365 дней, а людей всего 23. Реальный ответ, чуть больше 50 процентов. Если в комнате 50 человек, цифра поднимается до 97 процентов. Если 70 человек, она уже больше 99,9 процента. Это и есть парадокс дней рождения, и это не сбой во вселенной. Это сбой в том, как считает интуиция.

Ловушка в том, что вы спрашиваете не «какова вероятность, что у кого-то день рождения совпадёт с моим». Вы спрашиваете «какова вероятность того, что совпадут хотя бы у каких-нибудь двоих». При 23 людях существует 23 по 2 вариантов, то есть 253 различные пары, и у каждой пары есть небольшой шанс совпадения. Это очень много шансов, и маленькие вероятности складываются быстрее, чем ожидает чутьё.

Урок здесь общий. Когда количество возможностей для события растёт квадратично (каждая пара, каждое взаимодействие), редкие события быстро становятся частыми. Шанс 1 к 365 на одну пару превращается в «больше чем равные шансы» в целом, как только пар становится 253.

Базовые частоты и фокус с «одним на миллион»

Медицинский тест «точен на 99 процентов» для болезни, которая встречается у 1 человека из 10 000. Ваш тест положительный. Какова вероятность того, что у вас на самом деле эта болезнь?

Многие, в том числе врачи, отвечают что-то около 99 процентов. Правильный ответ, ближе к 1 проценту.

Вот почему. Представьте 10 000 случайных людей. Примерно у 1 из них болезнь есть, и тест, скорее всего, его поймает. У остальных 9 999 болезни нет, но тест с точностью 99 процентов ошибочно классифицирует 1 процент здоровых как положительных, то есть около 100 ложных срабатываний. Значит, на каждые 101 положительный результат приходится 100 ложных тревог и только 1 настоящий случай. Вероятность того, что у вас действительно болезнь при положительном тесте, это примерно 1 из 101, то есть около 1 процента.

Это игнорирование базовой частоты (base rate fallacy). Когда базовое событие редкое (низкая базовая частота), даже очень точный тест выдаёт в основном ложные срабатывания. Большинство людей вообще пропускают базовую частоту и думают только о точности теста, и в итоге получают число, ошибочное на два порядка.

Этот урок выходит далеко за пределы медицины. «Один на миллион», это число, которое всегда должно вызывать встречный вопрос: один на миллион чего? Один на миллион в день, в год, на попытку, на человека? Событие с вероятностью один на миллион в день случается около 365 раз в год, если в мире хватает дней, и около 8 миллиардов раз в год, если в мире хватает людей. Стоит учесть население и временной интервал, и «один на миллион» обычно перестаёт казаться редким. Заголовок, с которого начинается эта статья, работает по тому же принципу: большинство «чудес», о которых сообщают в новостях, это события один на миллион, у которых было несколько миллиардов попыток произойти.

Ошибка игрока

Колесо рулетки восемь раз подряд выпало на красном. Уж точно чёрное «уже должно» выпасть?

Нет, не должно. У колеса нет памяти. Вероятность чёрного на следующем спине та же самая, что и на первом. Это ошибка игрока (gambler's fallacy), вера в то, что прошлые независимые события меняют шансы будущих. Они их не меняют.

Зеркальная версия той же ошибки, это ошибка горячей руки (hot hand fallacy): вера в то, что игрок, только что забивший несколько бросков подряд, с большей вероятностью забьёт следующий. Для подбрасываний монеты и рулетки это явно неверно, потому что у устройства нет памяти. Для человеческой игры картина по-настоящему сложнее (реальное мастерство существует, иногда существует и реальный кураж), но базовый урок остаётся: большинство «серий», это узнавание паттернов животным, которое эволюционно настроено искать паттерны, есть они там или нет.

Где встречается теория вероятностей

Как только у вас появляется фрейм «пересчёт», вероятность видна повсюду.

Прогнозы погоды: «вероятность дождя 30 процентов» означает, что в большой выборке похожих атмосферных условий дождь шёл примерно в 30 процентах случаев. Это не гарантия, и это не подбрасывание монеты.

Медицина: каждый тест, скрининг и оценка риска опираются на тот же фокус с базовой частотой, что и выше. «Положительный» тест означает совершенно разное для распространённых и редких состояний, и «99 процентов точности» без указания базовой частоты, это почти бессмысленная фраза.

Страхование и финансы: каждая страховая премия, ожидаемая доходность и модель риска, это взвешенное среднее по возможным исходам. Математика здесь, это просто вероятность, умноженная на выплату, просуммированная по всем возможным сценариям.

Стандартизированные экзамены: SAT, ACT, GRE, AP Statistics, ЕГЭ и GCSE, во всех есть задачи на вероятность, и многие из них, замаскированные задачи на условную вероятность. Как мы отмечали в гиде по подготовке к SAT, фокус не в арифметике, а в распознавании структуры задачи.

Машинное обучение: каждый классификатор выдаёт вероятности, а каждая метрика (точность, полнота, ROC-кривые), это аккуратное применение условной вероятности и базовых частот. Игнорирование базовой частоты бьёт и здесь: модель с точностью 99 процентов на редком событии вполне может быть бесполезной в продакшене.

Как быстро прикидывать шансы

Большинство реальных задач на вероятность не требуют точного ответа. Им нужна быстрая обоснованная оценка. Вот приёмы, которые довезут вас почти до конца.

Сначала переведите в дробь, потом в проценты или десятичную дробь. «1 на 100», это 1/100, это 1 процент, это 0,01. Как мы рассказывали в статье про приёмы устного счёта, беглость в этих переводах, один из самых выгодных навыков, потому что почти любая задача на вероятность заканчивается переключением между записями.

Всегда ищите базовую частоту, особенно когда вам сообщают точность теста для редкого события. Если базовая частота маленькая, число точности, это ловушка.

Аккуратно проверяйте независимость. Два события могут выглядеть независимыми, хотя на самом деле одно тянет за собой другое (результаты тестов одного и того же пациента, акции внутри одного сектора, ученики одного класса). Когда у событий есть скрытая общая причина, перемножение вероятностей даёт ответ, который оказывается либо слишком маленьким, либо слишком большим.

Стресс-тестируйте «один на миллион». Спрашивайте: один на миллион чего, на скольких людей, за какой срок? Большинство «редких» событий перестают быть редкими, как только вы сосчитаете возможности.

Как практика выстраивает рефлекс

Теория вероятностей, это та тема, где распознавание паттернов важнее всего, потому что одна и та же задача приходит в двадцати разных костюмах. Ученик, который много раз видел одни и те же структуры (независимые против зависимых, с возвращением против без, условные против совместных), начинает узнавать структуру за секунды, и арифметика выпадает уже из этого узнавания.

Прогрессия по группам в Math Zen хорошо ложится на то, как тема и сама хочет, чтобы её учили. Самые ранние группы посвящены пересчёту исходов в простых экспериментах (кости, карты, монеты). Средние группы отрабатывают правило умножения и правило сложения для объединений, со смешанной практикой, чтобы мозг научился определять ситуацию, а не слепо применять формулу. Поздние группы работают над условной вероятностью, математическим ожиданием и классическими задачами (парадокс дней рождения, парадокс Монти Холла, задачи на базовую частоту). Поскольку практика короткая и распределена во времени, у вас многократно появляются шансы узнать структуру, и именно это в конце концов превращает правила в рефлексы.

Главный вывод

Теория вероятностей, это одна идея: посчитайте подходящие исходы, разделите на все возможные и честно проверьте, действительно ли события, которые вы считаете, независимы. «Парадоксы», это просто ситуации, в которых чутьё считает не то же самое, что математика. Перемножайте, когда события независимы. Складывайте, когда хотите вероятность того или другого (вычитая пересечение, чтобы не учесть его дважды). Условьтесь, когда приходит новая информация. Всегда смотрите на базовую частоту, особенно когда вам подсовывают «один на миллион».

Стоит начать спрашивать «один на миллион чего, на сколько людей, за какой срок», и повседневный мир перестаёт казаться случайным в прежнем смысле. Лотерея превращается в небольшое ожидаемое отрицательное значение с редкими джекпотами. Медицинский тест превращается в вопрос о базовых частотах. Горячая серия превращается в совпадение, которое мозг наряжает в причинность. Сами числа не меняются, но меняется то, как вы их читаете, и эта перемена окупается на всю жизнь.