Парадокс Берксона, також відомий як упередження Берксона, упередження колайдера, упередження ендогенного відбору або омана Берксона, є результатом у теорії умовної ймовірності та статистиці, який часто вважають контрінтуїтивним, а отже, справжнім парадоксом. Це ускладнювальний фактор, що виникає під час статистичних перевірок пропорцій. Зокрема, він виникає, коли в дизайні дослідження притаманне упередження вибірки. Цей ефект пов'язаний із явищем «пояснення» у баєсових мережах і в графових моделях. Цей парадокс часто ілюструють на прикладах із галузі медичної статистики або біостатистики, як у первинному описі проблеми . Найпоширенішим прикладом парадоксу Берксона є хибне спостереження негативної кореляції між двома бажаними рисами, що члени популяції, які мають одну бажану рису, як правило, не мають другої. Парадокс Берксона виникає, коли це спостереження здається істинним, хоча насправді дві властивості не пов'язані між собою або навіть позитивно корельовані, оськільки члени популяції, в яких відсутні обидві риси, спостерігаються неоднаково. Наприклад, людина може зі свого досвіду зробити висновок, що привабливі знаменитості, як правило, неталановиті, а талановиті знаменитості — непривабливі; проте люди, які не є ні особливо талановитими, ні особливо привабливими, не стануть знаменитостями, тому не потраплять у поле зору спостерігача.
Приклади
Первинна ілюстрація
Класична ілюстрація Берксона стосується ретроспективного дослідження, яке вивчає фактор ризику для захворювання у статистичній вибірці пацієнтів стаціонару. Оскільки вибірки беруться зі госпіталізованих хворих, а не з населення загалом, це може призвести до виявлення несправжнього негативного зв'язку між захворюванням і фактором ризику.
Наприклад, якщо фактором ризику є діабет, а захворюванням — холецистит, то пацієнт лікарні без діабету з більшою ймовірністю матиме холецистит, ніж представник загальної популяції, оскільки пацієнт повинен був мати якусь недіабетичну (можливо, спричиняючу холецистит) причину потрапити до лікарні. Цей результат буде отримано незалежно від того, чи існує будь-який зв'язок між діабетом і холециститом у загальній популяції.
Приклад із базою знайомств Приклад, наведений математиком Джорданом Елленберґом, стосується кола знайомств, що вимірюється за осями «приємності» та «вродливості». Людина може зробити висновок із власного досвіду знайомств, що «вродливі, як правило, не приємні, а приємні, як правило, не вродливі».
Припустімо, Еліс зустрічається лише з чоловіками, чия приємність плюс вродливість перевищують певний поріг. Тоді приємнішим чоловікам не обов'язково бути такими вродливими, щоб потрапити до її кола знайомств. Отже, серед чоловіків, з якими зустрічається Еліс, приємніші в середньому менш вродливі (і навпаки), навіть якщо ці риси не корелюють у загальній популяції. Це не означає, що чоловіки в її колі знайомств є гіршими порівняно з чоловіками в загальній популяції. Навпаки, такий критерій відбору для її кола знайомств означає, що Еліс має високі стандарти. Середній приємний чоловік, з яким вона зустрічається, насправді є вродливішим, ніж середній чоловік у популяції (оскільки навіть серед приємних чоловіків найнепривабливіша частина популяції відсіюється). Негативна кореляція Берксона — це ефект, який виникає в межах кола знайомств: менш приємні чоловіки, з якими зустрічається Еліс, мали бути ще вродливішими, щоб відповідати критеріям, а непривабливі — ще приємнішими.
Кількісний приклад Розглянемо кількісний приклад. Припустімо, колекціонер має 1000 поштових марок, з яких 300 є гарними та 100 — рідкісними, причому 30 є одночасно гарними й рідкісними. 10 % усіх його марок є рідкісними і 10 % його гарних марок є рідкісними, тому гарність нічого не говорить про рідкісність. Він виставляє на показ 370 марок, які є гарними або рідкісними. Трохи більше ніж 27 % марок на виставці є рідкісними (100/370), але все ще лише 10 % (30/300) гарних марок є рідкісними (і 100 % з 70 негарних марок на виставці є рідкісними). Якщо спостерігач розглядає лише марки на виставці, він спостерігатиме хибний негативний зв'язок між гарністю та рідкісністю внаслідок упередження відбору (тобто негарність сильно вказує на рідкісність на виставці, але не в усій колекції).
Твердження Дві незалежні події стають за умови, що відбувається принаймні одна з них. Символічно: Якщо та , тоді .
Доведення: Зауважте, що та враховуючи, що та , (маємо ).
Звідси . Можна побачити це у вигляді таблиці наступним чином: жовті області — це результати, де відбувається принаймні одна подія (∼A означає «не A»).
A ~A B A&B ~A&B ~B A&~B ~A&~B
Наприклад, якщо мати вибірку зі 100 осіб, і дві події A та B незалежні та мають ймовірність , то таблиця несподіваних результатів матиме такий вигляд:
A ~A B 25 25 ~B 25 25
Отже, у 75 випадках відбувається A або B. У 50 з цих 75 випадків відбувається A. Отже, A відбувається з ймовірністю . Бачимо, що ймовірність A є вищою (2/3) у підмножині результатів, де (A або B) виникає, ніж у загальній популяції (1/2). Це не так, якби ми зумовили B: у цьому випадку ймовірність A залишається , оскільки A і B незалежні:
A ~A B 25 25 ~B 25 25
Тут ймовірність A дорівнює 25/50 = 1/2.
Парадокс Берксона виникає тому, що умовна ймовірність A за умови зростає порівняно з безумовною ймовірністю, тоді як умовна ймовірність A за умови B залишається незмінною. Зокрема, .
Оскільки ефект зумовлення на полягає в підвищенні ймовірності A до порівняно з , можна подумати, що коли подія A трапляється рідко , а подія B — часто , тоді може здатися, що A і B негативно корельовані за умови . Однак це не обов'язково так, оскільки навіть коли A і B незалежні, можна мати високий рівень кореляції за умови в крайніх випадках. Справді, припустімо, що і , але . Тоді події A і B мають високу позитивну кореляцію. Розглянемо наступну таблицю для випадку без зумовлення на :
A ~A B 1 0 ~B 0 N
Ми маємо: .Отже, подія A трапляється рідко, якщо тільки не присутня подія B, коли A трапляється завжди. Таким чином, B значно підвищує ймовірність події A. Для випадку зі зумовленням на маємо: . Тепер A трапляється завжди, незалежно від того, присутнє B чи ні. Отже, B не впливає на ймовірність A. Таким чином, ми бачимо, що для сильно корельованих даних величезну позитивну кореляцію B з A можна ефективно усунути, коли зумовлюють на .
Випадки в епідеміології
«Парадокс курця» COVID-19 (2020) На початку 2020 року дані з Китаю, Італії та США показали, що хоча приблизно 20-30% населення загалом курили, лише близько 5-10% госпіталізованих пацієнтів з COVID-19 були курцями. Це може помилково спонукати висунути гіпотезу про те, що нікотин може мати захисний ефект. Парадокс виникає, коли дослідники обмежують свій аналіз «колайдером» — змінною, на яку впливають як вплив (куріння), так і результат (тяжкість COVID-19). У цьому випадку колайдером є відбір для госпіталізації або тестування. Людей госпіталізують з багатьох причин, включаючи важкий перебіг COVID-19 та захворювання, пов'язані з курінням (такі як ХОЗЛ або хвороби серця). Через те, що обидва фактори підвищують ризик госпіталізації, серед пацієнтів лікарні вони здаються негативно корельованими. Пацієнти без захворювань, пов'язаних з куріннями, частіше потраплять до лікарні саме через COVID-19. Це створює враження, що куріння «захищає» від COVID-19, тоді як насправді курці просто перебувають у лікарні з інших причин.
Дослідження Сакетта (1979) Хоча Джозеф Берксон вперше запропонував цю теорію в 1946 році, був першим, хто продемонстрував її, використовуючи реальні дані як із загальної популяції, так і з лікарняних умов. Сакетт та його команда порівняли дві різні групи, щоб побачити, чи змінюється зв'язок між двома конкретними захворюваннями залежно від того, де знаходилися пацієнти. Випадкова вибірка з 2784 осіб із загальної популяції та група з лікарні — підгрупа тієї ж популяції, яка була госпіталізована протягом попередніх шести місяців. Сакетт досліджував зв'язок між захворюваннями дихальних шляхів та захворюваннями опорно-рухового апарату. У загальній популяції не було виявлено статистичного зв'язку між наявністю проблем із диханням та проблемами з кістками або суглобами. Це були незалежні стани. У групі госпіталізованих, раптово з'явився сильний позитивний зв'язок. Люди із захворюваннями дихальних шляхів мали значно більшу ймовірність також мати захворювання опорно-рухового апарату. Кореляція виникла через те, що пацієнти з обома захворюваннями мали вищу ймовірність госпіталізації, ніж пацієнти лише з одним. Якщо у вас, наприклад, болить спина, ви можете залишитися вдома. Якщо у вас лише кашель, ви також можете вирішити залишитися вдома. Але якщо у вас є обидва захворювання, ви з набагато більшою ймовірністю звернетеся за медичною допомогою. Оскільки лікарня «відбирає» людей, які загалом хворіють важче або мають кілька симптомів, дослідник, який розглядає лише лікарняні записи, помилково дійде висновку, що захворювання опорно-рухового апарату якимось чином «спричиняє» або пов'язане з респіраторними захворюваннями.
Дослідження ВІЛ і вагітності У статті Даніеля Вестрейха «Berkson's Bias, Selection Bias, and Missing Data», опублікованій у журналі «Epidemiology», описано дослідження, яке вивчає чи впливає вагітність на час, необхідний для прогресування ВІЛ до стадії СНІДу. Дослідження проводилося на базі клініки для вагітних з обмеженими ресурсами. Виникає проблема вибірки: щоб стати учасницею дослідження, жінка повинна відвідати клініку. Є дві основні причини, чому жінка в цій демографічній групі звертається до клініки: вона вагітна (вплив), у неї є запущені симптоми або новий діагноз СНІДу (результат). Відвідування клініки стає колайдером спричинений як впливом (вагітністю), так і результатом (перехід до СНІДу).
Як парадокс спотворює дані у цьому дослідженні? Якщо дослідники розглядають лише жінок, які відвідують цю конкретну клініку, то вони обумовлюють все «колайдером». Це створює математичний зв'язок між вагітністю та СНІДом, якого не існує в загальній популяції.
Випадок А: Жінка перебуває в клініці. Вона вагітна. Вагітність є достатньою причиною для її госпіталізації, тому жодних інших діагнозів (наприклад, СНІДу) не потрібно. Випадок Б: Жінка перебуває в клініці. Вона не вагітна. Оскільки основна причина (вагітність) відсутня, дослідники повинні шукати інше пояснення її перебування у клініці. Тому статистично більш імовірно, що вона матиме іншу причину, наприклад, симптоми СНІДу на пізній стадії.
Це створює хибне враження, що вагітність «захищає» від ВІЛ. Насправді ж дані викревленні, оскільки невагітні жінки потрапляють до лікарні переважно через важкі хвороби, тоді як вагітні — за станом здоров'я.
Як прибрати парадокс? Найефективніший спосіб усунути парадокс Берксона — запобігти йому ще до збору даних, зробити вибірку на основі популяції. Замість того, щоб набирати учасників із лікарень (що є колайдером), дослідники відбирають учасників із загальної спільноти, де вплив та захворювання будуть незалежними. Сучасні дослідження надають перевагу щойно діагностованим випадкам, а не тим, коли люди хворіють протягом тривалого часу. Використання нових випадків гарантує чітке визначення часу впливу та захворювання, а також зменшує ймовірність того, що хтось перебуває в лікарні виключно через тривале супутнє захворювання. Ретельний відбір контрольної групи також є важливим. У дослідженнях типу «випадок-контроль» дослідники повинні вибирати контрольну групу (здорову групу), яка має таку ж ймовірність бути госпіталізованою, як і група група випадків, з причин, не пов'язаних із досліджуваним впливом.
Статистичне коригування Якщо дані вже були зібрані, дослідники використовують такі математичні інструменти для «виправлення» спотворених кореляцій: