У статистиці адитивне згладжування, яке також називають згладжуванням ЛапласаC. D. Manning, P. Raghavan and H. Schütze (2008). Introduction to Information Retrieval. Cambridge University Press, p. 260. або згладжуванням — це метод, що використовується для згладжування підрахунку даних, усуваючи проблеми, спричинені тим, що певні значення мають 0 спостережень. Враховуючи набір кількості спостережень з -вимірного поліноміального розподілу з випробувань, «згладжена» версія підрахунків задає статистичну оцінку

де згладжений підрахунок , та «псевдопідрахунок» — параметр згладжування, де відповідає відсутності згладжування (цей параметр пояснюється в нижче). Адитивне згладжування є видом оцінки стягування, оскільки отримана оцінка буде між () та рівномірною ймовірністю Типові значення α: 0 (без згладжування), () або 1 (Лапласа), але цей параметр також може бути обраний емпірично на основі спостережуваних даних.

З байєсівської точки зору, це відповідає математичному сподіванню апостеріорного розподілу, якщо використовувати симетричний розподіл Діріхле з параметром α як апріорний розподіл. У окремому випадку, коли кількість категорій дорівнює 2, це еквівалентно використанню бета-розподілу як спряженого апріорного розподілу для параметрів біноміального розподілу.

Історія Лаплас винайшов цей метод згладжування, коли намагався оцінити ймовірність того, що сонце зійде завтра. Його обґрунтування полягало в тому, що навіть маючи велику вибірку днів зі сходом сонця, ми все одно не можемо бути повністю впевнені, що сонце все ще зійде завтра (відомо як ).

Псевдопідрахунок Псевдопідрахунок, або псевдолічильник — це величина (зазвичай не ціле число, незважаючи на назву), що додається до кількості спостережуваних випадків, щоб змінити очікувану ймовірність у моделі цих даних, коли невідомо, чи значення цієї ймовірності нульове. Таку назву введено тому, що, грубо кажучи, псевдопідрахунок значень впливає на апостеріорний розподіл аналогічно до того, якби кожна категорія мала додаткову кількість . Якщо частота кожного елемента є з вибірки розміром , емпірична ймовірність події є

але апостеріорна ймовірність при адитивному згладжуванні дорівнює

Залежно від апріорних знань, які іноді є мають суб'єктивний характер, псевдопідрахунок може мати будь-яке невід'ємне скінченне значення. Воно може бути нульовим (або бути проігнорованим) лише тоді, коли певна подія є неможливою за означенням — наприклад, можливість того, що десятковий розряд числа є літерою, або коли йдеться про фізично неможливу подію, яку відкидають і не враховують, наприклад, якщо комп'ютер надрукує літеру, коли виконується правильний алгоритм для обчислення числа . Також можливе виключення подій через відсутність інтересу, наприклад, якщо цікавлять лише нулі та одиниці. Загалом, також існує ймовірність того, що жодне значення не може бути обчислюваним або спостережуваним за скінченний час (див. проблему зупинки). Однак принаймні одна можливість повинна мати ненульовий псевдопідрахунок, інакше неможливо зробити жодного прогнозу до першого спостереження. Відносні значення псевдопідрахунків відображають відносні апріорні очікувані ймовірності можливих подій. Сума псевдопідрахунків, яка може бути дуже великою, визначає вагу апріорних знань у порівнянні з усіма фактичними спостереженнями (по одному на кожне), коли обчислюється очікувана ймовірність.

У будь-якому спостережуваному наборі даних або вибірці існує ймовірність, особливо для подій з низькою ймовірністю у невеликих наборах даних, що можлива подія не відбудеться. Тому її спостережувана частота дорівнює нулю, що, очевидно, передбачає нульову ймовірність. Таке спрощення є неточним і часто некорисним, особливо в методах машинного навчання на основі ймовірностей, таких як штучні нейронні мережі та приховані моделі Маркова. Штучно коригуючи ймовірність рідкісних (але не неможливих) подій так, щоб ці ймовірності не були точно нульовими, вдається уникнути проблем з нульовою частотою. Див. також .

Вибір псевдопідрахунку

Слабоінформативний апріорний розподіл Поширеним підходом є додавання 1 до кожної кількості спостережених подій, включно з випадками, де кількість дорівнює нулю. Це іноді називають Лапласа. Цей підхід еквівалентний припущенню рівномірного апріорного розподілу ймовірностей для кожної можливої події (що охоплює симплекс, де кожна ймовірність знаходиться між 0 та 1, а всі вони в сумі дорівнюють 1).

Використовуючи , до кожного можливого результату слід додати псевдопідрахунок, рівний одній другій.

Псевдопідрахунки слід встановлювати рівними одиницю або одній другій лише тоді, коли взагалі відсутні будь-які апріорні знання — див. . Однак, якщо наявні певні апріорні знання, суму потрібно коригувати пропорційно сподіванню, що ці апріорні ймовірності слід вважати правильними, незважаючи на суперечні емпіричні дані — див. . Більші значення псевдопідрахунків є доречними, якщо існують апріорні знання про істинні значення (наприклад, для монети у відмінному стані); менші значення, якщо є попереднє знання про ймовірне зміщення, але ступінь якого невідомий (наприклад, для погнутої монети).

Частотний інтервал Один із способів обґрунтувати використання псевдолічильників, особливо для біноміальних даних, полягає у застосуванні формули для середньої точки , зокрема . Найвідоміший підхід належить у праці : середня точка , що охоплює стандартних відхилень з кожного боку, визначається формулою

Якщо взяти значення стандартного відхлення (що приблизно відповідає 95% довірчому інтервалу, тобто ), це дає псевдопідрахунок, рівний 2 для кожного можливого результату, або 4 у сумі, що неформально відоме як «правило плюс чотири»:

Це також є серединою .

Відомі частоти інциндентності Часто зміщення невідомої вибірки перевіряють відносно контрольної сукупності з відомими параметрами (частотами інциндентності) У цьому випадку рівномірну ймовірність слід замінити відомою частотою інциндентності контрольної сукупності щоб обчислити згладжену оцінку:

Для перевірки узгодженості, якщо емпірична оцінка збігається з відомою частотою інциндентності, тобто то згладжена оцінка не залежить від і також дорівнює частоті інциндентності.

Застосування

Класифікація Адитивне згладжування є поширеним методом у наївних байєсівських класифікаторах.

Статистичне моделювання мови У моделі «мішка слів» для обробки природної мови та пошуку інформації дані складаються з кількості входжень кожного слова в документ. Адитивне згладжування дозволяє присвоювати ненульові ймовірності словам, які не зустрічаються у вибірці. Дослідження показали, що адитивне згладжування є ефективнішим за інші методи згладжування ймовірностей у кількох завданнях пошуку, таких як на основі мовної моделі та у рекомендаційних системах.

Див. також

Прогнозування шляхом часткового збігу Категорійнийний розподіл

Посилання

Джерела

Зовнішні посилання

С. Ф. Чен, Дж. Гудман (1996). «Емпіричне дослідження методів згладжування для моделювання мови». Матеріали 34-ї щорічної зустрічі Асоціації комп'ютерної лінгвістики. Псевдопідрахунки Баєсівська інтерпретація псевдочисельних регуляризаторів Відео, що пояснює використання адитивного згладжування в наївному баєсівському класифікаторі