Анса́мблевий фі́льтр Ка́лмана (АФК, ) — це рекурсивний фільтр, придатний для задач із великою кількістю змінних, як-от диференціальних рівнянь із частинними похідними в геофізичних моделях. АФК виник як версія фільтра Калмана для задач великої розмірності (по суті, коваріаційну матрицю замінюють ) і нині є важливою складовою в . АФК пов'язаний із (у цьому контексті частинка — це те саме, що й член ансамблю), проте АФК передбачає, що всі залучені розподіли ймовірностей нормальні; коли це припущення застосовне, АФК значно ефективніший за .
Введення
Ансамблевий фільтр Калмана (АФК) — це втілення задачі баєсового уточнення методом Монте-Карло: за заданими функцією густини імовірності (ФГІ) стану модельованої системи (апріорним розподілом, який у науках про Землю часто називають прогнозом, ) та правдоподібністю даних для отримання ФГІ після врахування правдоподібності даних (апостеріорного розподілу, який часто називають аналізом, ) застосовують теорему Баєса. Це називають баєсовим уточненням (). Баєсове уточнення поєднують із просуванням моделі в часі, час від часу залучаючи нові дані. Первинний фільтр Калмана, запропонований 1960 року, передбачає, що всі ФГІ нормальні (припущення нормальності), та надає алгебричні формули для зміни середнього значення й коваріаційної матриці баєсовим уточненням, а також формулу для просування середнього значення та коваріації в часі за умови лінійності системи. Проте підтримка коваріаційної матриці для систем великої розмірності обчислювально нездійсненна. З цієї причини й було розроблено АФК. АФК подають розподіл стану системи за допомогою сукупності векторів стану, яку називають , і замінюють коваріаційну матрицю , обчислюваною з ансамблю. З ансамблем працюють так, наче він є випадковою вибіркою, але члени ансамблю насправді не незалежні, оскільки всі вони використовують той самий АФК. Однією з переваг АФК є те, що просування ФГІ у часі здійснюється простим просуванням кожного члена ансамблю.Огляд АФК і пов'язаних методів засвоєння даних див. у
Виведення
Фільтр Калмана
Нехай позначує -вимірний вектор стану моделі, і припустімо, що він має нормальний розподіл імовірності із середнім та коваріацією , тобто його ФГІ має вигляд
Тут і нижче означає пропорційність; ФГІ завжди масштабують так, щоби її інтеграл по всьому простору дорівнював одиниці. Цю , звану апріорним розподілом, було просунуто в часі виконанням моделі, й тепер її потрібно уточнити з урахуванням нових даних. Природно припустити, що розподіл похибок даних відомий; дані повинні надходити з оцінкою похибки, інакше вони не мають змісту. Тут припускають, що дані мають нормальну ФГІ з коваріацією і середнім , де — так звана . Коваріаційна матриця описує оцінку похибки даних; якщо випадкові похибки компонентів вектора даних незалежні, то діагональна, а її діагональні елементи є квадратами стандартного відхилення («величини похибки») похибки відповідних компонентів вектора даних . Значення — це те, яким було би значення даних для стану за відсутності похибок даних. Тоді густина ймовірності даних за умови стану системи , звана правдоподібністю даних, має вигляд
ФГІ стану та правдоподібність даних поєднують, щоби за теоремою Баєса отримати нову густину ймовірності стану системи за заданого значення даних (апостеріорний розподіл),
Після отримання даних їх фіксують, тож позначмо апостеріорний стан через замість , а апостеріорну ФГІ — через . Алгебричними перетвореннями можливо показати, що апостеріорна ФГІ також нормальна,
з апостеріорним середнім та коваріацією , заданими калмановими формулами уточнення
де
— так звана матриця передавального коефіцієнта Калмана.
Ансамблевий фільтр Калмана
АФК є наближенням фільтра Калмана методом Монте-Карло, яке дає змогу уникнути розгортання коваріаційної матриці ФГІ вектора стану . Натомість ФГІ подають ансамблем
— це матриця розміру , стовпцями якої є члени ансамблю, звана апріорним ансамблем (). В ідеалі члени ансамблю утворювали би вибірку з апріорного розподілу. Проте члени ансамблю загалом не незалежні, за винятком початкового ансамблю, оскільки кожен крок АФК пов'язує їх між собою. Їх вважають наближено незалежними, й усі обчислення виконують так, наче вони справді незалежні.
Продублюймо дані у матрицю
так, щоби кожен стовпець складався з суми вектора даних та випадкового вектора з -вимірного нормального розподілу . Якщо, крім того, стовпці є вибіркою з розподілу апріорної ймовірності, то стовпці
утворюють вибірку з розподілу апостеріорної ймовірності. Щоби побачити це у скалярному випадку з , нехай , а Тоді
.
Перша сума є апостеріорним середнім, а друга сума, з огляду на незалежність, має дисперсію
,
яка є апостеріорною дисперсією.
Тепер АФК отримують просто заміною коваріації стану у матриці передавального коефіцієнта Калмана вибірковою коваріацією , обчисленою з членів ансамблю (званою ансамблевою коваріацією, ), тобто:
Втілення
Основне формулювання
Тут дотримуємося викладу . Нехай ансамблева матриця та матриця даних визначені як вище. Ансамблеве середнє та коваріація мають вигляд
де
а позначує матрицю зазначеного розміру, всі елементи якої дорівнюють одиниці.
Апостеріорний ансамбль тоді задається як
де збурена матриця даних визначена як вище.
Зауважмо, що оскільки — коваріаційна матриця, вона завжди додатно напіввизначена й зазвичай додатно визначена, тож наведена вище обернена матриця існує, а цю формулу можливо втілити за допомогою розкладу Холецького. У працях замінюють вибірковою коваріацією , де , а обернену матрицю замінюють псевдооберненою, обчислюваною за допомогою сингулярного розкладу.
Оскільки ці формули є матричними операціями, серед яких переважають операції рівня 3, вони придатні для ефективного втілення за допомогою програмних пакетів, як-от LAPACK (на послідовних комп'ютерах і комп'ютерах зі ) та (на комп'ютерах із ). Замість обчислення оберненої матриці та множення на неї значно краще (в кілька разів дешевше обчислювально, а також точніше) обчислювати розклад Холецького матриці й розглядати множення на обернену матрицю як розв'язок лінійної системи з багатьма одночасними правими частинами.
Втілення без матриці спостережень
Оскільки коваріаційну матрицю замінено ансамблевою коваріацією, це приводить до простішої формули, в якій ансамблеві спостереження використовують безпосередньо, без явного задавання матриці . Конкретніше, визначмо функцію вигляду
Функцію називають функцією спостережень () або, в контексті обернених задач, прямим оператором (). Значення — це те, яким було би значення даних для стану за припущення, що вимірювання точні. Тоді апостеріорний ансамбль можливо переписати як
де
а
причому
Отже, уточнення ансамблю можливо обчислити, один раз обчисливши функцію спостережень для кожного члена ансамблю, причому матрицю не потрібно знати явно. Ця формула також справджується для функції спостережень із фіксованим зміщенням , яке також не потрібно знати явно. Наведену вище формулу широко застосовують і для нелінійної функції спостережень , наприклад положення ураганного вихору. У такому разі функцію спостережень, по суті, наближують лінійною функцією за її значеннями на членах ансамблю.
Втілення для великої кількості точок даних
За великої кількості точок даних множення на стає вузьким місцем. Наступна альтернативна формула вигідна, коли кількість точок даних велика (наприклад, при засвоєнні сіткових або піксельних даних), а коваріаційна матриця похибок даних діагональна (що має місце, коли похибки даних некорельовані) або її розклад обчислювально дешевий (наприклад, коли вона смугова через обмежену відстань коваріації). Застосування формули Шермана — Моррісона — Вудбері
де
дає
що потребує лише розв'язування систем із матрицею (яке, за припущенням, обчислювально дешеве) та системи розміру із правими частинами. Кількості операцій див. у праці .
Подальші розширення
Описаний тут варіант АФК передбачає рандомізацію даних. Фільтри без рандомізації даних див. у працях .
Оскільки ансамблева коваріація має неповний ранг (змінних стану набагато більше, зазвичай мільйони, ніж членів ансамблю, яких зазвичай менше сотні), вона має великі елементи для пар просторово віддалених точок. Оскільки насправді значення фізичних полів у віддалених місцях не настільки сильно корельовані, коваріаційну матрицю штучно приглушують залежно від відстані, що породжує алгоритми локалізованих АФК. Ці методи змінюють коваріаційну матрицю, використовувану в обчисленнях, і, отже, апостеріорний ансамбль уже не складається лише з лінійних комбінацій апріорного ансамблю.
Для нелінійних задач АФК може створювати апостеріорний ансамбль із нефізичними станами. Це можливо пом'якшувати регуляризацією, наприклад штрафуванням станів із великими просторовими градієнтами.
Для задач із , як-от урагани, грози, фронти пожеж, лінії шквалів і , стан чисельної моделі потрібно коригувати як деформуванням стану в просторі (його сітки), так і адитивним коригуванням амплітуд стану. 2007 року Равела зі співавт. запропонували модель спільного коригування положення й амплітуди з використанням ансамблів та систематично вивели послідовне наближення, застосовне як до АФК, так і до інших формулювань. Їхній метод не передбачає, що похибки амплітуди й положення незалежні або спільно нормально розподілені, як це роблять інші методи. АФК із морфінгом замість лінійних комбінацій станів використовує проміжні стани, отримувані методами, запозиченими з зіставляння зображень і морфінгу.
Формально АФК спираються на припущення нормальності. На практиці їх можливо застосовувати й до нелінійних задач, де припущення нормальності може не виконуватися. До споріднених фільтрів, які намагаються послабити припущення нормальності в АФК, зберігаючи його переваги, належать фільтри, що наближують ФГІ стану кількома ґауссовими ядрами, фільтри, що наближують ФГІ стану сумішами нормальних розподілів, варіант з обчисленням ваг частинок оцінюванням густини, та варіант частинкового фільтра з товстохвостою ФГІ даних для пом'якшення .
Див. також
Рекурсивне баєсове оцінювання
Примітки
Посилання
EnKF-C, компактна система для засвоєння даних у великомасштабних шаруватих геофізичних моделях за допомогою АФК PDAF — — програмне забезпечення з відкритим кодом для засвоєння даних, що пропонує різні варіанти АФК Building State-of-the-Art Forecast Systems with the Ensemble Kalman Filter — відеопрезентація про ансамблеві фільтри Калмана у прогнозуванні погоди з докладним розглядом деяких ключових математичних понять.