Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функция активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. — это любая вещественная функция, значение которой зависит только от расстояния до начала координат или от расстояния между некоторой другой точкой , называемой центром: . В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.
Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 годуRadial Basis Function networks , основанной на фундаментальной работе Майкла Пауэлла 1977 года: «We would like to thank Professor M.J.D. Powell at the Department of Applied Mathematics and Theoretical Physics at Cambridge University for providing the initial stimulus for this work.».
Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.
Виды Часто используемые радиально-базисные функций включают в себя ():
Функция Гаусса:
Мультиквадратичная:
Обратная квадратичная:
Обратная мультиквадратичная:
Полигармонический сплайн:
Тонкий сплайн пластины (специальный полигармонический сплайн):
Приближение
Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида: ,
где в качестве аппроксимирующей функции берётся сумма радиальных базисных функций с центрами в точках и коэффициентами . Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам .
Аппроксимационные схемы такого рода особенно полезны в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.
Нейронные сети на основе РБФ
Линейная комбинация:
также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом .
Аппроксимации является дифференцируемой по . Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.
Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.
Примечания
Литература
.
Sirayanone, С., 1988, сравнительные исследования кригинга, мультиквадриков-бигармонический, и других методов решения проблемы минеральных ресурсов, кандидат технических наук. Диссертация, МЭИ. наук о Земле, Университет штата Айова, Эймс, Айова.
Категория:Интерполяция Категория:Нейронные сети Категория:Функции