Funkcja straty (funkcja kosztu, funkcja celu) - funkcja stosowana w wielu problemach dotyczących optymalizacji, w różnych dyscyplinach wiedzy. Zadanie optymalizacyjne polega na szukaniu minimum funkcji straty. W statystyce funkcja straty jest zwykle stosowana w estymacji parametrów, a analizowane zdarzenie odnosi się do pewnej funkcji różnicy między oszacowaniem a wartością rzeczywistą dla danej obserwacji; do statystyki pojęcie funkcji straty wprowadził Abraham Wald w połowie XX wieku. W ekonomii funkcja straty opisuje najczęściej koszt ekonomiczny. W klasyfikacji określa "karę" za błędną klasyfikację przykładu. W naukach aktuarialnych funkcja straty stosowana jest w kontekście ubezpieczeniowym do modelowania relacji między wypłacanymi świadczeniami a składkami, szczególnie od prac Haralda Craméra z lat 20. XX wieku. W sterowaniu optymalnym określa karę za nieosiągnięcie pożądanej wartości, natomiast w zarządzaniu ryzykiem finansowym odwzorowuje stratę pieniężną.
Odgrywa szczególną rolę w uczeniu maszynowym, w modelach sztucznej inteligencji.
mały|Porównanie wybranych funkcji straty (MAE, SMAE, funkcja Hubera i log-cosh) stosowanych w regresji|299x299px
Funkcja straty w optymalizacji i uczeniu maszynowym Funkcja straty (ang. loss function) to matematyczna miara błędu modelu uczonego maszynowo. Określa, jak bardzo przewidywania modelu różnią się od wartości rzeczywistych i stanowi podstawowy element procesu optymalizacji. Celem uczenia jest minimalizacja wartości funkcji straty. Funkcja straty porównuje wartości prawdziwe
oraz wartości przewidywane przez model
które zależą od pewnej liczby parametrów
stosowanych w modelu. W optymalizacji dąży się do znalezienia wartości parametrów minimalizujących funkcję straty.
Popularne funkcje straty Regresja
(1) Błąd średni kwadratowy (ang. mean squared error - MSE) - funkcja najczęściej stosowana w regresji:
(2) Średni błąd bezwzględny (ang. mean absolute error - MAE) - funkcja odporniejsza na wartości odstające od pozostałych danych
Klasyfikacja Entropia krzyżowa - stosowana w klasyfikacji binarnej; dla wielu klas mamy
Funkcja straty 0-1 / zniekształcenie Hamminga W statystyce i teorii decyzji często używa się funkcji straty 0-1
W teorii informacji ta funkcja straty znana jest pod nazwą zniekształcenia Hamminga. Funkcja ta mierzy wielkość zniekształceń transmisji danych dyskretnych, gdzie błędy polegają na zamianie jednych symboli na inne.
Dla ciągu symboli i jego rekonstrukcji (np. podczas transmisji z serwera do komputera) całkowite zniekształcenie definiuje się funkcją straty, która mierzy odsetek błędnie odtworzonych symboli:
Przykład Dla sygnału nadawanego oraz sygnału odtworzonego różniących się w drugiej pozycji otrzymujemy
Zastosowania analiza błędów przy kodowaniu symboli kodowanie źródła z dopuszczalnym zniekształceniem, modele transmisji sekwencji dyskretnych, teoria szybkość–zniekształcenia (rate–distortion theory). Funkcja straty w programowaniu liniowym W zadaniach programowania liniowego funkcja straty jest funkcją liniową; celem programowania jest znalezienie minimum tej funkcji; jeśli funkcja straty jest właściwie wybrana, to znalezienie jej minimum oznacza znalezienie wartości parametrów, które dają optymalne rozwiązanie problemu. Dla zdefiniowanego zadania programowania liniowego:
Jeżeli problem optymalizacyjny polega na znalezieniu maksymalnej wartości pewnej funkcji, to funkcję ta nazywa się funkcją celu. Funkcję straty / celu można poddać przekształceniom:
zadanie maksymalizacji można zastąpić równoważnym zadaniem minimalizacji poprzez zamianę znaku we współczynniku składniki stałe niezależne od x można pominąć zmienne nieustalonego znaku można zastąpić sumą dwóch zmiennych o przeciwstawnych znakach ograniczenia nierównościowe można sprowadzić do równań poprzez dodanie dopełniających zmiennych
Zobacz też metoda gradientu prostego propagacja wsteczna perceptron
Bibliografia
Mitchell T., Machine learning, McGraw-Hill Companies, Inc., 1997 Bolc L., Zaremba P., Wprowadzenie do uczenia się maszyn, Akademicka Oficyna Wydawnicza, 1993
Linki zewnętrzne
C Kategoria:Teoria decyzji