Połączenia rezydualne (ang. skip connections) to rozwiązanie architektoniczne polegające na przekazywaniu sygnału wejściowego bezpośrednio do dalszych warstw sieci z pominięciem bloków transformacji. Dzięki ułatwieniu swobodnego przepływu gradientu w procesie wstecznej propagacji błędu, technika ta skutecznie chroni przed jego zanikaniem lub eksplozją i umożliwia stabilne trenowanie głębokich sieci neuronowych.
Inicjalizacja wag to proces nadawania początkowych wartości parametrom sieci neuronowej w taki sposób, aby utrzymać poziomy sygnału i gradientów na stabilnym poziomie w kolejnych warstwach. Odpowiednio dobrany rozkład wartości początkowych - dostosowany do użytej funkcji aktywacji - zapobiega eksplozji lub zanikaniu gradientu już na samym początku procesu uczenia.
Przypisy
Kategoria:Sztuczna inteligencja