Архітектура енкодер-декодер — це нейромережева архітектура для обробки послідовностей, у якій енкодер перетворює вхідну послідовність у внутрішнє представлення, а декодер моделює умовний розподіл імовірностей над вихідною послідовністю, з якого потім авторегресивно генерується конкретна послідовність. Вхідна послідовність може складатися зі слів, а вихідна — бути, наприклад, перекладом речення іншою мовою. Архітектуру енкодер-декодер було запропоновано у 2014 році.
У початковому вигляді моделі енкодер-декодер складалися з двох рекурентних нейронних мереж (RNN), одна з яких виконувала роль енкодера, а інша — декодера. У сучасних підходах архітектура також реалізується за допомогою трансформерів. Перший трансформер із роботи «Attention Is All You Need» 2017 року був заснований на моделі енкодер-декодер.
Архітектура енкодер-декодер Вхідна послідовність та вихідна послідовність складаються із символів (наприклад, слів або літер). Результатом архітектури енкодер-декодер є умовна ймовірність вихідної послідовності за заданої вхідної:
Умовну ймовірність можна розкласти як
Позначимо , причому .
Енкодер-декодер моделює умовну ймовірність
з чого випливає
З умовної ймовірності потім можна визначити оптимальний вихід :
Приклад Нехай задано вхідну послідовність
яка перекладається моделлю енкодер-декодер на англійську мову. Вихід генерується авторегресивно, починаючи з:
У результаті отримуємо послідовність
Примітки