Модель міркування, також мовні моделі міркування (, RLMs) або великі моделі міркування (, LRMs), — це тип великої мовної моделі (large language model, LLM), спеціально навченої для розв'язання складних задач, що потребують кількох кроків логічного міркування . Демонструють кращу продуктивність у логічних, математичних та тих, що стосуються програмування, завданнях порівняно зі стандартними LLM. Мають здатність здійснювати пошук з вертанням попередніх кроків міркування та використовувати додаткові обчислення під час виведення методом , доповнюючи традиційні підходи до масштабування, засновані на розмірі даних, параметрах моделі та чисельних методах.
Огляд На відміну від традиційних мовних моделей, які генерують відповіді миттєво, мовні моделі міркування виділяють додатковий час на обчислення, або обдумування, перш ніж створити відповідь для розв'язання багатоетапних задач. OpenAI використала цю термінологію у вересні 2024 року, коли випустила серію o1, описавши моделі як розроблені для того, щоб «витрачати більше часу на обдумування» перед відповіддю. Компанія представила o1 як перезавантаження у світі моделей, спрямоване на складні завдання в науці, кодуванні та математиці, і порівняла продуктивність o1 з GPT-4o в таких бенчмарках, як та Codeforces. Незалежні звіти того ж тижня підсумували запуск і підтвердили твердження OpenAI про те, що o1 автоматизує міркування в стилі інженерії запитів для досягнення значних переваг на складних тестах.
Під час роботи мовні моделі міркувань генерують внутрішні ланцюжки проміжних кроків, а потім вибирають та уточнюють остаточну відповідь. OpenAI повідомила, що точність o1 покращується, оскільки моделі надається більше можливостей навчання з підкріпленням та більше обчислень під час тестування висновків. Спочатку компанія вирішила приховати необроблені ланцюжки та натомість повернути написаний моделлю зведений виклад, заявивши, що вона «вирішила не показувати» основні думки, щоб дослідники могли контролювати їх, не розкриваючи неузгоджений контент кінцевим користувачам. Комерційне розгортання документує окремі токени міркувань, які вимірюють приховане мислення, та контроль зусиль міркувань, який налаштовує обсяг обчислень, що використовується моделлю. Ці функції роблять моделі повільнішими, ніж звичайні LLM, водночас забезпечуючи кращу продуктивність у складних задачах.
Історія Дослідження мовних моделей міркувань поєднувало досягнення в керованому навчанні, інженерії запитів та логічних висновках на основі дерева пошуку.
Ранні дослідження навчання з підкріпленням людським зворотним зв'язком показали, що моделі можна точно налаштувати для виконання інструкцій за допомогою людського зворотного зв'язку та нагород на основі уподобань. У 2022 році науковці дослідницького центру Google Research Джейсон Вей та Денні Чжоу показали, що інженерія запитів «значно покращує здатність» великих моделей виконувати складні задачі міркування.
Супутній результат продемонстрував, що проста інструкція «Нумо міркувати крок за кроком» може викликати нульовий результат міркування. Подальша робота представила декодування самоузгодженості, яке «підвищує продуктивність» ланцюжка міркувань шляхом вибірки різних шляхів розв'язання та вибору консенсусу, а також методи з доповненням до інструментів, такі як ReAct, поєднання Reason та Act, які спонукають моделі «генерувати як сліди міркувань», так і дії. Дослідження також узагальнило ланцюжок міркувань на пошук за кількома планами-кандидатами. Структура дерево міркувань від вченого у галузі комп'ютерних наук Шунью Яо (Принстонський університет, США) пропонує, щоб моделі «виконували навмисне прийняття рішень» шляхом дослідження та повернення назад по дереву проміжних міркувань.
Заявлений прорив OpenAI зосереджувався на контролі процесів міркування, а не лише результатів, причому у статті Лайтмана та ін. Перевірмо крок за кроком (Let's Verify Step by Step) повідомляється, що винагорода за кожен правильний крок «значно перевершує контроль результатів» у складних математичних задачах і покращує інтерпретованість, узгоджуючи ланцюжок міркувань з людським судженням. Оголошення OpenAI o1 пов'язує вище сказане з великомасштабним алгоритмом навчання з підкріпленням, який навчає модель удосконалювати власний ланцюжок міркувань, при цьому точність зростає зі збільшенням обчислень для навчання та більшою кількістю часу, витраченого на обдумування висновків.
Разом ці розробки визначають основу моделей міркування. Вони використовують сигнали контролю, що оцінюють якість проміжних кроків, застосовують дослідження з часом виведення, такі як консенсус або обхід дерева, і вирішують, скільки обчислень для внутрішнього мислення потрібно виконати. Сімейство OpenAI o1 зробило цей підхід доступним у великих масштабах у вересні 2024 року та популяризувало термін «модель міркування» для LLM, які свідомо думають, перш ніж відповідати.
Розробка моделей міркувань ілюструє гіркий урок Річарда Саттона про те, що масштабування обчислень зазвичай перевершує методи, засновані на людських ідеях. Цей принцип був продемонстрований дослідниками з Лабораторії генеративного штучного інтелекту (GAIR), які спочатку намагалися відтворити можливості o1 за допомогою складних методів, включаючи пошук по деревах та навчання з підкріпленням, наприкінці 2024 року. Їхні висновки, опубліковані в дослідженні o1 Replication Journey, показали, що дистиляція знань, порівняно простий метод, який навчає меншу модель імітувати результати o1, дала несподівано високу продуктивність. Результат проілюстрував, як прямі підходи до масштабування можуть часом перевершувати складніші інженерні рішення.
Недоліки Моделі міркування потребують значно більше обчислювальних ресурсів під час логічного висновку порівняно з моделями без міркувань. Дослідження American Invitational Mathematics Examination (AIME) показало, що моделі міркувань були в 10-74 рази дорожчими в експлуатації, ніж їхні аналоги без міркувань. Подовжений час логічного висновку пояснюється детальними, покроковими результатами міркувань, які генерують ці моделі, і які зазвичай набагато довші, ніж відповіді стандартних великих мовних моделей, що надають прямі відповіді, не показуючи процес міркування.
Один дослідник на початку 2025 року стверджував, що ці моделі можуть зіткнутися з потенційними додатковими проблемами відмови в обслуговуванні через «атаки надмірного обдумування».
Релізи
2024 рік У вересні 2024 року OpenAI випустила OpenAI o1, велику мовну модель з розширеними можливостями міркування. Повна версія o1 була випущена в грудні 2024 року. OpenAI спочатку опублікував елементи своєї наступної моделі OpenAI o3 у грудні 2024 року, а повна модель o3 стала доступною у 2025 році.
Alibaba Group випустила версії своїх великих мовних моделей Qwen у листопаді 2024 року. У грудні 2024 року компанія представила QvQ-72B-Preview, експериментальну модель візуального мислення.
У грудні 2024 року Google випустила мовну модель Gemini у Gemini (чат-бот), призначену для проведення багатоетапних досліджень.
16 грудня 2024 року дослідники продемонстрували, що завдяки масштабуванню обчислень під час тестування відносно невелика модель LLaMA 3B може перевершити набагато більшу модель LLaMA 70B у складних міркуваннях. Експеримент показав, що вдосконалені стратегії логічного висновку можуть розкрити можливості міркування навіть у менших моделях.
2025 рік У січні 2025 року DeepSeek випустила R1, модель міркування, яка досягла продуктивності, порівнянної з o1 від OpenAI, за значно менших обчислювальних витрат. Реліз продемонстрував ефективність оптимізації групової відносної політики (Group Relative Policy Optimization, GRPO), методу навчання з підкріпленням, який використовується для навчання моделі.
25 січня 2025 року DeepSeek розширив R1 можливостями вебпошуку, що дозволило моделі отримувати інформацію з Інтернету під час виконання міркування.
Дослідження, проведені протягом цього періоду, додатково підтвердили ефективність дистиляції знань (перенесення знань з великої моделі до меншої) для створення моделей міркування. Модель s1-32B досягла високих результатів завдяки методам бюджетних обмежень та масштабування, що підтверджує висновки про те, що простіші підходи до навчання можуть бути дуже ефективними для розвитку навичок міркування.
2 лютого 2025 року OpenAI випустила Deep Research, агент штучного інтелекту, що працює на їхній моделі o3, який дозволяє користувачам проводити комплексні дослідження. Система генерує детальні звіти, автоматично збираючи та синтезуючи інформацію з кількох вебджерел.
Навчання Моделі міркування дотримуються знайомого великомасштабного попереднього навчання, що використовується для моделей пограничних мов, а потім розходяться в постнавчанні та оптимізації. OpenAI повідомляє, що o1 навчається за допомогою великомасштабного алгоритму навчання з підкріпленням (RL), який навчає модель використовувати та вдосконалювати формулювання запитів перед відповіддю. Компанія наголошує на двох пов'язаних важелях, більшому навчанні з підкріпленням під час навчання та більшому часі, витраченому на роздуми над висновками, і документує плавний приріст в міру кожного збільшення. OpenAI також заявляє, що вирішила не показувати кінцевим користувачам сирі ланцюжки, а натомість повертає написаний моделлю зведений опис, вибір продукту, пов'язаний з моніторингом безпеки та конкурентними проблемами.
Центральним складником є контроль процесу, який супроводжує проміжні кроки, а не лише остаточну відповідь. Дослідження OpenAI представило модель винагороди за процес, навчений на покрокових мітках, і виявило, що контроль процесу значно перевершує контроль лише за результатами для складних математичних задач. Проєкт також опублікував набір даних зворотного зв'язку на покроковому рівні PRM800K і стверджував, що винагороди на рівні процесу покращують інтерпретованість, оскільки люди можуть перевіряти кожен крок. Ці результати дали практичний рецепт контролю інженерії запитів, який пізніше був масштабований у навчанні.
Це навчання суттєво відрізняється від традиційних моделей, які не орієнтовані на міркування. Стандартні системи попередньо навчаються в інтернеті з метою прогнозування наступного токена, а потім узгоджуються за допомогою великих мовних моделей та оптимізації уподобань. Канонічний підхід GPT-3 спочатку використовує тонке настроювання на людських демонстраціях, потім навчає модель винагороди на основі парних уподобань і, нарешті, оптимізує політику за допомогою навчання з підкріпленням, зазвичай проксимальної оптимізаційної політики з розходженням Кульбака –Лейбнера. Варіанти, такі як навчання з підкріпленням людським зворотним зв'язком, видаляють явний крок RL та оптимізують модель безпосередньо на даних уподобань, але метою контролю все ще є кінцевий результат, який оцінюють оцінювачі, а не якість внутрішніх кроків. Технічні звіти для GPT-4 підсумовують цей традиційний конвеєр як попереднє навчання наступного токена, а потім подальше навчання в стилі навчання з підкріпленням людським зворотним зв'язком (Reinforcement learning from human feedback, RLHF) для формування поведінки.
На відміну від цього, моделі міркування оптимізовані для створення, критики та перегляду багатокрокових ланцюгів під час навчання. OpenAI стверджує, що навчання з підкріпленням застосовується до самого ланцюга, і це навчає модель розпізнавати помилки, розбивати проблеми на простіші кроки та змінювати стратегії, коли поточний підхід не спрацьовує. OpenAI також документує, що він приховує ланцюги під час висновку та повертає відповідь, яка підсумовує корисні ідеї з внутрішньої траси. Ці варіанти дизайну відображають мету навчання моделі та її цільовий моніторинг.