GPT-4 (Generative Pre-trained Transformer 4) — мультимодальная большая языковая модель, созданная OpenAI, четвёртая в серии GPT. Она была выпущена 14 марта 2023 года и доступна для пользователей ChatGPT Plus. Microsoft подтвердила, что версии Bing, использующие GPT, на самом деле использовали GPT-4 до его официального выпуска. В качестве трансформера GPT-4 была предварительно обучена прогнозировать следующий токен (используя как общедоступные данные, так и «данные, лицензированные сторонними поставщиками»), а затем была доработана с помощью обучения с подкреплением на основе отзывов людей.
В техническом отчёте GPT-4 явно воздерживались от указания размера модели, ссылаясь на «конкурентную среду и последствия для безопасности крупномасштабных моделей». The Verge процитировала слухи о том, что GPT-4 существенно увеличит количество параметров со 175 миллиардов в GPT-3 до 100 триллионов, что генеральный директор OpenAI Сэм Альтман назвал «полной чушью». Поздние слухи говорят, что GPT-4 имеет 1,76 триллиона параметров, исходя из скорости её работы и по оценке Джорджа Хотца. Представители США и подтвердили New York Times, что Альтман посетил Конгресс в январе 2023 года, чтобы продемонстрировать GPT-4 и его улучшенные «элементы управления безопасностью» по сравнению с другими моделями ИИ.
OpenAI написала в своем блоге, объявляя о GPT-4, что «GPT-4 более надёжен, креативен и способен обрабатывать гораздо более сложные инструкции, чем GPT-3.5». Она может читать, анализировать или генерировать до 25 000 слов текста, что является значительным улучшением по сравнению с предыдущими версиями технологии. The New York Times писала, что GPT-4 продемонстрировал впечатляющие улучшения в точности по сравнению с GPT-3.5, получила возможность обобщать и комментировать изображения, смогла обобщать сложные тексты, прошла экзамен на адвоката и несколько стандартных тестов, но всё же показала склонность к галлюцинациям в ответах.
22 марта 2023 года Илон Маск вместе с более чем 1000 экспертов в области искусственного интеллекта опубликовал письмо с требованием ввести мораторий на обучение систем более мощных, чем GPT-4, так как неконтролируемый процесс в этой области, по мнению Маска и согласных с ним экспертов, может представлять угрозу для человечества.
13 мая 2024 года OpenAI представила новую версию модели — GPT-4o. Буква «O» обозначает слово «omni» — всесторонний. По своим возможностям система соответствует GPT-4 Turbo, однако лучше работает с изображениями и аудио.
Примечания
Категория:ChatGPT Категория:Программное обеспечение по алфавиту Категория:Машинное обучение Категория:Большие языковые модели Категория:Глубокое обучение Категория:Обработка естественного языка Категория:Появились в 2023 году в США