DALL-E — нейронная сеть, созданная компанией OpenAI при финансовой поддержке Microsoft, способная генерировать высококачественные изображения, исходя из текстовых описаний на английском языке. По заявлениям ряда СМИ и экспертов в области анализа данных, данная нейронная сеть совершила значимый прорыв в области нейронных сетей.
История В 2019 году OpenAI получила грант в 1 млрд $ от компании Microsoft на разработку инновационных технологий в сфере искусственного интеллекта. Первая версия нейросети, использующая модель GPT-3, модифицированную для генерации изображений, была представлена сообществу 5 января 2021 года.
6 апреля 2022 года была анонсирована DALL-E 2. В новой версии программы были доработаны алгоритмы, позволяющие создавать фотореалистичные изображения, а также редактор, позволяющий вносить правки во время работы приложения. Пример работы нейронной сети продемонстрировал журнал Cosmopolitan, который использовал DALL-E 2 для создания обложки одного из выпусков своего журнала.
21 сентября 2023 года OpenAI представила DALL-E 3, которая будет интегрирована с ChatGPT, сможет лучше понимать запросы и генерировать более детальные изображения. Версия станет доступна в октябре в рамках платных подписок ChatGPT Plus и Enterprise через API.
В апреле 2024 года OpenAI объявила об отключении DALL-E 2, хотя фактически сервис перестал работать ещё в конце зимы.
Архитектура DALL-E использует 12-миллиардную модель GPT-3 для интерпретации данных и генерации на их основании изображения. Сама модель GPT-3 была разработана OpenAI ещё в 2018 году на основе архитектуры глубоких нейронных сетей Трансформер. Таким образом, DALL-E представляет собой мультимодальную реализацию GPT-3 с 12 миллиардами параметров, обучаемая через интернет.
Так, DALL-E сначала генерирует изображения в ответ на запрос, а CLIP (Contrastive Language-Image Pre-training), как отдельная модель, «осознаёт» и ранжирует полученные изображения. Сам CLIP был обучен на 400 миллионах пар изображений и текста, благодаря чему модель более-менее успешно определяет наиболее успешно подходящие изображения по запросу и публикует имеющиеся изображения по степени их схожести с текстовым описанием.
Описание и характеристики DALL-E способна генерировать изображения в самых разных визуализациях — от фотореализма до картин и эмодзи, передвигая и видоизменяя объекты на своих изображениях. Одна из способностей, отмеченная его создателями, заключалась в правильном размещении элементов дизайна в новых композициях без явных указаний: «Например, когда его попросили нарисовать Редис Дайкон, сморкающийся, потягивающий латте или катающийся на одноколёсном велосипеде, DALL·E часто рисует платок, руки и ноги в правдоподобных местах». Факт реализма и прорыва в сфере ИИ отмечали различные авторитетные издания — Input, NBC, Nature, Wired, CNN и BBC. Особенно интересно для специалистов стал тот факт, что ИИ получил некоторые навыки визуального мышления, позволившие оному пройти тест Рейвена, созданный для оценки интеллекта людей.
DALL-E характеризуется как устойчивая и крайне надёжная нейронная сеть для создания изображений различного плана. Сэм Шхед в репортаже для CNBC назвал изображения «интересными» и процитировал Нила Лоуренса, профессора машинного обучения Кембриджского университета, который назвал это «вдохновляющей демонстрацией способности этих моделей хранить информацию о нашем мире и обобщать его способами, которые для людей естественны». Шхед также процитировал Марка Ридла, доцента Технической школы интерактивных вычислений Джорджии, который сказал, что результаты демонстрации DALL-E показали, что он способен «согласованно сочетать концепции», и что «демоверсия DALL-E примечательна созданием иллюстраций, которые гораздо более связны, чем другие системы Text2Image, которые я видел за последние несколько лет». BBC также цитирует Ридля, который сказал, что он был «впечатлён тем, что система могла сделать».
См. также Шедеврум Kandinsky Midjourney Stable Diffusion
Примечания
Литература Jens Knappe: Genesis. A Creation Story in Cooperation with an Artificial Intelligence, Berlin 2022, ISBN 978-3-940948-45-8.
Категория:Нейронные сети Категория:Программное обеспечение, разработанное в 2021 году Категория:Программное обеспечение по алфавиту Категория:Машинное обучение Категория:Глубокое обучение Категория:Обработка естественного языка Категория:OpenAI Категория:Microsoft Категория:Преобразование текста в изображение