Теперь нейросеть лучше понимает запросы пользователя, генерирует логотипы, баннеры и другие графические материалы, а также добавляет на изображения текст на латинице.
YandexART 2.0 — новое поколение визуальной нейросети для создания изображений. В её основе — собственная гибридная архитектура. Она лучше, чем предыдущая версия YandexART 1.3, понимает промты пользователя и генерирует более качественные изображения с учётом визуальных особенностей и контекста.
YandexART 2.0 допускает меньше ошибок на изображениях по сравнению с предыдущей версией, а также:
Сравнение работы YandexART 1.3 и YandexART 2.0 по промту: «Это кольцо изготовлено из высокотехнологичного серебра и украшено прямоугольным синим камнем размером 5 на 7 мм. Камень закреплён в крапанах, что придаёт украшению оригинальность и неповторимость. Это кольцо подходит как для повседневной носки, так и для особого случая, когда вам нужно выглядеть стильно и элегантно»
Сравнение работы YandexART 1.3 и YandexART 2.0 по промту: «Цветочная лавка в надписью „Flowers“ на вывеске»
Сравнение работы YandexART 1.3 и YandexART 2.0 по промту: «Палатка на берегу озера на фоне гор»
Всё это стало возможным благодаря новой архитектуре YandexART 2.0.
Для обучения YandexART 2.0 разработчики использовали VLM-модель, которая одновременно работает с визуальными и текстовыми данными. Она умеет анализировать изображения и детально описывает, что на них находится. Модель «смотрела» на изображения из обучающего набора данных и генерировала для каждой картинки точные текстовые описания, на которых и обучалась YandexART 2.0.
Это нестандартный подход. Обычно для работы с изображениями используют одну из двух моделей: свёрточную или трансформерную. Свёрточные идут от частного к общему: распознают изображение пиксель за пикселем, выявляют его важные признаки — контуры, текстуры и формы. Трансформерные, наоборот, двигаются от общего к частному — сразу анализируют всё изображение, поэтому лучше понимают общий смысл, но хуже учитывают детали.
Гибридная архитектура YandexART 2.0 совмещает сильные стороны свёрточной и трансформерной моделей. Это позволило повысить качество генерации изображений и сохранить высокую скорость работы.
YandexART 2.0 помогает компаниям интегрировать визуальные генерации в бизнес-процессы через API. Нейросеть можно использовать для маркетинговых и рекламных кампаний: генерировать иллюстрации для статей и социальных сетей, создавать баннеры или разрабатывать варианты брендирования одежды.
Нейросеть уже тестируют несколько клиентов Yandex Cloud. Например, сервис Text.ru на базе YandexART создал инструмент, который позволяет авторам оформлять материалы для своих источников.
Никита Камышников, генеральный директор Text.ru
«Мы подключили YandexART по API в конце мая 2024 года, создав на его базе новый инструмент — Нейропомощник Иллюстратор. Если все прошлые интеграции продуктов Yandex Cloud касались нашего основного профиля — текстов, то эта раздвинула границы вариативности получаемого контента, добавив ещё и иллюстрации. Теперь у пользователей есть возможность, не покидая пределы сервиса, комплексно оформлять материалы для своего сайта, блога, канала, группы или магазина на маркетплейсе. С каждым месяцем число пользователей Нейропомощника Иллюстратора растёт, а обратная связь от них остаётся максимально положительной».
Сервис presentsimple.ai анализирует и систематизирует материалы с помощью YandexGPT, после чего генерирует изображения к слайдам презентаций через YandexART.
Алексей Сметанин, CEO и основатель presentsimple.ai
«Мы начали тестировать YandexART, как только появился публичный API. На всех пользователей расширили доступ в июле 2024 года. YandexART позволила внедрить в наш сервис функцию создания изображений по запросу пользователя прямо в процессе редактирования презентаций. Это дало возможность качественнее их кастомизировать. С момента добавления этой функции с помощью YandexART было создано более 422 тысяч изображений».
.
Источник: https://yandex.cloud/ru/blog/posts/2024/10/yandex-art-2-0
