Вернуть деньги: Новые модели для генерации впечатляющих видео

📰 Новости

Разработчики Allen Institute for AI представили новую мультимодальную модель Unified-IO 2, которая может дать общее представление о том, какой функциональностью должен будет обладать ChatGPT-5, чтобы не уступать опенсорсным собратьям.

Небольшая часть впечатляющих возможностей Unified-IO 2

NVIDIA выпустила модель для распознавания речи Parakeet, которая по всем показателям превосходит OpenAI Whisper.

Использование ИИ в совместном научном проекте Microsoft и Тихоокеанской северо-западной национальной лаборатории в течение недели помогло определить новый элемент, который поможет снизить на 70% использование лития в батареях. Без ИИ такое исследование заняло бы по меньшей мере 20 лет.

Компания ByteDance выпустила новую модель MagicVideo-V2 для генерации видео. По оценкам экспертов, возможности модели превосходят Pika, Runway и Stable Diffusion Video.

Эти (и многие другие видео) можно посмотреть на сайте проекта

OpenAI объявила о запуске долгожданного магазина кастомных чат-ботов.

Figure AI продолжает совершенствовать робота-гуманоида Figure 01: теперь его можно научить выполнять различные домашние дела – например, готовить кофе.

Стартап Rabbit представил новый AI-гаджет – R1. Это персональный помощник для молниеносного выполнения задач, которые обычно требуют использования нескольких мобильных приложений и занимают слишком много времени. От множества подобных ИИ-девайсов это устройство отличают собственная операционная система на основе LAM (большинство hardware-ассистентов используют GPT4-V), способность обучаться, молодежный дизайн и демократичная цена $199.

В Пасадене (штат Калифорния) открывается первая закусочная CaliExpress by Flippy, полностью управляемая ИИ. Оборудование для приготовления фастфуда создано компанией Miso Robotics.

🛠️ Инструменты

Auto Wiki – генерирует вики-документацию для GitHub репозиториев.

Code to Flow – визуализирует, анализирует и объясняет код, написанный на всех популярных языках и фреймворках.

Code to Flow корректно объясняет и визуализирует функцию из реального Django-приложения

Concepto – платформа для создания прототипов веб-приложений: здесь можно преобразовать в HTML/CSS/JS код нарисованный в редакторе интерфейс или скриншот приглянувшегося сайта.

Afforai – выполняет суммаризацию, перевод и поиск по множеству документов, чтобы предоставить максимально точный и релевантный ответ на запрос.

Corgea – исправляет уязвимые фрагменты кода.

Jan – опенсорсный оффлайновый чат-бот.

Stylar – мощный, многофункциональный ИИ-генератор и помощник для иллюстраторов и дизайнеров всех направлений.

Neuralhub – предоставляет платформу для создания и тестирования нейросетей.

Artflow – создает короткие анимированные истории в любом стиле. Конструктор персонажей обеспечивает одинаковый внешний вид героев во всех сценах, а полный контроль над камерами позволяет воплотить в жизнь любую идею.

Artflow эффективно контролирует внешность персонажей в различных сценах

QRCodeCreator – бесплатно генерирует уникальные QR-коды.

Informly – выполняет всестороннюю оценку бизнес-идей.

Plus AI – плагин для Google Slides: делает профессиональные презентации, персональные и командные дашборды, любые отчеты.

TextBlaze – дополняет текст, многократно ускоряя процесс создания контента.

Sendspark – автоматически персонализирует одно и то же видео для разной аудитории.

My AskAI – создает чат-ботов для экономии времени сотрудников техподдержки и пользовательского сервиса.

PocketAI – чат-бот для WhatsApp*. Использует три модели – GPT-3.5, GPT4-V и PocketMed. Содержит библиотеку плагинов и эффективных промптов, генерирует и анализирует изображения, позволяет беседовать с документами.

Items – генерирует фотографии, элементы дизайна, иконки, 3D-ассеты в любом стиле.

Followr – автоматизирует ведение соцсетей.

Genie – создает качественные 3D-модели за несколько секунд.

Fixkey – автоматически исправляет любые опечатки.

ShotSolve – отвечает на вопросы по скриншотам. Работает на macOS, использует ключ GPT4-V.

iStock – платный генератор высококачественных стоковых изображений. Работает на модели Picasso, созданной NVIDIA и натренированной на контенте стока Getty Images.

iStock создает реалистичные фото и стилизованную графику

Frase – создает и оптимизирует контент для вывода в топ поисковых результатов Google.

InMagic.ai – поможет стать звездой Инстаграма*: проанализирует профиль, даст советы по развитию, подготовит нужный контент.

Fliz – генерирует видео по URL.

🪛 Сделай сам

WikiChat – опенсорсный инструмент для коррекции галлюцинаций с помощью информации из Википедии.

Проверка фактов по статье о фильме «Оппенгеймер» в Википедии

Подробная шпаргалка и советы по созданию продвинутых RAG.

OpenVoice – опенсорный инструмент для мгновенного клонирования голоса.

🎓 Туториалы

Туториал по работе с новым API Query Pipelines показывает примеры создания простых линейных цепочек и сложных ациклических графов из модулей LlamaIndex (языковых моделей, промптов, механизмов запросов и извлечения). Рассказано, как подключить стандартные и пользовательские компоненты, как выполнить интеграцию с системами наблюдения за выполнением запросов – все это очень упрощает создание сложных приложений на основе LLM.

Туториал по объединению LLM с помощью mergekit детально разбирает 4 основных метода объединения моделей:

SLERP (сферическая линейная интерполяция) – плавное объединение двух моделей с сохранением геометрических свойств.
TIES – эффективное объединение нескольких моделей, обученных на разных задачах, с устранением избыточных параметров и конфликтов между весами.
DARE – похожий на TIES метод, но с дополнительным обрезанием параметров и масштабированием весов.
Passthrough – конкатенация слоев разных моделей для получения гибридных моделей.

В качестве примера показан процесс создания модели Marcoro14-7B-slerp (из двух других моделей) при помощи метода SLERP. Тестирование полученной модель показывает превосходство по сравнению с OpenHermes-2.5-Mistral-7B.