Вернуть деньги: Появилась опенсорсная альтернатива Devin

📰 Новости

Stability AI выпустила модель Stable Video 3D, способную превращать изображения в 3D-видео.

NVIDIA начала сотрудничать с компанией Hippocratic AI, которая специализируется на медицинском ИИ. Цель проекта – замещение медработников среднего звена ИИ-ассистентами. Час работы ИИ-медсестры от Hippocratic AI стоит всего $9, в то время как услуги реальных медсестер обходятся в $90 в час (и к тому же они иногда устраивают забастовки).

На конференции GDC 2024 NVIDIA продемонстрировала впечатляющие достижения в робототехнике, которые стали возможны благодаря Jetson Thor и проекту GR00T.

Футболисты обзавелись очередным ИИ: компания DeepMind совместно с клубом Liverpool представила TacticAI – систему, которая может давать тактические советы тренерам. TacticAI использует технологии предиктивного и генеративного ИИ, геометрическое глубокое обучение и представление игровой ситуации в виде графов для прогнозирования возможных исходов углового удара. Система может анализировать предыдущие игровые эпизоды, предлагать корректировки расстановки игроков для повышения вероятности определенных исходов, например голевого момента.

TacticAI – не первый футбольный ИИ, но точно самый продвинутый

Сэм Альтман в интервью с Лексом Фридманом рассказал о GPT-5, Sora и AGI:

Руководитель OpenAI предполагает, что вычислительная мощность станет валютой будущего, а путь к общему искусственному интеллекту (AGI) будет отмечен сложностями и борьбой за власть. Что же касается ближайшего обновления, то переход от GPT-4 к GPT-5 будет таким же впечатляющим, как скачок от GPT-3 до GPT-4 в свое время.
Нынешние способности Sora Сэм считает важным шагом к развитию ИИ-систем, способных эффективно действовать в реальном мире. Обсуждая возможности Sora по созданию симулированных динамических сред, Альтман упомянул философскую гипотезу о том, что наша реальность сама может быть сложной симуляцией.
ИИ станет основным инструментом для творчества и решения всевозможных проблем, и это полностью преобразует рынок труда, креативный процесс и научные открытия. Сэм выступает за глобальный, коллективный подход к управлению ИИ, подчеркивая важность прозрачности, подотчетности и вовлечения общественности в процесс регуляции.

⚗️ Исследования

Журнал Harvard Business Review опубликовал исследование о том, как и для чего пользователи применяют генеративный ИИ. Оказывается, что регулярно чат-ботами пользуются не более 10% от общемирового количества офисных работников, и 60% из них отдают предпочтение ChatGPT. Настороженное отношение к ИИ во многом связано с его нынешними несовершенствами – галлюцинациями и утечкой конфиденциальной информации, – которые уже привели к нескольким корпоративным драмам. Самыми популярными сферами применения ИИ оказались:

Помощь в решении технических проблем – 23%
Создание и редактирование текстового контента – 22%
Личная и профессиональная поддержка – 17%
Самообразование и преподавательская деятельность – 15%
Творчество и развлечения – 13%
Исследования, анализ и принятие решений – 10%

Среди конкретных задач, которые чат-боты решают эффективнее всего, оказались:

Генерация идей.
Поиск по размытым, неконкретным запросам, с которыми не может справиться Google.
Профессиональное редактирование текста.
Генерация множества писем для клиентов сервиса.
Понятное объяснение сложных технических концепций.
Генерация сложных Excel-формул.
Написание официальных писем с требованием возмещения ущерба.
Упрощение сложных юридических документов.
Написание отзывов о работе сотрудников.
Генерация вымышленных демоданных.

🖐 Кастомные GPT

Магазин OpenAI вызывает у пользователей диаметрально противоположные чувства. Автор этого позитивного обзора во всех подробностях рассказывает, как создать кастомного бота, а также приводит 20 способов использования GPTs для решения повседневных задач и повышения продуктивности команды.

А эта публикация, напротив, концентрируется на темной стороне кастомных GPTs и критикует OpenAI за то, что компания допускает распространение в своем магазине спама, нелегального контента и инструментов для обхода своих же правил, вместо того чтобы строго модерировать эту площадку, как было обещано изначально:

Магазин уже переполнен ботами, которые генерируют контент, стилизованный под франшизы Disney, Marvel, «Звездные войны» и т. п., без разрешения правообладателей. Это скоро приведет к спорам о нарушении авторских прав.
Многие боты для написания студенческих работ открыто рекламируют возможность обхода систем обнаружения AI-сгенерированного контента, таких как Turnitin, что прямо нарушает правила OpenAI.
Есть боты, имитирующие известных людей, включая Илона Маска и Дональда Трампа, что также противоречит официальной политике OpenAI.
Что еще хуже, на площадке есть боты, которые делают попытки обойти цензурные ограничения – и дают пользователям возможность генерировать опасный либо непристойный контент.

🛠️ Инструменты

Figma to Replit – превращает статический дизайн в компоненты React.

Arcads – генерирует маркетинговые видео с ИИ-актерами.

Instanice – преобразует фото в любой нужный стиль, сохраняя внешность.

Instanice круче Фотошопа

Assistive Chat – мультимодальный ИИ-помощник, способный работать с любыми типами контента.

PNGMaker – генерирует любые изображения на прозрачном фоне.

PNG можно редактировать

Phorm – поисковик и чат-бот для разработчиков. Позволяет задавать вопросы определенным репозиториям.

Диалог с репозиторием Modern Web Dev Stack

Eggnog – генератор видео, сохраняющий внешний вид персонажей во всех сценах.

Charmed – создает любые 3D ассеты для игр, от персонажей до текстур.

BuildShip – конструктор для быстрого создания бэкенда и API.

Aragon – делает профессиональные студийные снимки из простых селфи.

Pixite – разработает уникальный дизайн одежды специально для вас.

Capsule – продвинутый ИИ-редактор видео.

Tailor – делает суммаризацию интересных вам новостей.

Muse Pro – ИИ-ассистент цифрового художника, работающий в реальном времени.

Picurious – позволяет общаться с любыми изображениями, от шедевров живописи и архитектуры до математических формул.

🔮 Прогнозы

На ежегодной конференции разработчиков GTC 2024 гендиректор NVIDIA Дженсена Хуанг дал осторожные, но оптимистичные прогнозы по двум ключевым темам в области ИИ – решению проблемы галлюцинаций с помощью технологии RAG и достижению уровня AGI:

Общий ИИ. Хуанг говорит, что если определить AGI максимально конкретно, например, как способность программы проходить юридические экзамены, тесты на логику или медицинские экзамены на уровне выше среднего человека, то он считает, что такой AGI будет достигнут в течение ближайших 5 лет.
Галлюцинации. Эту проблему, связанную тенденцией генеративных ИИ-систем выдавать с виду правдоподобные, но, по сути, ложные ответы можно решить, если заставить ИИ производить поиск и перепроверять ответы по нескольким достоверным источникам перед тем, как сгенерировать окончательный ответ. Для критически важных вопросов, таких как медицинские рекомендации, возможно, потребуется проверка по множеству источников.

🪛 Сделай сам

GPT Prompt Engineer – агент для создания эффективных промптов. Поддерживает все модели OpenAI и Claude 3.

Make real – делает UI по наброскам в браузере (попробовать можно здесь, если есть ключ OpenAI).

Devika – опенсорсная альтернатива нашумевшему автономному агенту Devin от Cognition AI. Это ИИ-помощник, способный создавать сложные программные проекты с минимальным участием разработчика. Основные возможности:

Планирование и логические рассуждения. Devika использует продвинутые алгоритмы планирования и рассуждения для декомпозиции высокоуровневых задач на отдельные шаги. Система анализирует цель, собирает контекст, генерирует порядок шагов, валидирует их и затем последовательно выполняет.
Извлечение ключевых слов. Семантический поиск информации Devika выполняет с помощью модели BERT, которая извлекает и ранжирует релевантные ключевые слова из истории диалога и файлов проекта.
Взаимодействие с браузером. Devika умеет переходить по веб-сайтам, извлекать информацию, взаимодействовать с веб-элементами с помощью библиотеки Playwright. Это позволяет ей собирать любые нужные для принятия решений данные из интернета.
Написание, тестирование и рефакторинг кода. Основываясь на плане, исследованиях и требованиях, Devika генерирует код на выбранном языке, а затем выполняет код-ревью и форматирование.
Использование больших языковых моделей. Для понимания естественного языка, генерации текста и рассуждений Devika опирается на LLM (Claude, GPT-4 или локальные модели через Ollama).
Веб-интерфейс. Разработчик взаимодействует с Devika через веб-интерфейс, в котором есть чат, отображение файлов проекта и статистика состояния системы.
Организация проектов. В Devika есть функциональность для управления отдельными проектами.
Расширяемая архитектура. Систему можно как угодно расширять новыми компонентами и интеграциями.