Microsoft сообщила о щедром апгрейде Copilot: GPT-4 Turbo будет доступен даже для бесплатных аккаунтов. Google DeepMind рассказала о разработке SIMA – агента для видеоигр. Для обучения агенту достаточно изображений и видео игрового процесса – доступ к коду игры не нужен. Целью компании было не создание всесильного ИИ-противника, а напротив – напарника, понимающего инструкции на естественном языке, и действующего в человеческой манере. Сейчас SIMA безошибочно выполняет около 600 действий в различных играх, а в перспективе подобную модель можно будет использовать для обучения роботов в реальном мире. |
Компания Cognition представила революционный инструмент Devin – в отличие от уже существующих ИИ-помощников, он способен автономно создавать сложные проекты (включая ИИ-модели!) Devin может: - Совмещать роли фуллстек-разработчика, QA-тестировщика и DevOps-инженера.
- Самостоятельно изучать незнакомые технологии.
- Выполнять реальные заказы на бирже фриланса.
|
Результаты тестирования Devin уже вызвали небольшой переполох – и это притом, что во время тестирования агента не использовалась помощь разработчика (в отличие от тестов LLM). |
Возможности Devin по решению реальных задач многократно превосходят все LLM |
Гибкие и подвижные роботы-гуманоиды Figure 01 обзавелись мозгами от OpenAI и теперь могут: - Детально описывать свое окружение.
- Догадываться, чего от них хочет человек.
- Объяснять мотивацию своих действий.
- Принимать логические решения и действовать в зависимости от имеющихся возможностей.
- Объективно оценивать результаты своих действий.
- Нажимать на ядерную кнопку.
|
Midjourney забанила нескольких сотрудников Stability AI по подозрению в массовом скрапинге промптов и сгенерированных по ним изображений со своего канала в Discord, чем и навлекла на себя массовую критику – ведь сама Midjourney не слишком заботится о соблюдении авторских прав. Обсуждение двойных стандартов затмило главную новость компании на этой неделе: модель Midjourney научилась сохранять внешность персонажа в различных позах, ракурсах и сценах. |
Этот небольшой апдейт может означать большие последствия для иллюстраторов |
Власти Южной Кореи спонсировали приобретение 7000 кукол-компаньонов Hyodal, разработанных специально для одиноких пожилых людей и пациентов с деменцией. Стоимость ИИ-куклы – $1800, в комплект входит приложение, позволяющее удаленно отслеживать состояние пациента. Предварительные исследования показывают обнадеживающие результаты – куклороботы действительно улучшают состояние своих владельцев: уровень депрессии пациентов снизился, а показатель приема лекарств – повысился. |
Kуклa-компаньон Hyodal оснащена генеративным ИИ |
Semiform – заменяет скучные формы для сообщений и проведения опросов на ИИ-агента для обработки ответов в свободной форме. DubVid – переводит видео на любой из 25+ языков с полным сохранением исходного тона и эмоций. Подстраивает перевод под движения губ. Аналогичный инструмент – Hello8. |
Mailbutler – ИИ-ассистент для автоматизации работы с электронной почтой. Интегрируется с Gmail, Outlook и Apple Mail. Напишет ответы в нужном стиле, поможет с сортировкой сообщений, извлечет из писем самые важные фрагменты. Аналогичный инструмент – ReplyInbox. Phoenix от Tavus – создает вашу цифровую реплику и на ее основе генерирует видео по скрипту. Для обучения модели нужно всего 2 минуты видео данных. Это видео было сгенерировано, а не снято на камеру: |
Dola – календарный менеджер: превращает текстовые сообщения, видео и изображения в организованные планы. Интегрируется с календарями Google и Apple. Еще один похожий ИИ-планировщик – Clockwise. Zep – снабжает ИИ-ассистентов долговременной памятью, чтобы они никогда не забывали информацию из предыдущих чатов, какими объемными бы они ни были. Chaotix AI – разработает готовую 2D игру на основе вашей идеи. |
Влияние ИИ на рынок ИТ-вакансий |
Автор исследования проанализировал 20 миллионов ИТ-вакансий от 50 000 компаний за период с ноября 2022 года по февраль 2024 года, чтобы понять, как ИИ влияет на востребованность различных ИТ-специалистов. Основные выводы: - Спрос на специалистов по ИИ резко возрос. Число вакансий для ученых-исследователей в области ИИ и инженеров машинного обучения выросло на 80% и 70% соответственно.
- Спрос на другие ИТ-специальности снизился. Количество вакансий для мобильных разработчиков, фронтендеров и дата-инженеров сократилось более чем на 20% по сравнению с прошлым годом.
- Сокращение штата не обязательно связано с наймом специалистов по ИИ. Автор не нашел доказательств того, что компании увольняют сотрудников, чтобы нанять больше специалистов по ИИ. Скорее всего, сокращения вызваны другими факторами – возможно, с давлением со стороны акционеров на повышение эффективности.
- Навыки, связанные с ИИ, становятся все более востребованными. Спрос на знание обработки естественного языка (NLP) вырос на 155%, а частота упоминаний больших языковых моделей (LLM) в объявлениях о вакансиях увеличилась на 3000%.
- Некоторые традиционные инженерные навыки по-прежнему востребованы. Например, спрос на разработчиков, владеющих языком программирования Rust, вырос на 32%.
|
Как взломать (или защитить) проприетарную LLM |
Сотрудники Google разработали и протестировали новую атаку, которая позволяет украсть определенную информацию из закрытых языковых моделей типа ChatGPT от OpenAI или PaLM-2 от Google. Особенность атаки в том, что она извлекает точные и важные данные, даже не имея доступа к внутреннему устройству модели. В частности, атака восстанавливает слой проекции эмбеддингов (с учетом возможной симметрии данных) в моделях-трансформерах, используя обычный API-доступ. Затратив менее $20, можно извлечь всю матрицу проекции языковых моделей Ada и Babbage от OpenAI. Так исследователям впервые удалось подтвердить, что скрытые слои в этих моделях имеют размерность 1024 и 2048 соответственно. Также атака восстанавливает точный размер скрытого слоя модели GPT-3.5 Turbo, а для извлечения всей ее матрицы потребовалось бы запросов не более чем на $2000. В заключение авторы обсуждают последствия дальнейших исследований, которые могли бы расширить возможности данной атаки, и предлагают возможные методы защиты модели. |
Как отучить LLM от плохого |
В феврале исследователи Стэнфордского университета обнаружили, что все популярные чат-боты склонны делать выбор в пользу оружия массового уничтожения в военных играх, да и в целом слишком много знают о всяких вредоносных вещах. Администрация президента США обеспокоилась тем, что LLM могут попасть в руки злоумышленников, которые будут использовать их обширные знания для создания биологического, кибернетического и химического оружия. Для оценки этих рисков правительственные учреждения и крупные ИИ-лаборатории начали разрабатывать методы выявления опасных возможностей у LLM. Однако текущие методы оценки являются закрытыми, что препятствует дальнейшим исследованиям по снижению рисков. Кроме того, они фокусируются только на нескольких, очень специфических сценариях злоупотребления. Чтобы восполнить этот пробел, консорциум ученых и технических консультантов создал эталонный набор данных WMDP (Weapons of Mass Destruction Proxy). Это набор из 4157 вопросов с несколькими вариантами ответов, которые служат косвенными показателями опасных знаний в области биологической, компьютерной и химической безопасности. |
Метод CUT не позволит злоумышленникам использовать чат-ботов в нелегальных целях |
Эталонный набор WMDP выполняет две функции: во-первых, оценивает степень опасности знаний в LLM, а во-вторых, является эталоном для методов разучивания, позволяющих удалять такие опасные знания. Для того чтобы способствовать прогрессу в разучивании, была разработана новая методика CUT, основанная на управлении представлениями модели. CUT снижает эффективность модели на WMDP, сохраняя при этом общие возможности в таких областях, как биология и информатика. Выводы исследователей показывают, что разучивание может быть оптимальным путем к снижению вредоносного использования LLM. |
LlamaParse – новый инструмент для извлечения любой информации из любых документов. Вот что он умеет: - Понимает инструкции. Вместо того чтобы самому просматривать тонну файлов, можно просто сказать LlamaParse, что именно нужно сделать – например, извлечь диалоги из комикса или преобразовать математические уравнения в LaTeX.
- Обрабатывает различные форматы документов. LlamaParse работает не только с PDF файлами, но и с документами Word, PowerPoint, ePub и многими другими.
- Извлекает таблицы и изображения. LlamaParse распознает таблицы в тексте и может преобразовать их в удобные форматы, например CSV. Также он находит изображения в документе и позволяет их извлечь.
- Предоставляет детальную информацию о структуре и содержимом документа. Для тех, кто хочет углубиться в анализ, LlamaParse предлагает режим извлечения подробной информации о каждом элементе документа в формате JSON.
Все эти возможности делают LlamaParse незаменимым инструментом для создания сложных и максимально эффективных RAG-систем. |
В ожидании Sora, открытие доступа к которой откладывается на несколько месяцев, Т-Ж опубликовал подробный туториал по эффективной генерации видео с помощью самых популярных нейросетей – Runway ML Gen-2, Genmo, Pika и Stable Video Diffusion. |
Stable Video Diffusion анимировала мемного кота |
|
|
Вы получили это письмо, потому что подписались на нашу рассылку. Если вы больше не хотите получать наши письма, нажмите здесь.
|
|
|
|
