Вернуть деньги: Как ИИ влияет на рынок ИТ-вакансий

📰 Новости

Microsoft сообщила о щедром апгрейде Copilot: GPT-4 Turbo будет доступен даже для бесплатных аккаунтов.

Google DeepMind рассказала о разработке SIMA – агента для видеоигр. Для обучения агенту достаточно изображений и видео игрового процесса – доступ к коду игры не нужен. Целью компании было не создание всесильного ИИ-противника, а напротив – напарника, понимающего инструкции на естественном языке, и действующего в человеческой манере. Сейчас SIMA безошибочно выполняет около 600 действий в различных играх, а в перспективе подобную модель можно будет использовать для обучения роботов в реальном мире.

Компания Cognition представила революционный инструмент Devin – в отличие от уже существующих ИИ-помощников, он способен автономно создавать сложные проекты (включая ИИ-модели!)

Devin может:

Совмещать роли фуллстек-разработчика, QA-тестировщика и DevOps-инженера.
Самостоятельно изучать незнакомые технологии.
Выполнять реальные заказы на бирже фриланса.

Результаты тестирования Devin уже вызвали небольшой переполох – и это притом, что во время тестирования агента не использовалась помощь разработчика (в отличие от тестов LLM).

Возможности Devin по решению реальных задач многократно превосходят все LLM

Гибкие и подвижные роботы-гуманоиды Figure 01 обзавелись мозгами от OpenAI и теперь могут:

Детально описывать свое окружение.
Догадываться, чего от них хочет человек.
Объяснять мотивацию своих действий.
Принимать логические решения и действовать в зависимости от имеющихся возможностей.
Объективно оценивать результаты своих действий.
Нажимать на ядерную кнопку.

Midjourney забанила нескольких сотрудников Stability AI по подозрению в массовом скрапинге промптов и сгенерированных по ним изображений со своего канала в Discord, чем и навлекла на себя массовую критику – ведь сама Midjourney не слишком заботится о соблюдении авторских прав. Обсуждение двойных стандартов затмило главную новость компании на этой неделе: модель Midjourney научилась сохранять внешность персонажа в различных позах, ракурсах и сценах.

Этот небольшой апдейт может означать большие последствия для иллюстраторов

Власти Южной Кореи спонсировали приобретение 7000 кукол-компаньонов Hyodal, разработанных специально для одиноких пожилых людей и пациентов с деменцией. Стоимость ИИ-куклы – $1800, в комплект входит приложение, позволяющее удаленно отслеживать состояние пациента. Предварительные исследования показывают обнадеживающие результаты – куклороботы действительно улучшают состояние своих владельцев: уровень депрессии пациентов снизился, а показатель приема лекарств – повысился.

Kуклa-компаньон Hyodal оснащена генеративным ИИ

🛠️ Инструменты

Semiform – заменяет скучные формы для сообщений и проведения опросов на ИИ-агента для обработки ответов в свободной форме.

DubVid – переводит видео на любой из 25+ языков с полным сохранением исходного тона и эмоций. Подстраивает перевод под движения губ. Аналогичный инструмент – Hello8.

Mailbutler – ИИ-ассистент для автоматизации работы с электронной почтой. Интегрируется с Gmail, Outlook и Apple Mail. Напишет ответы в нужном стиле, поможет с сортировкой сообщений, извлечет из писем самые важные фрагменты. Аналогичный инструмент – ReplyInbox.

Phoenix от Tavus – создает вашу цифровую реплику и на ее основе генерирует видео по скрипту. Для обучения модели нужно всего 2 минуты видео данных. Это видео было сгенерировано, а не снято на камеру:

Dola – календарный менеджер: превращает текстовые сообщения, видео и изображения в организованные планы. Интегрируется с календарями Google и Apple. Еще один похожий ИИ-планировщик – Clockwise.

Zep – снабжает ИИ-ассистентов долговременной памятью, чтобы они никогда не забывали информацию из предыдущих чатов, какими объемными бы они ни были.

Chaotix AI – разработает готовую 2D игру на основе вашей идеи.

⚗️ Исследования

Влияние ИИ на рынок ИТ-вакансий

Автор исследования проанализировал 20 миллионов ИТ-вакансий от 50 000 компаний за период с ноября 2022 года по февраль 2024 года, чтобы понять, как ИИ влияет на востребованность различных ИТ-специалистов.

Основные выводы:

Спрос на специалистов по ИИ резко возрос. Число вакансий для ученых-исследователей в области ИИ и инженеров машинного обучения выросло на 80% и 70% соответственно.
Спрос на другие ИТ-специальности снизился. Количество вакансий для мобильных разработчиков, фронтендеров и дата-инженеров сократилось более чем на 20% по сравнению с прошлым годом.
Сокращение штата не обязательно связано с наймом специалистов по ИИ. Автор не нашел доказательств того, что компании увольняют сотрудников, чтобы нанять больше специалистов по ИИ. Скорее всего, сокращения вызваны другими факторами – возможно, с давлением со стороны акционеров на повышение эффективности.
Навыки, связанные с ИИ, становятся все более востребованными. Спрос на знание обработки естественного языка (NLP) вырос на 155%, а частота упоминаний больших языковых моделей (LLM) в объявлениях о вакансиях увеличилась на 3000%.
Некоторые традиционные инженерные навыки по-прежнему востребованы. Например, спрос на разработчиков, владеющих языком программирования Rust, вырос на 32%.

Как взломать (или защитить) проприетарную LLM

Сотрудники Google разработали и протестировали новую атаку, которая позволяет украсть определенную информацию из закрытых языковых моделей типа ChatGPT от OpenAI или PaLM-2 от Google. Особенность атаки в том, что она извлекает точные и важные данные, даже не имея доступа к внутреннему устройству модели.

В частности, атака восстанавливает слой проекции эмбеддингов (с учетом возможной симметрии данных) в моделях-трансформерах, используя обычный API-доступ. Затратив менее $20, можно извлечь всю матрицу проекции языковых моделей Ada и Babbage от OpenAI. Так исследователям впервые удалось подтвердить, что скрытые слои в этих моделях имеют размерность 1024 и 2048 соответственно.

Также атака восстанавливает точный размер скрытого слоя модели GPT-3.5 Turbo, а для извлечения всей ее матрицы потребовалось бы запросов не более чем на $2000. В заключение авторы обсуждают последствия дальнейших исследований, которые могли бы расширить возможности данной атаки, и предлагают возможные методы защиты модели.

Как отучить LLM от плохого

В феврале исследователи Стэнфордского университета обнаружили, что все популярные чат-боты склонны делать выбор в пользу оружия массового уничтожения в военных играх, да и в целом слишком много знают о всяких вредоносных вещах. Администрация президента США обеспокоилась тем, что LLM могут попасть в руки злоумышленников, которые будут использовать их обширные знания для создания биологического, кибернетического и химического оружия. Для оценки этих рисков правительственные учреждения и крупные ИИ-лаборатории начали разрабатывать методы выявления опасных возможностей у LLM. Однако текущие методы оценки являются закрытыми, что препятствует дальнейшим исследованиям по снижению рисков. Кроме того, они фокусируются только на нескольких, очень специфических сценариях злоупотребления.

Чтобы восполнить этот пробел, консорциум ученых и технических консультантов создал эталонный набор данных WMDP (Weapons of Mass Destruction Proxy). Это набор из 4157 вопросов с несколькими вариантами ответов, которые служат косвенными показателями опасных знаний в области биологической, компьютерной и химической безопасности.

Метод CUT не позволит злоумышленникам использовать чат-ботов в нелегальных целях

Эталонный набор WMDP выполняет две функции: во-первых, оценивает степень опасности знаний в LLM, а во-вторых, является эталоном для методов разучивания, позволяющих удалять такие опасные знания. Для того чтобы способствовать прогрессу в разучивании, была разработана новая методика CUT, основанная на управлении представлениями модели. CUT снижает эффективность модели на WMDP, сохраняя при этом общие возможности в таких областях, как биология и информатика. Выводы исследователей показывают, что разучивание может быть оптимальным путем к снижению вредоносного использования LLM.

🪛 Сделай сам

LlamaParse – новый инструмент для извлечения любой информации из любых документов. Вот что он умеет:

Понимает инструкции. Вместо того чтобы самому просматривать тонну файлов, можно просто сказать LlamaParse, что именно нужно сделать – например, извлечь диалоги из комикса или преобразовать математические уравнения в LaTeX.
Обрабатывает различные форматы документов. LlamaParse работает не только с PDF файлами, но и с документами Word, PowerPoint, ePub и многими другими.
Извлекает таблицы и изображения. LlamaParse распознает таблицы в тексте и может преобразовать их в удобные форматы, например CSV. Также он находит изображения в документе и позволяет их извлечь.
Предоставляет детальную информацию о структуре и содержимом документа. Для тех, кто хочет углубиться в анализ, LlamaParse предлагает режим извлечения подробной информации о каждом элементе документа в формате JSON.

Все эти возможности делают LlamaParse незаменимым инструментом для создания сложных и максимально эффективных RAG-систем.

🎥 Генерация видео

В ожидании Sora, открытие доступа к которой откладывается на несколько месяцев, Т-Ж опубликовал подробный туториал по эффективной генерации видео с помощью самых популярных нейросетей – Runway ML Gen-2, Genmo, Pika и Stable Video Diffusion.