Proglib AI #1 — Первый генеративный ИИ для программирования

Привет! Новые AI-инструменты появляются каждый день, и сориентироваться в этом изобилии становится все сложнее. Поэтому мы решили запустить еженедельную рассылку, которая поможет тебе быть успешным кодером в эпоху ИИ.   📰 Новости   Подслушивание паролей в Zoom Исследователи натренировали DL-модель воссоздавать пароли по подслушанным во время Zoom конференций нажатиям клавиш. Точность уже достигает 93% – нужно принимать меры до того, как прием возьмут на вооружение злоумышленники.   Claude Instant 1.2 доступен по API Anthropic обновила Claude Instant и открыла доступ к новой версии по API. Claude – самая мощная альтернатива ChatGPT, и его новые возможности в области программирования и математики могут произвести фурор на фоне глупеющего первопроходца.   Первый генеративный ИИ для программирования Stability AI объявила о запуске StableCode – это первый AI, созданный специально для написания кода. StableCode предлагает 3 модели. Базовая модель натренирована писать код на всех популярных языках, командная способна решать сложные задачи, а длинноконтекстная поддерживает беспрецедентный объем кода и может работать с пятью файлами Python одновременно.   Запрет на доступ для GPTBot Если на твоем сайте есть данные, которые могут приблизить восстание машин, лучше закрыть доступ для GPTBot – в блоге компании OpenAI написано, как это сделать.   Brain2Music знает, что ты слушаешь (почти) В одном из эпизодов «Черного зеркала» героиня сетует на контекстную рекламу, которая как будто читает ее мысли. Google, очевидно, уже приближается к этому уровню персонального таргетинга: конвейер обработки данных Brain2Music, основанный на модели MusicLM, неплохо реконструирует музыку на основе мозговой активности слушателя. Вот оригинальная статья об исследовании и подборка аудио-примеров, а перевод с пояснениями можно почитать на Хабре.   Bing Chat ИИ Bing предоставляет несколько полезных функций, которых нет в бесплатной версии ChatGPT – доступ в интернет, генерацию изображений и ссылки на источники информации. До недавних пор Bing Chat был доступен только пользователям Edge, но теперь нейронкой можно пользоваться в Safari и Chrome, а в скором будущем – и в мобильных приложениях. Microsoft прекратила поддержку Cortana, чтобы полностью сконцентрироваться на развитии Bing Chat и других AI-инструментов.   ChatGPT – не самый лучший помощник разработчика Исследователи Университета Пердью проанализировали ответы ChatGPT на 517 вопросов Stack Overflow для оценки правильности и полноты результатов. Оказалось, что в  52% случаев ответы ошибочны, а в 77% – слишком многословны.   Интеллектуальная IDE от Google Компания запустила тестовую версию Project IDX – это облачная версия VS Code, способная генерировать код, отвечать на вопросы разработчика и запускать проекты на эмуляторах различных платформ. Уже сделали предварительный просмотр сайтов, скоро добавят запуск Android и iOS приложений.   Супер GPU – GH200 от NVIDIA Компания анонсировала выпуск нового супер GPU GH200 во втором квартале 2024. Сейчас самые сложные модели требуют нескольких  H100 Tensor Core 80 GB (стоимостью от $40000). Объем памяти у нового монстра будет в 3 раза больше, а цена пока неизвестна. Главным конкурентом новинки станет MI300X от AMD. Другой интересный проект NVIDIA – платформа AI Workbench, на которой разработчики смогут создавать, кастомизировать, тренировать и тестировать модели до запуска в прод. По разным данным, от 80 до 85% ИИ проектов сейчас сталкиваются с непреодолимыми инфраструктурными трудностями, которые могла бы полностью решить платформа, подобная AI Workbench.   ⚒️ Инструменты и сервисы Aixploria – обширный каталог ИИ-сервисов на все случаи жизни: здесь есть ассистенты программиста, дизайнеры фронтенда и разработчики игр. Рекомендуем заглянуть в раздел автономных ИИ – там собраны самые интересные open source проекты, которые можно установить на собственный комп. Supertools – еще один полезный каталог AI продуктов. Здесь есть и самые свежие новинки, и популярные сервисы, рассортированные по категориям и платности/бесплатности. Для каждого платного инструмента легко можно подобрать бесплатную альтернативу. Dante AI – платформа, которая позволяет создать и натренировать GPT-4 бот на собственных данных. Поддерживает более 100 языков, попробовать можно бесплатно и без кредитки.   ❓Как это работает   Принцип работы LLM: без заумностей и математики Большинство продвинутых пользователей ChatGPT знает, что эта и подобные ей нейронки представляют собой LLM (большие языковые модели), которые на огромном массиве готовых текстов обучены «предсказывать следующее слово». Но только специалисты по ИИ знают, что в процессе предсказания используются векторы слов. Один из способов представить слово cat (кот), например, выглядит так: [0.0074, 0.0030, -0.0105, 0.0742, 0.0765, -0.0011, 0.0265, 0.0106, 0.0191, 0.0038, -0.0468, -0.0212, 0.0091, 0.0030, -0.0563, -0.0396, -0.0998, -0.0796, …, 0.0002] О том, как векторы позволяют нейронкам предсказывать слова, и как происходит процесс обучения LLM, можно прочитать в этой подробной и увлекательной статье.   Простые модели грокают новые данные В 2021 году исследователи ИИ сделали поразительное открытие: небольшие модели, обученные на простых задачах, после продолжительного обучения внезапно начинают правильно интерпретировать информацию из наборов данных, к которым у них ранее не было доступа. Это явление получило название grokking (понимание, усвоение). В этой статье специалисты Google подробно разобрали динамику обучения небольшой модели, чтобы выяснить, как именно она находит решение, и в какой момент она может достигнуть стадии «понимания». Пока неясно, могут ли LLM делать то же самое, или они просто используют запомненные фрагменты информации из огромных массивов данных, на которых их обучали. Автор этого исследования приходит к выводу, что GPT-4 пока не способен рассуждать, особенно при решении сложных задач.   🪛 Сделай сам 10 лучших приложений для глубокого обучения – подробный обзор и сравнение бесплатных и коммерческих пакетов для ИИ-разработки. Лучшие датасеты для машинного обучения – объемный список ресурсов, которые предлагают бесплатные наборы данных на все случаи жизни. Автор особенно рекомендует бесплатные датасеты Roboflow. Nyckel – API, который заменит целую команду ML-разработчиков: добавит в приложение множество функций для распознавания изображений, текста и таблиц. Есть бесплатный тариф. На этом все, встретимся через неделю! Автор рассылки: Наталья Кайда 📖 Читать нас 🎓 Учиться у нас Вы получили это письмо, потому что подписались на нашу рассылку. Если вы больше не хотите получать наши письма, нажмите здесь.