Meta* выпустила модель Llama 3.3 70B*, которая по возможностям сопоставима с GPT-4 и Claude 3 Opus, при этом может работать прямо на вашем ноутбуке (при условии, что у него больше 64 ГБ памяти). Llama 3.3* хорошо справляется с логическими задачами и аргументацией, может написать код для полноценного веб-приложения или создать сложное SVG-изображение. OpenAI наконец-то запустила Sora, и долгожданный видеогенератор немного разочаровал пользователей: хотя модель отлично справляется с абстрактными видео и мультфильмами, у нее есть очевидные проблемы с физикой и стабильностью объектов. Google представила серию Gemini 2.0 – внушительный шаг в развитии ИИ. Модели могут: - Выполнять задачи автономно и пользоваться инструментами – например, поиском Google.
- Понимать и генерировать речь на нескольких языках.
- Генерировать качественные изображения.
- Учитывать прошлый опыт общения с пользователем.
- Планировать действия наперед.
Среди других новых разработок Google – режим Deep Research, в котором ИИ сканирует сотни веб-сайтов, чтобы составить развернутый ответ на сложный запрос, и Jules – экспериментальный ассистент, который помогает программистам исправлять ошибки в коде на Python и JavaScript. Jules интегрирован с GitHub и уже умеет: - Анализировать код и предлагать исправления.
- Создавать запросы на вытягивание и редактировать файлы.
- Упрощать процесс командной работы.
|
YouTube расширил доступность ИИ-дубляжа видеороликов: англоязычные клипы можно продублировать на любом из 8 поддерживаемых языков и наоборот – перевести с этих языков на английский. Работницы OnlyFans теперь используют используют ботов ChatPersona для общения с поклонниками в ЛС. Ранее для этих целей им приходилось нанимать специальных сотрудниц, называемых чаттерами (в основном из Пакистана, Индии и Филиппин). Компания Cognition запустила продвинутого ИИ-агента Devin для команд разработчиков. Он доступен за $500 в месяц без ограничения на количество пользователей и может: - Находить и устранять ошибки (особенно хорошо справляется с кодом фронтенда).
- Автоматически создавать PR для задач из бэклога.
- Оптимизировать код для повышения его производительности.
- Подключаться к Slack, расширениям IDE и API.
|
Gitingest – превращает кодовую базу в текст, готовый для обработки в LLM. Код проекта можно посмотреть в репозитории. Shortcut – пишет сообщения и имейлы на основе ваших голосовых поручений и заметок. |
Mubert – генерирует персонализированные музыкальные треки, которые отражают ваше настроение. Humva – платформа для создания видео с участием ИИ-аватаров. |
AISmartCube – позволяет создавать кастомные ИИ-приложения с помощью визуального конструктора, без написания кода. Bricks – выполняет любые задачи в электронных таблицах. SmythOS – автоматически создает ИИ-агентов по текстовым описаниям. Talk to Santa – позволяет побеседовать с Санта-Клаусом. Powerdrill – выполняет всесторонний анализ и визуализацию данных. VirtuLook – создает профессиональные фото любых товаров. The Accent Oracle – определяет национальность по акценту. Remention – продвигает ваш продукт в релевантных дискуссиях в соцсетях. Folk – легковесная CRM на базе ИИ. Writastic – пишет посты для соцсетей, используя приемы и паттерны самых популярных блогеров. Speak – продвинутый репетитор, помогающий преодолеть языковой барьер и научиться произносить сложные иностранные слова правильно. Magic Clips – создает короткие клипы из длинных видео, самостоятельно выбирая ключевые сцены и добавляя субтитры. |
✨ Топ-10 опенсорсных инструментов для работы с ИИ в 2025 году |
DeepEval – простая в использовании библиотека для оценки и тестирования LLM, опенсорсная альтернатива HumanLoop. Позволяет тестировать все аспекты работы модели – релевантность ответов, достоверность, уровень галлюцинаций и т. п. Может работать как с облачными сервисами, так и локально на вашем компьютере. Основные возможности: - Широкий выбор метрик:
- G-Eval – оценка релевантности и качества генерации.
- Summarization – для проверки качества суммаризаций.
- Answer Relevancy – релевантность ответов.
- Faithfulness – достоверность информации.
- RAGAS – оценка RAG-пайплайнов.
- Contextual Recall & Precision – контекстная точность и полнота.
- Hallucination – проверка на выдачу недостоверной информации.
- Можно создавать собственные метрики и подключать любые популярные LLM-бенчмарки (MMLU, HellaSwag, DROP, BIG-Bench Hard, TruthfulQA, HumanEval, GSM8K).
- Анализ безопасности. Библиотека поддерживает проверку на более чем 40 уязвимостей, включая токсичность, смещения, SQL-инъекции и другие атаки.
- Высокая производительность. Способна обрабатывать большие датасеты параллельно. Реализация массовой оценки через CLI или функцию evaluate() займет не более 20 строк кода.
- Интеграция с Confident AI. Инструмент тесно связан с платформой Confident AI, которая поддерживает:
- Логирование результатов.
- Анализ метрик успеха и неудач.
- Оптимизацию гиперпараметров (шаблонов промптов, размеров чанков, используемых моделей).
- Трассировку LLM.
- Управление тест-кейсами и датасетами.
- Непрерывную оценку LLM в режиме реального времени.
- Оценка работы модели в сценариях с RAG и файнтюнингом. DeepEval поможет:
- Предотвратить дрейф промптов.
- Настроить пайплайн RAG.
- Перейти от использования API OpenAI к локальному хостингу LLM.
|
LangChain – фреймворк для создания, настройки и развертывания приложений на базе LLM. LangGraph помогает создавать многокомпонентные приложения, где шаги работы модели представляются как узлы и связи графа. Это удобно для: - Построения мультиагентных систем, где несколько моделей или агентов работают вместе.
- Интеграции потоковой обработки и подхода «человек в цикле».
- Создания приложений, которые умеют выполнять сложные задачи, взаимодействуя с внешними инструментами (базы данных, API сторонних сервисов и т. д.).
|
Flowise помогает создавать приложения на основе LLM с помощью удобного визуального конструктора – писать код вручную не придется. Предоставить модели доступ к нужным данным (файлам, базам данных) можно в один клик. Так же просто подключаются вспомогательные инструменты (например, калькулятор) и API ИИ-провайдеров. |
LiteLLM упрощает работу с API OpenAI-формата, включая Bedrock, Hugging Face, VertexAI, TogetherAI, Azure, Groq и т. д. Он служит своего рода прокси-сервером, который берет на себя управление вызовами API, обработку ответов и оптимизацию использования моделей. Основные возможности: - Позволяет обращаться к API разных провайдеров (OpenAI, Hugging Face, Azure и т. д.) через единый интерфейс.
- Если один из провайдеров недоступен, инструмент автоматически переключится на другой.
- Все запросы и ответы стандартизированы, например, текстовые ответы всегда находятся в ['choices'][0]['message']['content'].
- Берет на себя трансформацию входных данных в форматы, которых ожидают эндпойнты разных провайдеров для выполнения конкретных задач: генерации текста, создания эмбеддингов, изображений и т. п.
- Позволяет задавать лимиты по расходам или количеству запросов для каждого проекта, API-ключа или модели.
|
SWIRL позволяет создавать RAG-приложения для управления данными, поиска информации и автоматизации рутинных процессов в любом направлении – от обслуживания клиентов до ускорения разработки и повышения производительности сотрудников. Идеально подходит для компаний, которым нужно быстро внедрить ИИ, оставаясь в рамках корпоративных стандартов безопасности и без необходимости перерабатывать существующую инфраструктуру хранения и обработки данных. Главные особенности и преимущества: - Нет необходимости в ETL (Extract, Transform, Load). Можно использовать данные напрямую из исходного хранилища без сложных процессов извлечения, преобразования и загрузки.
- Быстрое и безопасное развертывание ИИ в частных облаках. Система легко интегрируется в любую инфраструктуру и защищает данные от утечек.
- Интеграция с более чем 20 типами LLM. SWIRL может работать с GPT, BERT и их аналогами.
- Поддержка безопасности и соответствия требованиям. SWIRL создан для работы в условиях строгих стандартов безопасности данных и соблюдения норм, например GDPR.
- Доступ к данным из более чем 100 приложений. Можно подключить множество источников (CRM, базы данных, облачные сервисы) и сразу использовать данные для своих ИИ-приложений.
|
Cognita – фреймворк, предназначенный для упрощения процесса разработки и развертывания RAG-систем. Поддерживает разные методы поиска документов и векторные представления; полностью управляется через API, что обеспечивает легкую интеграцию с другими системами. Основные возможности: - Модульная архитектура позволяет создавать масштабируемые системы RAG.
- Предоставляет пользовательский интерфейс для взаимодействия с документами и получения ответов на вопросы.
- Инкрементальное индексирование снижает нагрузку на вычислительные ресурсы путем отслеживания изменений.
|
LLMWare – фреймворк для создания мощных и безопасных RAG-систем, ориентированных на корпоративное использование. Он позволяет интегрировать небольшие, специализированные модели, которые можно развернуть в защищенной локальной среде. Эти особенности делают его подходящим для автоматизации сложных рабочих процессов в компаниях: - Включает более 50 тонко настроенных моделей, оптимизированных под задачи бизнеса (например, обработка документов, анализ данных, вопросы-ответы).
- Имеет модульную и масштабируемую архитектуру, легко адаптируется под разные требования и объем данных.
- Может работать на обычных офисных компьютерах без продвинутых GPU.
|
Letta – простой и удобный фреймворк для создания приложений, в которых агенты должны запоминать и анализировать информацию на протяжении долгого времени. Главные особенности: - Хранение данных агентов. Все данные сохраняются в базе данных, что позволяет агентам существовать и работать бесконечно долго.
- Гибкость. Фреймворк не привязан к конкретной модели, а его структура открыта для изучения и модификаций.
- Letta ADE – графический интерфейс, предназначенный для работы с агентами. С его помощью можно создавать, развертывать, тестировать и отслеживать работу агентов.
|
W&B позволяет отслеживать и визуализировать все этапы работы с машинным обучением – от подготовки данных до внедрения моделей в реальную работу. С помощью W&B можно: - Отслеживать результаты экспериментов – фиксировать параметры, метрики и результаты моделей.
- Визуализировать и анализировать производительность моделей с помощью графиков и диаграмм.
Кроме того, в состав W&B входит Weave – набор инструментов для работы с приложениями на основе генеративного ИИ. С помощью этих утилит можно: - Отслеживать работу приложения.
- Отлаживать ошибки.
- Оценивать качество и мониторить поведение модели.
|
Визуализация экспериментов в W&B |
ONNX Runtime – инструмент для ускорения работы (инференса) и обучения моделей машинного обучения на разных платформах. Отличается простотой использования – достаточно добавить одну строку кода в существующий скрипт на PyTorch, чтобы ускорить обучение на NVIDIA GPU. Основные возможности: - Ускоряет работу моделей из фреймворков PyTorch, TensorFlow/Keras, а также библиотек классического машинного обучения (например, scikit-learn, LightGBM, XGBoost).
- Кроссплатформенность – работает на разных операционных системах, оборудовании и драйверах.
- Использует аппаратные ускорители и улучшает работу моделей через графовые оптимизации.
- Подходит для ускорения обучения моделей-трансформеров.
|
* Модели семейства Llama разрабатываются организацией Meta, деятельность которой признана экстремистской и запрещена на территории РФ. |
|
|
Понравилась ли вам эта рассылка? |
|
|
Вы получили это письмо, потому что подписались на нашу рассылку. Если вы больше не хотите получать наши письма, нажмите здесь.
|
|
|
|
