Вернуть деньги: 6 главных ML-алгоритмов

📰 Новости

Stardust Intelligence научила своего робота Astribot S1 выполнять множество домашних обязанностей.

Microsoft выпустила версию 3.5 семейства мощных мини-моделей Phi. Теперь они во многом могут составить конкуренцию гигантским собратьям GPT-4o, Gemini и Claude.

Бенчмарки Phi-3.5

Исследователи технологического университета ETH Zurich и Disney Research разработали новаторскую систему генерации движений для виртуальных персонажей и роботов.

Преподаватели американских школ и вузов с тоской ожидают начала учебного года, потому что студенты теперь генерируют ответы даже на самые примитивные задания с помощью ChatGPT, а компания OpenAI по каким-то причинам до сих пор не выпустила инструмент для обнаружения ИИ-текста, хотя он был готов еще год назад и работает с точностью 99,99%.

Midjouney открыла доступ к веб-интерфейсу для всех и выдает по 25 бесплатных генераций всем желающим. А один из основных конкурентов Midjourney, Ideogram, получил мощные обновления и стал еще виртуознее работать с текстом. Ideogram дает 10 бесплатных генераций (40 изображений) в день.

a16z выпустил новый топ-100 лучших ИИ-приложений. Среди интересных выводов:

Больше половины приложений связаны с генерацией и редактированием всевозможного контента, причем популярнее всего оказались нейронки для создания музыки и видео.
ChatGPT пока еще лидер, но на пятки ему наступают Claude и Perplexity.
Стремительно набирают популярность ИИ-приложения для дейтинга и улучшения внешнего вида.
Популярность на Discord безошибочно помогает определить, будет ли пользоваться большим спросом мобильная либо веб-версия приложения или нет.
Веб-пользователи предпочитают генерировать контент, а мобильные – редактировать и улучшать готовые фото и видео.

🤖🎨 Все самое полезное про нейросети для генерации изображений вы найдете на нашем телеграм-канале «Библиотека нейрокартинок»

🎰 6 основных алгоритмов машинного обучения

Большинство известных ML-алгоритмов относятся к одному из трех основных типов:

Контролируемое обучение. Обучаемые с учителем алгоритмы строят модель на основе данных, которые уже имеют метки (теги, категории). Эта модель затем используется для прогнозирования меток новых данных. Если метки дискретные (например, «да» или «нет»), то модель будет решать задачу классификации (например, определять, какие сообщения являются спамом). Если же метки непрерывные (числа), то модель будет решать задачу регрессии – к примеру, предсказывать динамику цен на недвижимость.
Неконтролируемое обучение. Обучаемые без учителя алгоритмы работают с немаркированными данными. Они пытаются найти закономерности или структуры в самих данных без внешней подсказки и решают задачи кластеризации (например, сегментации клиентов), понижения размерности данных, выявления аномалий и скрытых паттернов.
Обучение с подкреплением. Агент обучается взаимодействовать с окружающей средой для достижения максимального вознаграждения. Модель принимает решения на основе проб и ошибок, получая обратную связь в виде награды или штрафа. Алгоритмы этого типа часто используются в робототехнике и сложных автономных системах, играх (шахматы, го и т. п.) и управлении (например, трафиком).

Еще есть полуконтролируемое (трансдуктивное), многозадачное и трансферное обучение:

Полуконтролируемое обучение использует как размеченные, так и неразмеченные данные. Этот подход может значительно повысить точность модели, если размеченных данных мало, как это обычно бывает в медицинской диагностике и компьютерном зрении.
При многозадачном обучении одна модель обучается на нескольких связанных задачах одновременно. Этот подход может улучшить производительность по каждой задаче за счет использования общих данных и признаков. Применяется в специфических сценариях и областях, где задачи связаны друг с другом, например, в обработке естественного языка и компьютерном зрении.
При трансферном обучении модель, предварительно обученная на одной задаче, используется для решения другой, связанной задачи. Это особенно полезно, когда данных для обучения новой задаче слишком мало. Пример – остаточные сети ResNet, которые используются для классификации изображений.

У каждого из этих типов есть свои преимущества, перспективы и область применения. Но по уровню практического использования сейчас лидируют алгоритмы обучения с учителем. Это связано с несколькими факторами:

Практичность – алгоритмы контролируемого обучения эффективно решают конкретные бизнес-задачи, связанные с классификацией или прогнозированием.
Интерпретируемость результатов – легче оценить качество модели, когда есть целевая переменная для сравнения.
Доступность размеченных данных – во многих областях уже существуют большие наборы размеченных данных.
Зрелость методов – алгоритмы обучения с учителем более развиты и имеют множество эффективных реализаций.

Рассмотрим 6 самых важных алгоритмов контролируемого обучения.

🤖✍️ Все самое полезное про ИИ-помощников вроде ChatGPT, Gemini, Bing и других вы найдете на нашем телеграм-канале «Библиотека нейротекста»

Линейная регрессия (Linear regression)

Линейная регрессия — самый простой и распространенный ML-алгоритм. Используется для моделирования зависимости между одной или несколькими независимыми переменными (факторами) и зависимой переменной (целевым значением). Работает путем нахождения линейного уравнения, которое лучше всего подходит к данным:

Простая линейная регрессия предполагает наличие одной независимой переменной и одной зависимой переменной. Например, предсказание стоимости квартиры на основе даты постройки здания.
Множественная линейная регрессия включает несколько независимых переменных. Например, предсказание цены дома на основе его площади, количества комнат, наличия парковки и расположения.

Линейная регрессия

Уравнение множественной линейной регрессии выглядит так:

y = b₀ + b₁x₁ + b₂x₂ + ... + b_nx_n,

где:

y — зависимая переменная;
x₁, x₂, ..., x_n — независимые переменные;
b₀ — свободный член (интерцепт);
b₁, b₂, ..., b_n — коэффициенты при независимых переменных.

Линейная регрессия часто используется для предсказания численных значений – баллы, зарплаты, цены на жилье. Однако точность предсказаний у этого алгоритма ниже по сравнению с более сложными моделями.

Метод опорных векторов (SVM)

Метод опорных векторов чаще всего используется для задач классификации. Он отлично справляется в ситуациях, когда данных мало, а высокая скорость работы в приоритете.

Основная идея SVM — это создание гиперплоскости, которая лучше всего разделяет классы в многомерном пространстве. Например, если у нас есть два класса данных, каждый из которых представлен в двухмерном пространстве (по осям x и y), SVM будет искать такую линию (в случае двухмерного пространства), которая наилучшим образом разделяет эти два класса. Эта линия называется гиперплоскостью, или границей решений.

Если точка данных находится слева от линии, она будет относиться к одному классу, а если справа — к другому

Дерево решений (Decision tree)

Дерево решений используется для принятия решений на основе правил, представленных, как вы уже наверняка догадались, в виде дерева. Каждый узел в дереве представляет собой вопрос или условие, а ветви дерева — возможные ответы или исходы этого вопроса:

Корень дерева — это начальный узел, с которого начинается процесс принятия решения.
Внутренние узлы представляют собой условия, которые необходимо проверить.
Листовые узлы — это конечные узлы, которые представляют собой возможные результаты (предсказания).

Деревья решений используют как для задач классификации, так и для задач регрессии. Они просты для интерпретации, но могут быть подвержены переобучению, особенно если дерево становится слишком глубоким и сложным.

Дерево решений

Случайный лес (Random forest)

Случайный лес — ансамблевый метод, который объединяет множество деревьев решений для улучшения точности предсказаний. Идея состоит в том, чтобы создавать несколько деревьев решений на основе разных подвыборок данных (этот процесс называется бутстрэппингом) и затем комбинировать их результаты. Чтобы снизить вероятность переобучения и повысить устойчивость модели, метод случайного леса использует метаалгоритм бэггинга:

В случае классификации модель выбирает наиболее часто встречающееся предсказание среди всех деревьев (мода).
В случае регрессии модель выбирает среднее значение предсказаний всех деревьев.

Случайный лес показывает более высокую точность, чем одно дерево решений, и хорошо работает с большими наборами данных.

Случайный лес

🤖🦾 Все самое полезное про роботов, беспилотники, автопилоты и интернет вещей вы найдете на нашем телеграм-канале

«Библиотека робототехники и беспилотников»

Наивный байесовский классификатор

Наивный Байес предполагает, что все признаки в данных независимы друг от друга, что в реальности не всегда соответствует действительности. Алгоритм основан на теореме Байеса, которая описывает вероятность наступления события A при условии, что произошло событие B:

Теорема Байеса

Наивный байесовский классификатор часто используется из-за своей простоты и высокой скорости работы, но его точность снижается, если признаки данных оказываются зависимыми друг от друга.

Логистическая регрессия (Logistic Regression)

Логистическая регрессия используется для задач бинарной классификации, где целевая переменная может принимать два значения (например, «да» или «нет», «хот-дог» или «не хот-дог»). Алгоритм основан на логистической функции, также известной как сигмоида, которая преобразует входные данные в вероятность значения между 0 и 1.

Формула логистической регрессии

Этот алгоритм используется для задач, где важно не только сделать предсказание, но и оценить вероятность того или иного исхода. Например, если вероятность того, что письмо является спамом, равна 0,64, это означает, что вероятность спама составляет 64%. Логистическая регрессия проста для интерпретации и часто используется в разных областях – от спам-фильтров до кредитного скоринга и анализа оттока клиентов.

📭 13 опенсорсных инструментов для ИИ-разработчиков

Weaviate – AI-ориентированная база данных, которая позволяет эффективно хранить и обрабатывать как объекты, так и высокоразмерные векторные данные. Разработана с учетом всех требований к масштабированию, репликации и безопасности, что позволяет легко перейти от быстрого прототипирования к продакшену. Среди преимуществ:

Отличается очень высокой скоростью выполнения запросов – может выполнять поиск ближайших соседей (10-NN) среди миллионов объектов за миллисекунды.
Обеспечивает семантический поиск, который основан не на точном совпадении поискового запроса с документами, а на понимании контекста и намерения пользователя. Это позволяет системе возвращать релевантные результаты даже при наличии опечаток или альтернативных слов в поисковом запросе.
Использует функцию гибридного мультимодального поиска по любым объектам – текст, аудио, видео, изображения.
Помимо поиска, предоставляет функции суммаризации, рекомендации и автоматической классификации.
Позволяет векторизовать данные во время импорта или загружать уже векторизованные данные.
Легко интегрируется с популярными моделями и фреймворками, что позволяет быстро разрабатывать и масштабировать любые ИИ-приложения. Поддерживает пользовательские модули для работы с собственными моделями или сторонними сервисами.
Предлагает различные варианты развертывания, включая серверные, бессерверные и локальные контейнеры. Работает как распределенная система на Kubernetes.

🤖🎥 Все самое полезное про нейросети для генерации видео и дипфейки вы найдете на нашем телеграм-канале «Библиотека нейровидео»

Haystack – фреймворк для быстрой разработки любых ИИ-приложений – RAG-систем, чатов с документами, семантического поиска, автоматизированных служб поддержки и т. п. Основные преимущества:

Технологическая агностика – предоставляет гибкость в выборе провайдеров, моделей и дополнительных технологий, облегчая замену любого компонента на другой.
Ясность – делает прозрачным взаимодействие между разными компонентами, упрощая интеграцию в ваш стек технологий и адаптацию под конкретные случаи использования.
Многофункциональность – обеспечивает доступ к базам данных, преобразование файлов, очистку, разделение, обучение, оценку, вывод и многое другое. При необходимости можно легко создавать собственные компоненты.

LitGPT – библиотека для обучения, тонкой настройки, развертывания и масштабирования LLM. Особенно полезна, когда стандартные проприетарные модели не отвечают требованиям из-за стоимости, производительности или невозможности гиперперсонализации. LitGPT предлагает более 20 LLM, каждая модель реализована с нуля без использования абстракций, что обеспечивает высокую скорость работы и минимальные требования к ресурсам.

DSPy – фреймворк, разработанный исследователями Стэнфордского университета для алгоритмической оптимизации промптов и весов языковых моделей. Одна из основных проблем, мешающих широкому применению LLM в практической разработке, – это их стохастический характер: они работают на основе вероятностей, что может привести к непредсказуемым результатам, в то время как традиционное программирование требует четких и предсказуемых выходных данных. DSPy предлагает систематический подход к работе с LLM, помогая разработчикам управлять этой стохастичностью:

Отделяет поток программы от деталей каждого шага (промпты LLM и веса). Это облегчает управление и обновление системы.
Использует продвинутые алгоритмы, которые автоматически настраивают промпты и веса LLM в соответствии с целями разработчика для повышения точности и снижения уровня ошибок.

AI Gateway – обеспечивает надежность и устойчивость ИИ-приложений, которые зависят от провайдерской LLM: если модель по какой-то причине становится недоступной, во время простоя маршрутизатор будет перенаправлять запросы от одного провайдера к другому. Поддерживает больше 200 моделей.

Airbyte – платформа для создания ETL/ELT-конвейеров: позволяет перемещать информацию из разных источников (API, базы данных, файлы) в хранилища и озера данных. Поддерживает само- и облачный хостинг.

AgentOps – помогает разработчикам создавать, оценивать и мониторить AI-агентов. Интегрируется с CrewAI, AutoGen и LangChain.

Phoenix – платформа для наблюдения за AI, разработанная для экспериментов, оценки и устранения неполадок. Основные функции:

Трассировка для выявления узких мест и оптимизации производительности.
Оценка производительности ИИ-приложения.
Версионирование наборов данных для экспериментов, оценки и тонкой настройки.
Отслеживание и оценка изменений в промптах, LLM и механизмах извлечения информации в ходе экспериментов.

vLLM – быстрая и простая в использовании библиотека для вывода и обслуживания языковых моделей. Предлагает широкий спектр функций, включая поддержку GPU, CPU, TPU и остальных нейрочипов разных производителей, квантование моделей, параллелизм тензоров и непрерывную обработку запросов.

🤖🔊 Все самое полезное про нейросети для звука: транскрибации, синтеза речи и музыки вы найдете на нашем телеграм-канале

«Библиотека нейрозвука»

Vercel AI SDK – набор TypeScript-инструментов для быстрой разработки ИИ-приложений с использованием Next.js, React, Svelte, Vue и среды выполнения Node.js. SDK абстрагирует LLM-провайдеров, устраняет шаблонный код для создания чат-ботов и предоставляет интерактивные компоненты визуализации для обеспечения комфортного UI/UX.

LangGraph – библиотека для создания ИИ-агентов. В отличие от других агентских фреймворков, LangGraph предлагает циклы, управляемость, сохраняемость и концепцию «человек в цикле»: можно прервать выполнение графа для одобрения или редактирования следующего действия, запланированного агентом.

Taipy – фреймворк для быстрой разработки веб-приложений, использующих большие данные и ИИ. Создан целенаправленно для специалистов по данным и ML-инженеров, чтобы им не приходилось изучать фронтенд-фреймворки: для разработки полноценных приложений на Taipy достаточно знания Python.

Composio интегрирует ИИ-агентов с инструментами, которые они должны использовать. Поддерживает больше 100 разных интеграций – от GitHub, Gmail, браузеров и ОС до любых баз данных и RAG-систем.