⛓️ Генератор текста на цепях Маркова
|
Цепи Маркова – это математические модели, описывающие последовательности случайных событий. Их особенность в том, что вероятность каждого следующего события зависит только от текущего состояния процесса, а не от всей предыдущей истории. Цепи Маркова используются для моделирования и прогнозирования в самых разных областях: - В экономике – для прогноза курсов акций, спроса, цен.
- В инженерии – для моделирования работы сложных систем.
- В лингвистике – для предсказания следующего слова на основе предыдущих.
- В генетике – для описания последовательностей ДНК и РНК.
Простейший пример использования цепей – моделирование текста. Эта статья рассказывает о том, как сгенерировать читаемый (хотя и бессмысленный) текст на Python. Суть алгоритма: - Сначала программа создает подкласс словаря defaultdict со списком возможных слов, которые могут идти после каждой пары слов в исходном тексте.
- Затем генерирует выходной текст путем случайного выбора очередного слова из словаря.
- Чем больше исходный текст, тем осмысленнее получается выходной текст.
Автор использует ввод с помощью sys.stdin. В этой модифицированной версии слова из файла input.txt рассматриваются как состояния, а переходы между ними – как вероятности. Программа создает словарь возможных следующих слов для каждой пары слов (w1, w2), затем выбирает случайный префикс (пару слов) и генерирует 150 случайных слов, следующих за этим префиксом. Каждое последующее слово выбирается из списка возможных следующих слов для текущей пары (w1, w2), где w1 становится w2, а w2 становится выбранным словом. Результат вполне годится для наполнения сайта тестовым контентом вместо Lorem ipsum: |
В файле input.txt – текст «Алисы в Стране Чудес» |
🎨 Визуальный конструктор GUI |
Tkinter, несмотря на все свои недостатки, продолжает оставаться самым простым и популярным решением для создания GUI десктопных приложений на Python. Недавно вышла новая версия Page, удобного визуального конструктора интерфейсов, который значительно упрощает процесс дизайна GUI на Tkinter. Page поддерживает: - большинство стандартных виджетов Tkinter и библиотеки ttk;
- копирование/вставку и перетаскивание элементов;
- кодировку UTF-8;
- создание многослойных / многооконных интерфейсов;
- визуальное редактирование и связывание виджетов с кодом.
|
🛠️ Лучшие библиотеки и фреймворки 2023 |
В статье, посвященной самым крутым библиотекам прошедшего года, представлены десять бесспорных победителей и подборка суперполезных инструментов, которые не попали в главный рейтинг, но тем не менее заслуживают внимания. |
Топ-10 библиотек и фреймворков |
LiteLLM – упрощает вызовы различных языковых моделей в едином формате OpenAI. Поддерживает балансировку нагрузки и ограничение скорости. PyApp – позволяет распространять Python-приложения в виде самоустанавливающихся пакетов. В отличие от PyInstaller, PyApp полагается на явное объявление зависимостей и поддерживает автоматическое обновление. Taipy – помогает быстро разработать интерактивный фронтенд для приложения на основе модели машинного обучения. MLX – фреймворк для машинного обучения, оптимизированный для чипов Apple. Похож на NumPy. Unstructured – набор мощных инструментов для предобработки текстовых документов. ZenML и AutoMLOps – фреймворки для автоматизации MLOps. WhisperX – модель распознавания и транскрибирования речи с временными метками на уровне отдельных слов. Отличается умеренными требованиями к ресурсам (занимает не более 8 Гб оперативной памяти) и экстремально высокой скоростью – работает в 70 раз быстрее обычной модели Whisper. AutoGen – позволяет разрабатывать приложения на основе LLM с использованием множественных агентов, которые могут общаться друг с другом для решения различных задач. Поддерживается технология RAG. |
AutoGen позволяет настраивать поведение агентов и определять различные схемы их взаимодействия |
Guardrails – обеспечивает валидацию и коррекцию вывода моделей для соответствия заданной структуре. Temporian – библиотека, оптимизированная для эффективной обработки временных рядов, как Pandas – для обработки табличных данных. Отличается высокой скоростью обработки больших объемов данных, поскольку написана на C++. Бесшовно интегрируется со всеми популярными библиотеками и фреймворками для машинного обучения. |
Temporian имеет собственный модуль для визуализации данных |
Другие инструменты, на которые стоит обратить внимание
|
DataGradients – библиотека для анализа датасетов компьютерного зрения. Помогает находить проблемные изображения, неправильные метки, смещения в данных. Также дает рекомендации по выбору гиперпараметров. functime – библиотека для работы с временными рядами и прогнозирования. Отличается высокой скоростью за счет распараллеливания обработки данных. Включает готовые алгоритмы машинного обучения и более 100 функций для извлечения признаков из временных рядов. LoRaX – сервер для высокопроизводительного развeртывания тысяч оптимизированных языковых моделей на одном GPU. Поддерживает динамическую загрузку моделей, непрерывную обработку запросов в батчах, интеллектуальное планирование вычислений. outlines – инструмент для управляемой генерации текста с помощью языковых моделей. Позволяет задавать различные ограничения и правила. Pearl – библиотека для обучения с подкреплением, которая помогает ИИ-агентам адаптироваться к средам с ограниченной наблюдаемостью, разреженным обратным сигналом и высокой стохастичностью. PEFT – наборов методов для эффективной оптимизации языковых моделей без изменения всех параметров сразу. Экономит ресурсы при сохранении качества. vLLM – высокопроизводительный движок для языковых моделей. Ускоряет вывод в 3,5 раза за счет оптимизации использования памяти. В статье есть еще добрая сотня других классных инструментов – от ReactPy и Reflex, которыe позволяют написать фронтенд на Питоне, до PyGWalker и Vizro для быстрого создания дашбордов и визуализации данных. |
Видео покажет, как с помощью библиотеки pyo3 бесшовно интегрировать в Python-скрипты функции, написанные на Rust, тем самым многократно повышая эффективность и производительность приложений. |
Руководство по защите веб-приложений и API продемонстрирует все нужные шаги для обеспечения безопасности сайта, работающего на Flask. Подробно описаны все факторы риска и способы устранения уязвимостей. Среди прочего рассмотрена защита от SQL-инъекций, загрузки вредоносного XML-кода через формы, межсайтового скриптинга и подделки запросов. |
🆓 Бесплатный хостинг с GPU
|
Статья показывает процесс создания и деплоя простого Django-приложения с ИИ-функциональностью на бесплатном тарифе modal.com. Бесплатно там дают ресурсов на $30 в месяц, и этого достаточно для тестирования и личного использования. |
|
|
Вы получили это письмо, потому что подписались на нашу рассылку. Если вы больше не хотите получать наши письма, нажмите здесь.
|
|
|
|
