Опубликован очередной отчет о состоянии дел в AI-индустрии. Самое главное: - GPT-4 пока что остается лидером по результатам всех тестов для ИИ и экзаменов для людей.
- Все больше усилий направляется на создание компактных моделей, которые способны конкурировать с мощными проприетарными LLM за счет более качественных обучающих данных и поддержки объемного контекста. Этот тренд особенно актуален на фоне опасений о том, что через несколько лет созданной людьми информации уже будет недостаточно для масштабирования ИИ.
- LLM и диффузионные модели продолжают помогать ученым совершать прорывные открытия, в частности – в области молекулярной биологии и в разработке новых лекарств.
- Вычислительные мощности стали новой нефтью: NVIDIA демонстрирует рекордные доходы, а стартапы используют свои GPU в качестве конкурентного преимущества. США ужесточают торговые ограничения в отношении Китая и мобилизуют своих союзников в войне за чипы, а NVIDIA, Intel и AMD начали масштабные продажи GPU, не подлежащих экспортному контролю.
- Генеративный ИИ спасает мир венчурных инвестиций: на фоне падения оценки обычных ИТ-проектов ИИ-стартапы, ориентированные на генеративные приложения (создающие изображения, видео, текст и программный код), привлекли более $18 млрд от венчурных и корпоративных инвесторов.
- Проблема безопасности вышла на первый план, побудив правительства и регулирующие органы по всему миру начать разработку соответствующих мер. Однако за этой бурной деятельностью скрываются глубокие разногласия в ИИ-сообществе и отсутствие заметного прогресса, поскольку правительства разных стран придерживаются противоречивых подходов.
- Другая серьезная проблема – отсутствие надежной системы оценки современных LLM: корректность результатов работы моделей оставляет желать лучшего, а интуитивную оценку нельзя назвать объективной.
|
Исследователи Швейцарской высшей технической школы Цюриха обнаружили, что LLM, подобные ChatGPT, могут точно угадывать множество личных деталей о человеке по совершенно невинной переписке с чат-ботом. Такие подробности ни в коем случае не должны попадать в руки злоумышленников (или таргетологов). Платформа StackOverflow уволила 28% сотрудников – начинающие айтишники теперь предпочитают задавать вопросы вежливому ChatGPT. ИИ-апгрейд LinkedIn тоже повлек за собой увольнение персонала – там сократили 668 человек. 21-летний студент Люк Фарритор выиграл $40 000 за расшифровку римского свитка с помощью ИИ. До этого прочитать свиток не могли – он был обуглен во время извержения Везувия в октябре 79 г.н.э. Призеры, занявшие второе и третье места, получили по $10 000. |
В конкурсе Vesuvius Challenge можно выиграть до $1 000 000 |
Известная писательница Маргарет Этвуд, книги которой незаконно использовали в обучении множества LLM, написала рецензию на рассказ и стихотворение, сгенерированные ChatGPT в подражание ее стилю. Спойлер: Этвуд согласна, что чат-бот пишет стишки не хуже условного дядюшки Роджера, но профессиональные авторы пока еще могут спать спокойно. Microsoft заплатит от $2 000 до $15 000 за найденные в Bing AI баги. А вот за обнаружение ошибок в Bard AI вряд ли будут платить – багов там столько, что даже сотрудники Google сомневаются в полезности чат-бота. Исследователи Северо-Западного университета представили революционное наноэлектронное устройство, которое позволяет в 100 раз повысить скорость работы ИИ при выполнении задач классификации в реальном времени. Устройство не нуждается в энергоемкой облачной инфраструктуре и способно молниеносно обрабатывать данные в носимых устройствах для медицинской диагностики. Ранее исследователи Лаборатории Линкольна (MIT) сообщили о разработке технологии обучения моделей, которая использует на 80% меньше электроэнергии, чем обычные методы. |
Создатель фреймворка LangChain, Харрисон Чейз, за 1 час научит, как сделать чат-бота на LangChain для работы с вашими собственными данными и документами. Llemma – опенсорсная модель на базе Code Llama* для решения математических задач. Есть варианты на 7 млрд и на 34 млрд параметров. Статья о процессе обучения, результатах тестирования и сравнения Llemma с другими математическими моделями – здесь. Simulatrex – фреймворк для симуляции социальных и рыночных сценариев: - Позволяет создавать симуляции с несколькими агентами, каждый из которых имеет свою личность, начальные условия и когнитивную модель.
- Поддерживает как статические, так и динамические среды – это позволяет реализовать широкий спектр сценариев моделирования.
- Имитационные модели Simulatrex – событийно-ориентированные, имеют встроенный механизм обработки событий и обновления среды.
- Есть механизм оценки, позволяющий оценивать результаты работы агентов на основе заданных целей и метрик.
- Предусмотрена интеграция с языковыми моделями – это позволяет агентам генерировать человекоподобные реакции.
Zephyr 7B Alpha – модель на базе Mistral-7B-v0.1, настроенная и дополнительно обученная для выполнения роли личного помощника. Генерирует ответы в стиле ChatGPT, отлично понимает русский язык, и превосходит показатели Llama-2 70B* по MT Benchmark. |
Исследователи обнаружили, что LLM линейно отделяют истинные утверждения от ложных – то есть во внутренней структуре модели существует некий «вектор истины», разделяющий истину и ложь. Исследователи протестировали открытие на разных типах данных и показали, что «зонды» (алгоритмы), обученные выделять «вектор истины», могут обобщать новые и совершенно неизвестные модели данные. Это говорит о том, что они выделяют именно общее понятие истины, а не просто коррелирующие с ней признаки, и этот факт открывает пути к созданию более надежных систем ИИ, менее склонных к галлюцинациям и генерации ложной информации. |
Так LLM представляют истинные и ложные сведения |
Статья «Большие языковые модели для чайников» интересно и понятно рассказывает о принципах работы и перспективах применения LLM: - LLM представляют слова в виде векторов чисел, называемых векторами слов. Каждое слово представлено уникальным вектором из многих чисел (например, 12288 чисел для GPT-3).
- Слова группируются вместе в «пространстве слов» на основе семантической близости. Похожие слова находятся ближе друг к другу.
- LLM обучаются на огромных текстовых данных (GPT-3 обучали на 500 миллиардах слов). Это позволяет им понимать контекст и связи между словами.
- LLM используют архитектуру трансформеров – многослойную нейронную сеть. Каждый слой анализирует входные данные и передает результат дальше.
- Первые слои анализируют синтаксис, последние – семантику и контекст всего текста. Большее количество слоев и размер векторов слов позволяют LLM лучше понимать сложные языковые конструкции и нюансы.
- LLM могут решать задачи, которые вызывают затруднения у людей, например, вопросы, связанные с теорией разума – GPT-4 правильно отвечает на 95% таких заданий.
- Приложения LLM все еще находятся на ранней стадии. Основные направления развития – вертикализация, автоматизация/ускорение человеческого труда и решение невозможных ранее задач.
|
Разработчики Parcha рассказали о процессе разработки ИИ-агентов для автоматизации бизнес-процессов. Такие агенты могут выполнять все рутинные задачи в области комплаенса и операционной деятельности. Основные компоненты агента: - Спецификации и директивы (роль, возможности, инструменты).
- Блокнот для хранения промежуточных результатов.
- Стандартные операционные процедуры (СОП), по которым агент действует.
- Инструкции для финальной оценки и принятия решения.
Изначально компания использовала простой подход с агентами на базе Langchain и веб-сокетами для связи. Этот подход вызвал серьезные проблемы при масштабировании, и разработчики поделились усовершенствованиями, которые позволяют сделать агентов более надежными и производительными. |
Cosine – ИИ-ассистент разработчика: отвечает на любые вопросы по кодовой базе, дает советы, предлагает решения и генерирует идеи. |
Cosine с успехом заменяет GitHub Copilot |
Calligrapher – генерирует реалистичный рукописный текст. Русский язык пока не поддерживается. SheetAI – ИИ на основе GPT-3, который работает прямо в Google Sheets и делает там все, что только можно ожидать от Excel-ассистента и модели, генерирующей текстовые данные. Другой похожий инструмент – AI in Sheets. |
AI для Google Sheets – обрабатывает данные и пишет стишки |
YTClass – совмещает образовательные ресурсы YouTube с мощью ИИ: ассистент поможет пройти любой курс и ответит на все вопросы. |
ИИ выступает в качестве персонального наставника |
Еще не Midjourney, зато бесплатно |
Humata – позволяет задавать вопросы по содержимому PDF-файлов, делает суммаризацию объемных документов. Riffusion – пишет и исполняет песни по текстовым промптам, вот один из примеров. Masterpiece X – генерирует 3D-модели по текстовому описанию. Отлично подходит для прототипирования в геймдеве. |
Gemelo – клонирует голос и внешность для создания ИИ-двойника, который может, например, заниматься техподдержкой проекта и общаться с подписчиками. Hotshot – генерирует GIFки по текстовым промптам. |
Генератор GIFок работает на Stable Diffusion |
Clio – бот для генерации изображений в Телеграме и WhatsApp*. |
Тоже не Midjourney, зато в Телеграме |
Напоследок – подборка из 10 незаурядных роботов, которые могут напугать своими способностями. Увидимся через неделю! |
На этом все, увидимся через неделю! |
* Организация Meta и ее продукты Llama 2, Code Llama и WhatsApp признаны экстремистскими и запрещены на территории РФ. |
|
|
Вы получили это письмо, потому что подписались на нашу рассылку. Если вы больше не хотите получать наши письма, нажмите здесь.
|
|
|
|
