четверг, 10 апреля 2025 г.

Дисперсия — это не сложно: разбираем без занудства за 5 минут

⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀
Привет, датасайентист!
Формулы не должны пугать, а должны помогать. Особенно когда речь о дисперсии — инструменте, без которого в мире данных как без компаса в лесу.
Что такое дисперсия и зачем она нужна
Дисперсия — это мера разброса данных вокруг среднего значения. По сути, это ответ на вопрос: «Насколько мои данные разбросаны?»
Низкая дисперсия — данные кучкуются вокруг среднего
Высокая дисперсия — раскиданы как носки по квартире 🧦
Формула проста:
D[X] = E[(X - E[X])²]
Или по-человечески: 
Найди среднее → посчитай отклонения → возведи в квадрат → усредни.
Почему это важно для ML-моделей
 
Оценка неопределенности: высокая дисперсия = данные нестабильны
 
Поиск выбросов: все, что дальше 3σ — подозрительно
 
Нормализация: помогает стандартизировать данные.
Random Forest: дисперсия в действии
Помнишь фразу «одна голова хорошо, а сто лучше»? Это буквально про Random Forest! Каждое дерево в «лесу» может ошибаться (высокая дисперсия), но когда мы усредняем результаты многих деревьев, дисперсия ошибки падает.
Больше деревьев = меньше ошибок!
Как это использовать на практике
При настройке Random Forest:
 
100-500 деревьев — оптимально
 
Ограничение глубины — спасает при шумных данных
 
Больше признаков на разбиение = ниже дисперсия, но выше корреляция деревьев
И напоследок
Дисперсия — как соль: без нее все пресно, а с переизбытком — несъедобно.
 
P.S. Хочешь уверенно чувствовать себя в математике для DS?
Перейти к вебинару
На вебинаре разбираем ключевые темы — от вероятностей до производных. Все простыми словами и с примерами из ML. Отличный способ освежить и систематизировать математические основы перед стартом в ML, AI или DS.
 
Вы получили это письмо, так как ранее проходили авторизацию на сайте proglib.io Чтобы отписаться, нажмите сюда

Новости от Политнавигатор за последний час

Политнавигатор за последний час опубликовал:

10.04.2025 @ 16:58
Трамп может дать России в обмен на уступки по Украине - только ажиотаж и шоу

Ажиотаж вокруг переговоров по украинскому кризису нагнетает США, делая заведомо не реализуемые предложения. Украину устроит одно условие – перемирие без каких-либо условий, что не устраивает российскую сторону. Такое мнение в эфире радио «Спутник в Крыму» высказал директор Таврического информационно-аналитического центра, кандидат политических наук Александр Бедрицкий, передает корреспондент «ПолитНавигатора». «Вообще, все действия, вся риторика Трампа – это ажиотаж. [...]

10.04.2025 @ 16:42
«Сделка по недрам» - абсолютный блеф и бутафория

«Сделка по недрам», которую так эмоционально обсуждают в США и на Украине, является лишь ширмой, прикрывающей тот факт, что на самом деле политика Вашингтона в отношении киевского режима принципиально не меняется. Об этом эксперт по энергетике Александр Фролов заявил «Геоэнергетике.Инфо», передает корреспондент «ПолитНавигатора». «Продолжают ли США помогать Украине. Нет, они на недельку приостанавливали ее. «Трампушка молодец, агент [...]

10.04.2025 @ 16:25
Кто выехал – «ухилянт и предатель»: Зе-власть вычеркнет из избирателей миллионы бежавших из страны

Киевская «партия войны» собирается лишить права голоса миллионы украинцев, которые будут признаны «уклонистами» или бежавшими за границу «предателями». Об этом на канале «Политэксперт» заявил эмигрировавший с Украины в США киевский миллионер Геннадий Балашов, передаёт корреспондент «ПолитНавигатора». «Когда установится мир, начнутся выборы. И вот здесь выползают, как из-под камня, все гадюки, все ежи, все те, кто хочет [...]

10.04.2025 @ 16:12
Трамп придумал, как заставить ЕС делать то, что надо ему, а не Зеленскому

Благодаря введённым пошлинам, Трамп сможет диктовать свою политическую волю европейским государствам. Об этом на канале «Политэксперт» заявил эмигрировавший с Украины в США киевский миллионер Геннадий Балашов, передаёт корреспондент «ПолитНавигатора». «Приезжает к Трампу премьер-министр Великобритании, он с ним о чем-то говорит, и потом Великобритания как-то неожиданно получает всего 10 процентов пошлин. То же самое происходит с другими странами, [...]



Вы получили это письмо, так как просили уведомлять вас о появлении новых записей.
С уважением, Subscribe2 Sender
999999999999999
999999999999999