Влияние bagging на дисперсию

Bagging (bootstrap aggregating) снижает дисперсию в деревьях решений. Деревья решений склонны к высокой дисперсии, потому что небольшие изменения в обучающих данных могут привести к значительным изменениям в структуре дерева и, следовательно, в прогнозах. При использовании bagging создается множество деревьев решений, каждое из которых обучается на случайной подвыборке данных с возвращением (bootstrap-выборка). Затем прогнозы этих деревьев объединяются (обычно путем усреднения или голосования).

Этот процесс приводит к уменьшению дисперсии по нескольким причинам:

1. Разнообразие моделей: Поскольку каждое дерево обучается на разной выборке данных, модели получаются различными. Это разнообразие помогает компенсировать ошибки отдельных деревьев.

2. Усреднение ошибок: При объединении прогнозов ошибки отдельных деревьев имеют тенденцию компенсировать друг друга, особенно если они не систематические.

3. Стабильность модели: Усредненный результат более устойчив к шуму и выбросам в данных.

В итоге, bagging уменьшает дисперсию модели без значительного увеличения смещения, что улучшает общую точность и надежность прогнозов деревьев решений.

Дисперсия в деревьях решений существенно зависит от их глубины:

1. Увеличение дисперсии с глубиной: Глубокие деревья решений имеют способность разделять данные на очень мелкие и специфичные подмножества. Это позволяет им хорошо подгонять обучающие данные, но делает модель чувствительной к шуму и выбросам. Небольшие изменения в обучающем наборе могут привести к значительным изменениям в структуре глубокого дерева, что увеличивает дисперсию модели.

2. Переобучение: Глубокие деревья склонны к переобучению, поскольку они могут запоминать обучающие данные вместо того, чтобы извлекать общие закономерности. Это означает, что модель может показывать отличные результаты на обучающем наборе, но плохо обобщать на новые данные, что является признаком высокой дисперсии.

3. Смещение-дисперсия компромисс: Мелкие (неглубокие) деревья имеют более простую структуру и, следовательно, меньшую дисперсию, но могут страдать от высокого смещения, недоучивая данные и пропуская важные закономерности.

4. Регуляризация глубины: Контролируя максимальную глубину дерева, можно уменьшить дисперсию, ограничивая модель от переобучения. Это делает модель более устойчивой к изменениям в данных.

Вывод: По мере увеличения глубины дерева решений дисперсия модели, как правило, увеличивается из-за повышенной сложности и склонности к переобучению. Оптимальная глубина дерева должна балансировать между низким смещением и приемлемой дисперсией, обеспечивая хорошую обобщающую способность модели.