Регуляризация в машинном обучении

Пререквизиты: градиентный спуск

Часто регрессионная модель соответствует данным, на которых она обучается. Основные причины переоснащения приведены здесь. Используя процесс регуляризации, мы пытаемся уменьшить сложность функции регрессии, фактически не уменьшая степень базовой полиномиальной функции.

Этот метод основан на том факте, что если члены высшего порядка в полиномиальном уравнении имеют очень малые коэффициенты, то функция будет приблизительно вести себя как функция полинома меньшей степени.

Как правило, регуляризация выполняется путем добавления термина сложности к функции стоимости, что даст более высокую стоимость по мере увеличения сложности базовой полиномиальной функции.

Формула дается в виде матрицы. Квадратные члены представляют собой квадрат каждого элемента матрицы. Это наиболее широко используемая формула, но не единственная.

Регуляризованные регрессии классифицируются на основе терминов сложности, добавленных к функции стоимости.

Рекомендуемые посты:

• Машинное обучение — Приложения
• Демистифицирующее машинное обучение
• Начало работы с машинным обучением
• Создание модели обучения в Scikit-learn: библиотека машинного обучения Python
• Введение в машинное обучение с использованием Python
• Введение в машинное обучение
• Обучение под надзором и без присмотра
• Матрица путаницы в машинном обучении
• Предварительная обработка данных для машинного обучения в Python
• Перекрестная проверка в машинном обучении
• Недоделывание и перенапряжение в машинном обучении
• Регрессия и классификация | Контролируемое машинное обучение
• Кластеризация в машинном обучении
• Разница между машинным обучением и искусственным интеллектом
• Машинное обучение и искусственный интеллект