Рубрики

Повышение в машинном обучении | Повышение и AdaBoost

Повышение — это метод моделирования ансамбля, который пытается построить сильный классификатор из числа слабых классификаторов. Это сделано для построения модели с использованием слабых моделей в серии. Во-первых, модель строится из данных обучения. Затем строится вторая модель, которая пытается исправить ошибки, присутствующие в первой модели. Эта процедура продолжается, и модели добавляются до тех пор, пока либо не будет правильно спрогнозирован полный набор обучающих данных, либо не будет добавлено максимальное количество моделей.

AdaBoost был первым действительно успешным алгоритмом повышения, разработанным для двоичной классификации. AdaBoost — это сокращение от Adaptive Boosting и очень популярная техника повышения, которая объединяет несколько «слабых классификаторов» в один «сильный классификатор». Он был сформулирован Йоавом Фрейндом и Робертом Шапиром. Они также выиграли приз Геделя 2003 года за свою работу.

Алгоритм:

  1. Initialise the dataset and assign equal weight to each of the data point.
  2. Provide this as input to the model and identify the wrongly classified data points.
  3. Increase the weight of the wrongly classified data points.
  4. .

  5. if (got required results)
      Goto step 5
    else
      Goto step 2
  6. End

Объяснение:
Вышеприведенная диаграмма объясняет алгоритм AdaBoost очень простым способом. Давайте попробуем понять это в пошаговом процессе: