Радиални базисни функции (пример)

Материал от MachineLearning.

Радиалната базисна функция е функция, чиято стойност зависи само от нормата на аргумента. RBF се използват в алгоритми за метрична класификация, по-специално в метода на потенциалната функция, който (в опростена форма) е обсъден в тази статия.

Съдържание

Формулиране на проблема

Задава се селекция, в която описанието на всеки обект е вектор. Етикетите на класове принадлежат към набора. Смята се, че всеки обект с проба има определен "заряд" и създава потенциал в близост, чиято форма се определя от радиалната базова функция. По този начин общият потенциал в дадена точка се определя по формулата:

Знакът на този потенциал определя класа на обекта, т.е. класификатор. Необходимо е да се оптимизират стойностите на параметрите, .

Ядрени функции

Една от важните части на алгоритъма е изборът на радиалната базова функция. Следните функции могат да се използват като (въведена нотация):

  1. Гаусов, където 0 "alt =" \ beta> 0 "/>.
  2. Ядро за логистична регресия, 0 "alt =" \ sigma> 0 "/>.
  3. Ядрото, съответстващо на нютоновия потенциал, 0 "alt =" A> 0 "/>.
  4. Модифициран нютонов потенциал, 0 "alt =" A> 0 "/>, 0" alt = "n> 0" />.
  5. Триъгълно ядро .
  6. Модифицирано триъгълно ядро, 0 "alt =" n> 0 "/>.
  7. Правоъгълно ядро .
  8. Ядрото на Епанечников .
  9. Квартално ядро .
  10. Обобщено квартично ядро, 0 "alt =" n> 0 "/>.
  11. Обратно мулти-квадратно ядро, 0 "alt =" A> 0 "/>.
  12. Семейство Wendland от ядки, които са полиноми на интервал и равни

нула извън него. Те се характеризират с два параметъра - размерът на пространството и степента на гладкост. Тази реализация използва първите девет ядра:

Алгоритъм за намиране на оптималните параметри

Смята се, че радиусите на всички потенциали са равни помежду си (). Параметрите на променливата и RBF (ако има такива) са структурните параметри на метода. Таксите се регулират според алгоритъма:

  1. слагам .
  2. да повториш
  3. изберете произволен елемент от извадката
  4. ако тогава
  5. докато не бъде изпълнен критерият за спиране

Използват се следните критерии за спиране на алгоритъма:

  • Ограничете максималния брой итерации.
  • Малка част от грешките в тренировъчния набор - ако, тогава алгоритъмът спира. е структурен параметър на метода.
  • Като развитие на предишната точка - процентът грешки върху тестовата проба, който