Математически разлики между GBM, XGBoost, LightGBM, CatBoost
Има няколко реализации на фамилията GBDT модели като:
- GBM
- XGBoost
- LightGBM
- Catboost.
Какви са разликите математика между тези различни изпълнения?
Catboost изглежда превъзхожда останалите внедрения, дори използвайки само настройките по подразбиране въз основа на този бенчмарк, но все още е много бавен.
Моето предположение е, че catboost не използва фиксирани променливи, така че теглото, присвоено на всяка (категорична) променлива, е по-балансирано от другите изпълнения, така че променливите с висока степен на мощност не носят по-голяма тежест от другите. Позволява на слабите категорични (с ниска кардиналност) да влизат в определени дървета, което води до по-добра производителност. Освен това нямам друго обяснение.
Искате да се запознаете с този документ на английски език от екипа на Yandex относно математическата уникалност на CATBoost.
Прочетох го накратко и сред малкото неща, които успях бързо да разбера, беше фактът, че те не използват остатъците, получени на ВЛАК да се направи ВЛАК, защото тези остатъци създават оптимистично пристрастие по отношение на качеството на обучение. ( Актуализация: тази новост предлага начин за борба с пренастройването, поради което алгоритъмът се представя по-добре в сравнение със своите аналози, с изключение на различни начини за предварителна обработка на категориалните променливи).
Съжалявам, че не ви дадох точен и пълен отговор.
Математически разлики между GBM и XGBoost
Първо, предлагам ви да прочетете статия от Фридман за машината за подсилване на градиента, приложена по-специално към линейни регресивни модели, класификатори и дървета за вземане на решения. https://statweb.stanford.edu/