Защо Лаплас произвежда преди разпръснати разтвори

Разглеждах литературата за регуларизация и често виждам параграфи, които свързват регулирането на L2 с Gaussian prior и L1 с Laplace, центрирано върху нула.

Знам как изглеждат тези приоритети, но не разбирам как това се превежда например в тежести в линеен модел. В L1, както го разбирам, бихме очаквали оскъдни решения, тоест някои тегла ще бъдат изтласкани точно до нула. И в L2 получаваме малки тегла, но не и нулеви.

Но защо се случва това?

Моля, коментирайте, ако трябва да предоставя повече информация или да изясня мисленето си.

Отношението на априорното разпределение на Лаплас с медианата (или норма L1) беше открито от самия Лаплас, който установи, че използвайки такова априори, вие оценявате медианата, а не средната стойност, както при нормалното разпределение (вж. Stingler, 1986 или Уикипедия). Това означава, че регресията с разпределението на грешките на Лаплас изчислява медианата (като квантилна регресия), докато нормалните грешки се отнасят до оценката на OLS.

Силните предци, с които сте интервюирали, също са описани от Тибширани (1996), който отбелязва, че стабилната регресия на Ласо в байесовите настройки е еквивалентна на използването на Лаплас преди. Такива приоритети за коефициентите са центрирани около нулата (с центрирани променливи) и имат широки опашки - така че повечето от регресионните коефициенти, изчислени с помощта на този краен резултат, са точно нула. Това е ясно, ако се вгледате внимателно в изображението по-долу, разпределението на Лаплас има пик около нулата (има по-голяма маса на разпределение), докато нормалното разпределение е по-дифузно около нулата, така че ненулевите стойности имат по-висока вероятностна маса. Други възможности за стабилни априори са разпределенията на Коши или. t 'role = "prezentacija"> t

---