Свързан байесов извод
Материал от MachineLearning.
Свързан байесов извод - метод за сравняване на регресионните модели, базиран на анализа на тяхното пространство на параметри. Този метод използва класически байесов извод два пъти: за изчисляване на задната вероятност на параметрите на модела и за изчисляване на задната вероятност на самия модел. Свързаността е, че и двата пина споделят общ фактор, наречен достоверност на модела. Неразделна част от този метод е анализът на пространството на параметрите на модела и зависимостта на целевата функция от стойностите на параметрите. Резултатът от този анализ е способността да се оцени колко важни са отделните параметри на модела за апроксимиране на данните. Асоциираният байесов извод се използва както при регресия, така и при класификационни проблеми.
Съдържание
Сравнение на модели
Когато се сравняват модели, правилото на бръснача на Occam се използва в следната формулировка: Обединеното байесово заключение автоматично определя количествено правилото на Окам. Бръсначът на Окам е принципът на предпочитание към прости модели (теории, хипотези) пред сложни. Ако няколко модела описват наблюденията еднакво добре, принципът на Окам препоръчва да се избере най-простият модел.
Теоремата на Байес казва, че най-вероятните модели ще бъдат тези, които най-точно предсказват появата на някои данни. Тази вероятност се определя от нормализираната функция за разпределение на пространството от данни. Вероятността за поява на данни за фиксиран модел се нарича вероятност за модела. .
Един прост модел описва ограничен набор от данни, както е показано на фигурата от функцията за плътност на разпределение. По-сложен модел, имащ например по-голям брой параметри, описва (с други думи, приближава с известна точност, не по-лоша от дадена) по-голям набор от данни. Това, според нормализирането на функцията на плътността на разпределение, означава, че в даден регион по-вероятен е един прост модел, при условие че и двата модела имат еднаква предходна вероятност.
Намерете вероятността от два алтернативни модела и описвайки данните. По теоремата на Байес ние свързваме вероятността за Р модел с фиксирани данни, вероятността за получаване на данни с този модел и предишната вероятност за модела. Тъй като стойността на нормализиращия фактор и за двата модела е еднаква, съотношението на вероятността на моделите и има формата
Съотношението вдясно показва колко голямо е предишното предпочитание на модела към модела. Ratio показва колко добре моделът отговаря на наблюдаваните данни по-добре от модела .
Изразът (1) въвежда правилото на Окам, както следва. Първо, възможно е да се определи връзката, която да отразява сложността на моделите въз основа на допълнителна информация. Второ, независимо от предишния начин за определяне на критерия за избор на модели, тази връзка автоматично изпълнява правилото на Occam. Всъщност, ако е по-сложен модел, неговата плътност на разпределение има по-ниски стойности, при условие че неговата дисперсия е по-голяма. Ако остатъците, доставени от двата модела, са равни, по-вероятно е един прост модел, отколкото сложен модел. По този начин, независимо от априорните предпочитания, се въвежда правилото на Occam, според което при равни равни предварителни предпочитания и еднакво съответствие на приетите модели с измерените данни, по-вероятно е простият модел, отколкото сложният.
Пример за изчисляване на вероятността от модели
Помислете за последователност Необходимо е да се предскажат следващите две числа и да се намери моделът на последователността. Първа опция:. Редовността е следващото число е предишното плюс, в противен случай. Втори вариант:. Има модел .
От една страна, е възможно директно да се присвоят предишни вероятности и за двата модела, за да се накаже по-сложен модел. От друга страна е възможно да се изчисли тяхната вероятност и да се определи колко добре и двете функции описват данните.
Моделът зависи от два параметъра: добавеното число и първото число в последователността. Нека всеки от тези параметри принадлежи на множеството. Тъй като само двойка стойности доставят функция, съответстваща на данните, вероятността за поява на данни за даден модел е
За да се изчисли, се изисква да се изчисли вероятността за параметрите в кубичния полином .
Тези параметри са представени като рационални числа (иначе и двата модела биха били несравними). Нека числителите на параметрите, както в предишния случай, вземат стойности от множеството, а знаменателите - от множеството. При изчисляване на вероятността се взема предвид, че има няколко начина да се представи част от дадени множества. Например, . Вероятността е
Съотношението на вероятността за двата модела (а оттам и техните задни вероятности, при условие че предишните предпочитания са равни), е една четиридесет милионна.
Две нива на байесов извод
При създаването на модели се разграничават две нива на байесов извод. На първо ниво приема се, че разглежданият модел е адекватен. Параметрите на модела се коригират според данните. Резултатът е най-правдоподобните стойности на параметри и грешки в модела за тези параметри. Тази процедура се повтаря за всеки модел. Проблемът, решен на второ ниво на извод, е сравняването на модели. Резултатът е подреден набор от модели.