Какво е a; наситен; модел
Какво имаме предвид, когато казваме, че имаме наситен модел?
В наситения модел има толкова прогнозни параметри, колкото са точките от данни. По дефиниция това прави перфектно напасване, но статистически е от малка полза, тъй като вече нямате данни за оценка на дисперсията.
Например, ако имате 6 точки от данни и приспособите полином от 5-ти ред към данните, получавате наситен модел (един параметър за всяка от 5-те степени на вашите независими променливи плюс един за постоянния член).
Наситеният модел е този, който е свръхпараметризиран до такава степен, че основно просто интерполира данните. С някои настройки, като компресиране и реконструкция на изображения, това не е непременно лошо нещо, но когато се опитвате да изградите предсказуем модел, това е много проблематично.
Накратко, наситените модели произвеждат предиктори с изключително висока дисперсия, които се влияят повече от шума, отколкото от действителните данни.
Като мисловен експеримент, представете си, че имате наситен модел и данните съдържат шум. След това си представете, че отговаряте на модела няколкостотин пъти, всеки път с различна реализация на шума и след това предсказвате нова точка. Шансовете са, че ще получите коренно различни резултати всеки път, както за монтажа, така и за прогнозата си (и в това отношение полиномите са особено удивителни). С други думи, дисперсията на напасването и предиктора е изключително висока.
За разлика от това, моделът, който не е наситен (ако е разумно конструиран), дава припадъци, които са по-последователни дори при различна реализация на шума, а дисперсията на предиктора също е намалена.
Моделът е наситен тогава и само ако има толкова много параметри, колкото точките от данни (наблюдения). С други думи, при ненаситените модели степента на свобода е по-голяма от нула.
Това всъщност означава, че този модел е безполезен, тъй като не описва данните по-пестеливо от суровите данни (а описването на данните по-пестеливо е по принцип идеята за използването на модел). Освен това, наситените модели могат (но не е задължително) да осигурят (безполезно) перфектно напасване, тъй като те само интерполират или итерират данните.
Например, вземете средното като модел за някои данни. Ако имате само една точка от данни (напр. 5), тогава използването на средната стойност (напр. 5; имайте предвид, че средната стойност е наситен модел само за една точка от данни) няма да помогне изобщо. Ако обаче вече имате две точки с данни (напр. 5 и 7) и използвате средния (напр. 6) като свой модел, ще получите по-точно описание от оригиналните данни.
Както всички останали са казали, това означава, че имате толкова параметри, колкото точки с данни. Така че, няма тестове за годност. Това обаче не означава, че моделът може „по дефиниция“ да отговаря перфектно на всяка точка от данни. Мога да ви разкажа чрез личен опит как сте работили с някои наситени модели, които не могат да предвидят определени точки от данни. Това е доста рядко, но е възможно.
Друг важен въпрос е, че наситеният не означава безполезен. Например в математическите модели на човешкото познание параметрите на модела се присвояват на специфични когнитивни процеси, които имат теоретична основа. Когато даден модел е наситен, можете да тествате неговата целесъобразност, като провеждате целеви експерименти с манипулации, които трябва да засягат само определени параметри. Ако теоретичните прогнози са съгласни с наблюдаваните разлики (или липса на) в оценките на параметри, може да се каже, че моделът е валиден.
Например, представете си модел, който съдържа два набора от параметри, един за когнитивна обработка и един за двигателни реакции. Представете си, че имате експеримент с две условия, при които отзивчивостта на участниците е нарушена (те могат да използват само една ръка вместо две), а другото състояние няма увреждане. Ако моделът е валиден, трябва да има разлики в оценките на параметрите и за двете условия само за параметрите на реакцията на двигателя.
Също така имайте предвид, че дори моделът да не е наситен, той все още може да не може да бъде идентифициран. Това означава, че различните комбинации от стойности на параметрите дават един и същ резултат, което влияе върху пригодността на модела.
За повече информация по тези теми като цяло може да разгледате следните статии:
Bamber, D. & van Santen, JPH (1985). Колко параметри може да има един модел и все още да може да се тества? Вестник по математическа психология, 29, 443-473.
Bamber, D. & van Santen, JPH (2000). Как оценявате проверяемостта и идентифицируемостта на даден модел? Вестник по математическа психология, 44, 20-40.