Защо точността на валидиране варира

Имам четирислойна CNN, за да предскажа реакция на рак, използвайки MRI данни. Използвам активации на ReLU, за да въведа нелинейности. Прецизността и загубата на влака съответно се увеличават и намаляват монотонно. Но точността на теста ми започва да варира диво. Опитах се да променя скоростта на обучение, да намаля броя на слоевете. Но това не спира колебанията. Дори прочетох този отговор и се опитах да следвам инструкциите в този отговор, но пак няма късмет. Може ли някой да ми помогне да разбера къде греша?

точността

Както разбирам дефиницията за прецизност, прецизността (% от точките с данни са класирани правилно) е по-малко кумулативна, отколкото да кажем MSE (средна квадратна грешка). Ето защо виждате, че загубата ви нараства бързо, докато точността варира.

Интуитивно това основно означава, че някои от примерите са класифицирани на случаен принцип, което поражда колебания, тъй като броят на правилните случайни предположения винаги се колебае (представете си прецизност, когато детайлът винаги трябва да връща "глави"). По принцип чувствителността към шум (когато класификацията води до случаен резултат) е често срещана дефиниция за пренастройване (вж. Wikipedia):

В статистиката и машинното обучение една от най-често срещаните задачи е да се побере „модел“ към набор от данни за обучение, така че да можете да правите надеждни прогнози за общите нетренирани данни. Прекалено подходящо, статистическият модел описва случайна грешка или шум вместо основната връзка