Невронни мрежи импулс на промяна на теглото и загуба на тегло

Инерцията се използва за намаляване на колебанията в теглото по време на последователни повторения: α 'role = "prezentacija"> α

Разпад на теглото λ 'role = "prezentacija"> λ наказва промените в теглото:

Въпросът е дали има смисъл да се комбинират двата трика при обратното размножаване и какъв ефект би имал това?

Да, много често се използват и двата съвета. Те решават различни проблеми и могат да работят добре заедно.

Един от начините да мислите за това е, че отслабването променя функцията, която се оптимизира, докато количеството движение променя пътя, който следвате. .

Намаляването на теглото, чрез намаляване на вашите коефициенти до нула, гарантира, че ще намерите локален оптимум с параметри с ниска амплитуда. Това обикновено е от решаващо значение за избягване на пренапрегването (въпреки че други видове натоварване на тежестите също могат да работят). От друга страна, може да е по-лесно да оптимизирате модела, като направите целевата функция по-изпъкнала.

---