Карти Кохонен
Всяка невронна мрежа трябва преди всичко да бъде обучена. Процесът на обучение се състои в коригиране на вътрешните параметри на невронната мрежа за конкретна задача.
Когато се тренира „класическа“ многослойна невронна мрежа, данните или индикаторите се подават към входа и изходът на невронната мрежа се сравнява с референтна стойност. Разликата между тези стойности се нарича грешка на невронната мрежа, която е сведена до минимум по време на обучение. По този начин конвенционалните невронни мрежи разкриват модели между входните данни и прогнозираната стойност. Ако има такива модели, тогава невронната мрежа ще ги подчертае и прогнозата ще бъде успешна.
В процеса на обучение на картите на Кохонен, данните и индикаторите също се подават към входовете, но мрежата се приспособява към моделите във входните данни, а не към референтната стойност на изхода. Този вид обучение се нарича учене без надзор. В този случай обучението не се състои в минимизиране на грешката, а в коригиране на вътрешните параметри на невронната мрежа (тегла), за да съответстват по-добре на входните данни. След обучение такава невронна мрежа визуално показва многоизмерни входни данни в равнината на невроните. Имайки такова представяне на данните, можете много ясно да видите наличието или отсъствието на връзка във входните данни.
За по-голямо удобство при визуално представяне невроните на картата на Кохонен са поставени под формата на двумерна матрица и оцветени тази матрица в зависимост от анализираните параметри на невроните.
Как се работи с картите на Kohonen
Подобно на работата с конвенционалните невронни мрежи, работата с карти на Кохонен се състои от няколко последователни етапа. Първият от тях е етапът на определяне на състава на входовете.
За добро обучение на конвенционална невронна мрежа трябва да изберете такъв набор от входове, който най-силно влияе на изходните (прогнозирани) стойности. Ако сме предположили правилно и входовете наистина влияят на изходите, тогава невронната мрежа ще работи и ще дава отлични прогнози. Намирането на правилните входове обаче е много трудно. Това обикновено се прави чрез проби и грешки, т.е. просто изброяване на различни комбинации от показатели и данни. Тези и други тънкости при работа с такива невронни мрежи са описани в статията „Невронни мрежи: коригиране на грешки“ в предишния брой на VS.
Входовете на невронна мрежа, обучена "без учител", се определят по различен начин и се поставя различна цел за такава невронна мрежа - да идентифицира модели между всички входни данни и индикатори, които се подават към входа на картата. Архитектурата на картите на Кохонен, за разлика от многослойната невронна мрежа, е много проста и представлява един слой неврони, който е организиран под формата на двумерна матрица. Потребителят трябва само да определи размера на тази матрица, т.е. броя на невроните по ширина и броя на невроните по височина.
Картите на Кохонен осигуряват визуално представяне на многоизмерни входни данни. Картата на Кохонен анализира не само изхода на невроните (както в случая с конвенционалната невронна мрежа), но и теглото на невроните и разпределението на примерите между невроните. Тъй като картата на Кохонен е организирана под формата на двумерна решетка, на възлите на която са разположени невроните, е много удобно да се покаже на равнина под формата на "карта" с оцветяване, което зависи от стойност на анализирания параметър на неврона. Именно за сходството на този тип изображения на невронна мрежа с топографски карти те са получили името Kohonen maps.
Как работи картата на Кохонен
По този начин самоорганизиращите се карти на Кохонен са един от видовете невронни мрежи. Принципите на действие и обучение на такава невронна мрежа са формулирани от финландския учен Тойво Кохонен през 1982 г. Основната идея на Т. Кохонен е да въведе информация за местоположението му в правилото за обучение на неврон. Според Кохонен невронната мрежа има един входен слой, с броя на невроните, равен на броя на входовете, и един скрит (изходен) слой неврони, образуващи едномерна (линия) или двумерна (правоъгълник) решетка. По аналогия с топографските карти такава невронна мрежа се нарича още карта на Кохонен.
За тази парадигма обучението се извършва без „учител“; по време на тренировка няма сравнение на невронните изходи с референтни стойности.
В процеса на обучение последователно се дават примери за обучение на входа на такава невронна мрежа. След подаване на следващия пример се определя най-сходният неврон, т.е. неврон, в който точковото произведение на тежестите и вектора, подаван към входа, е минимално. Такъв неврон се счита за победител и е призован да бъде център при регулиране на теглото на съседните неврони. Правилото за обучение, предложено от Kohonen, предполага конкурентно обучение, като се взема предвид разстоянието на невроните от "печелившия неврон" и се записва като:
където е функцията за съседство, която определя стойността на корекцията на теглото на неврона, wi - тегло i-тия неврон, б - скорост на обучение.
За победителя неврон функцията на съседство е равна на 1 и след това плавно (линейно или експоненциално) намалява с разстоянието от него. По този начин в процеса на обучение тежестите се коригират не само в един неврон - победител неврон, но и в неговата близост.
След края на учебния процес, картата на Кохонен класифицира входните примери в групи, подобни една на друга. Целият набор от неврони в изходния слой точно моделира структурата на разпределение на примери за обучение в многомерно пространство. Уникалността на технологията на самоорганизиращите се карти се състои в превръщането на N-мерното пространство в дву- или едномерно. Това преобразуване обаче е свързано с някои грешки. Две точки, разположени близо на картата на Кохонен, ще бъдат близо в N-мерното входно пространство, но не и обратно.
За по-добро разбиране сме подготвили пример, който обяснява общите подходи към анализа на самоорганизиращите се карти. Нека изпратим набор от произволни числа от 0 до 50 с общо 500 примера към два входа на картата (50x50 неврони).
След обучение на такава карта на Кохонен, цялото семейство от карти ще има формата, показана на фигурата. Честотната карта има еднакво разпределение на примери по повърхността на картата, което се обяснява с равномерното разпределение на входните примери и качеството на обучението на картата.
В този пример оцветяването на картата за въвеждане представлява интерес. Оцветяването на всеки от тях е линейно и постоянно по едно от лицата на картата. Освен това и двете входни карти имат еднакъв цвят, но завъртени една спрямо друга на 90 градуса. Със стойността на първия вход, равен на 0 (тъмносиня лента на първата карта), вторият вход може да вземе целия диапазон от стойности от 0 (тъмно синьо) до 50 (тъмно червено). Това съответства на разпределението на входните данни (двойка независими, равномерно разпределени стойности). По този начин самоорганизиращата се карта успя да покаже правилно взаимното разпределение на двата входа на картата.
Изходна карта на невроните
Изходите на невроните на картата на Кохонен приличат на топографска карта. Координатите на тази карта определят позицията на един неврон. Например, координати 12:34 описват неврон в пресечната точка на колона 12 с ред 34 в невронния масив. Величината на изхода на неврон, по аналогия с географските карти, се тълкува като височина на точка.
Картите на Кохонен, както и географските карти, могат да се показват в 2D или 3D. В 2D картата е оцветена в съответствие с изходното ниво на неврона. По-високите стойности обикновено използват по-светли тонове, докато по-ниските стойности използват тъмни тонове.
Изходната карта е основната карта при анализа на картите на Кохонен. Именно върху него се проектира относителното положение на изследваните данни. Подобни входни данни образуват клъстери на картата - затворени области, състоящи се от неврони със същите изходни стойности. Обикновено силните клъстери в данните имат ясни граници с други области на картата. В 3D изглежда като стръмен хълм.
Честотна карта
След приключване на обучението, всеки входен пример въвежда своя „собствен“ неврон. В същото време нито един пример няма да попадне в някои неврони, а няколко примера - в някои. Разпределението на примери за обучение по неврони е много показателно и се показва на честотна карта.
По принцип приведените примери са равномерно разпределени по картата. Но ако в данните има отделни групи, тогава примерите се разпределят неравномерно, образувайки клъстери. Клъстерът може да бъде или отделна група от няколко неврона, която включва определен брой входни примери, или отделен неврон, който включва голям брой примери за въвеждане.
Карта за въвеждане на неврони
Както бе споменато по-горе, при анализ на карти на Кохонен се оценяват не само изходите на невроните, но и теглото на невроните. За всеки невронен вход се изчертава собствена карта, която се оцветява в съответствие със стойността на съответното тегло на неврона. В контролирана невронна мрежа тежестите на невроните нямат физическо значение и не се използват при анализа. Когато се учи без „учител“, теглото на невроните се коригира към точните стойности на входните променливи и отразява тяхната вътрешна структура. За перфектно обучена невронна мрежа теглото на неврона е равно на съответния компонент на входния пример. Обикновено се анализират няколко входни карти едновременно. Първо, области от един и същи цвят са маркирани на една карта. Тази област групира примери за вход, които имат еднаква стойност за съответния вход. След това невроните от тази област се изучават на други карти за разпределение на цветовете.
Когато работите с карти на Кохонен, е важно да разберете, че всички карти, разгледани по-горе, не са нищо повече от оцветяване на едни и същи неврони. Освен това всеки пример за обучение има едно и също място на всяка от разглежданите карти.