Лабораторная работа №7 исследование сети кохонена и алгоритма обучения без учителя
жүктеу/скачать 1,17 Mb.
|
Лабораторная работа №7
dw
0, a j 0. (7.4)
Таким образом, вектор веса, наиболее близкий к вектору входа, модифи- цируется так, чтобы расстояние между ними стало ещё меньше. Результат тако- го обучения заключается в том, что победивший нейрон, вероятно, выиграет конкуренцию и в том случае, когда будет представлен новый входной вектор, близкий к предыдущему, и его победа менее вероятна, когда будет представлен вектор, существенно отличающийся от предыдущего. Когда на вход сети по- ступает всё большее и большее число векторов, нейрон, являющийся ближай- шим, снова корректирует свой весовой вектор w. В конечном счёте, если в слое имеется достаточное количество нейронов, то каждая группа близких векторов окажется связанной с одним из нейронов слоя. В этом и заключается свойство самоорганизации слоя Кохонена. Одно из ограничений всякого конкурирующего слоя состоит в том, что не- которые нейроны оказываются незадействованными, или “мертвыми”. Это происходит оттого, что нейроны, имеющие начальные весовые векторы, значи- тельно удаленные от векторов входа, никогда не выигрывают конкуренции, независимо от продолжительности обучения. Для ликвидации нечувствитель- ности таких нейронов используют положительные смещения, которые добав- ляются к отрицательным расстояниям удаленных нейронов. Функция learncon производит такую корректировку смещений. В отличие от слоя Кохонена карта Кохонена после обучения поддерживает такое топологическое свойство, когда близким входным векторам соответству- ют близко расположенные активные нейроны. Первоначальная топология размещения нейронов в карте Кохонена фор- мируется при создание карты с помощью функции newsom, одним из парамет- ров которого является имя топологической функции gridtop, nextop или randtop, что соответствует размещению нейронов в узлах либо прямоугольной, либо гексагональной сетки, либо в узлах сетки со случайной топологией. Функция newsom создает самоорганизующуюся сеть – карту (SOM): net = newsom(PR, [D1, D2, ...], TFCN, DFCN, OLR, OSTEPS, TLR, TND), где PR – матрица минимальных и максимальных значений для R входных элементов; Di – размер i-го слоя; TFCN – функция топологии; DFCN – функция расстояния; OLR – уровень обученности фазы упорядочения, по умолчанию 0,9; OSTEPS – шаги фазы упорядочения, по умолчанию 1000; TLR – уровень обу- ченности фазы настройки, по умолчанию 0,02; TND – расстояние соседства фа- зы настройки, по умолчанию 1. Настройка карты Кохонена производится по каждому входному вектору независимо от того, применяется метод адаптации или метод обучения. В лю- бом случае функция learnsom выполняет настройку карты нейронов. Прежде всего определяется нейрон-победитель и корректируется его век- тор весов и векторы соседних нейронов согласно соотношению dw lr A2 ( p w) , (7.5) где lr – параметр скорости обучения, равный olr для этапа упорядочения нейро- нов и tlr для этапа подстройки; A2 – массив соседства для нейронов, располо- женных в окрестности нейрона-победителя i: A2(i, q) 1, a(i, q) 1; 1 & D(i, j) nd; 0.5, a(i, q) Здесь а(i,q) – элемент выхода нейронной сети; D(i,j) – расстояние между нейронами i и j; nd – размер окрестности нейрона-победителя. Таким образом, вес нейрона-победителя изменяется пропорционально по- ловинному параметру скорости обучения, а веса соседних нейронов – пропор- ционально половинному значению этого параметра. Весь процесс обучения карты Кохонена делится на два этапа: этап упорядоченности векторов весовых коэффициентов в пространстве признаков; этап подстройки весов нейронов по отношению к набору векторов вхо- да. На этапе упорядочения используется фиксированное количество шагов. Начальный размер окрестности назначается равным максимальному расстоя- нию между нейронами для выбранной топологии и затем уменьшается до вели- чины, используемой на следующем этапе, и вычисляется по следующей форму- ле: nd 1.00001 (max(d) 1)(1 s / S), (7.7) где max(d) – максимальное расстояние между нейронами; s – номер текущего шага, а S – количество циклов на этапе упорядочения. Параметр скорости обучения изменяется по правилу lr trl (orl trl)(1 s / S) . (7.8) На этапе подстройки, который продолжается в течение оставшейся части процедуры обучения, размер окрестности остается постоянным и равным nd tnd 0.00001, (7.9) а параметр скорости обучения изменяется по следующему правилу lr tlr S / s . (7.10) Параметр скорости обучения продолжает уменьшаться, но очень медлен- но. Малое значение окрестности и медленное уменьшение параметра скорости обучения хорошо настраивают сеть при сохранении размещения, найденного на предыдущем этапе. Число шагов на этапе подстройки должно значительно пре- вышать число шагов на этапе размещения. На этом этапе происходит тонкая настройка весов нейронов по отношению к набору векторов входов. Нейроны карты Кохонена будут упорядочиваться так, чтобы при равно- мерной плотности векторов входа нейроны также были распределены равно- мерно. Если векторы входа распределены неравномерно, то и нейроны будут иметь тенденцию распределяться в соответствии с плотностью размещения векторов входа. Таким образом, при обучении карты Кохонена решается не только задачи кластеризации входных векторов, но и выполняется частичная классификация. жүктеу/скачать 1,17 Mb. Достарыңызбен бөлісу:
|