"Е.М.Миркес. Учебное пособие по курсу Нейроинформатика " - читать интересную книгу автора

Во-вторых, формально сеть способна работать без искажений при любом
возможном числе эталонов (всего их может быть до 2n). Однако, если число
линейно независимых эталонов (т. е. ранг множества эталонов) равно n, сеть
становится прозрачной - какой бы образ не предъявили на ее вход, на выходе
окажется тот же образ. Действительно, как было показано в (7), все образы,
линейно зависимые от эталонов, преобразуются проективной частью
преобразования (6) сами в себя. Значит, если в множестве эталонов есть n
линейно независимых, то любой образ можно представить в виде линейной
комбинации эталонов (точнее n линейно независимых эталонов), а проективная
часть преобразования (6) в силу формулы (7) переводит любую линейную
комбинацию эталонов в саму себя.
Если число линейно независимых эталонов меньше n, то сеть преобразует
поступающий образ, отфильтровывая помехи, ортогональные всем эталонам.
Отметим, что результаты работы сетей (3) и (6) эквивалентны, если все
эталоны попарно ортогональны.
Остановимся несколько подробнее на алгоритме вычисления дуального
множества векторов. Обозначим через О"({xi}) матрицу Грама множества
векторов {xi}.
Элементы матрицы Грама имеют вид Оiij = (xi, xj) (ij-ый элемент матрицы
Грама равен скалярному произведению i-го эталона на j-ый). Известно, что
векторы дуального множества можно записать в следующем виде:
(8)
где Оiij-1 - элемент матрицы О"-1({xi}). Поскольку определитель матрицы
Грама равен нулю, если множество векторов линейно зависимо, то матрица,
обратная к матрице Грама, а следовательно и дуальное множество векторов
существует только тогда, когда множество эталонов линейно независимо.
Для работ сети (6) необходимо хранить эталоны и матрицу О"-1({xi}).
Рассмотрим процедуру добавления нового эталона к сети (6). Эта операция
часто называется дообучением сети. Важным критерием оценки алгоритма
формирования сети является соотношение вычислительных затрат на обучение и
дообучение. Затраты на дообучение не должны зависеть от числа освоенных
ранее эталонов.
Для сетей Хопфилда это, очевидно, выполняется - добавление еще одного
эталона сводится к прибавлению к функции H одного слагаемого (x, xm+1) , а
модификация связей в сети - состоит в прибавлении к весу ij-й связи числа
xim+1xjm+1 - всего n операций.
Для рассматриваемых сетей с ортогональным проектированием также
возможно простое дообучение. На первый взгляд, это может показаться
странным - если добавляемый эталон линейно независим от старых эталонов, то,
вообще говоря, необходимо пересчитать матрицу Грама и обратить ее. Однако
симметричность матрицы Грама позволяет не производить заново процедуру
обращения всей матрицы. Действительно, обозначим через Gm - матрицу Грама
для множества из m векторов; через Em - единичную матрицу размерности mГ-m.
При обращении матриц методом Гаусса используется следующая процедура:
1 .Запишем матрицу размерности mГ-2m следующего вида: (Gm|Em).
2. Используя операции сложения строк и умножения строки на ненулевое
число преобразуем левую квадратную подматрицу к единичной. В результате
получим (Em|Gm-1). Пусть известна Gm-1 - обратная к матрице Грама для
множества из m векторов xi. Добавим к этому множеству вектор xm+1. Тогда
матрица для обращения матрицы Gm+1 методом Гауса будет иметь вид: