"Е.М.Миркес. Учебное пособие по курсу Нейроинформатика " - читать интересную книгу автора

В тензорных сетях используются тензорные степени векторов. k-ой
тензорной степенью вектора x будем называть тензор x"k, полученный как
тензорное произведение k векторов x.
Поскольку в данной работе тензоры используются только как элементы
векторного пространства, далее будем использовать термин вектор вместо
тензор. Вектор x"k является nk-мерным вектором. Однако пространство L({x"k})
имеет размерность, не превышающую величину , где - число сочетаний из p по
q. Обозначим через {x"k} множество k-х тензорных степеней всех возможных
образов.
Теорема. При kвекторов. Доказательство теоремы приведено в последнем разделе данной главы.
Небольшая модернизация треугольника Паскаля, позволяет легко вычислять
эту величину. На рис. 2 приведен "тензорный" треугольник Паскаля. При его
построении использованы следующие правила:
1. Первая строка содержит двойку, поскольку при n= 2 в множестве X
всего два неколлинеарных вектора.
2. При переходе к новой строке, первый элемент получается добавлением
единицы к первому элементу предыдущей строки, второй - как сумма первого и
второго элементов предыдущей строки, третий - как сумма второго и третьего
элементов и т. д. Последний элемент получается удвоением последнего элемента
предыдущей строки.
Рис. 2. "Тензорный" треугольник Паскаля

В табл. 1 приведено сравнение трех оценок информационной емкости
тензорных сетей для некоторых значений n и k. Первая оценка - nk - заведомо

завышена, вторая - - дается формулой Эйлера для размерности пространства
симметричных тензоров и третья - точное значение.

Таблица 1.
Как легко видеть из таблицы, уточнение при переходе к оценке rn,k
является весьма существенным. С другой стороны, предельная информационная
емкость тензорной сети (число правильно воспроизводимых образов) может
существенно превышать число нейронов, например, для 10 нейронов тензорная
сеть валентности 8 имеет предельную информационную емкость 511.
Легко показать, что если множество векторов {xi} не содержит
противоположно направленных, то размерность пространства L({x"k}) равна
числу векторов в множестве {xi}.
Сеть (2) для случая тензорных сетей имеет вид
(9)
а ортогональная тензорная сеть
(10)
где rij-1 - элемент матрицы О"-1({x"k}).
Рассмотрим, как изменяется степень коррелированности эталонов при
переходе к тензорным сетям (9)
Таким образом, при использовании сетей (9) сильно снижается ограничение
на степень коррелированности эталонов. Для эталонов, приведенных на рис. 1,
данные о степени коррелированности эталонов для нескольких тензорных
степеней приведены в табл. 2.

Таблица 2. Степени коррелированности эталонов, приведенных на рис. 1,

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339