уоссермен ф нейрокомпьютерная техника теория и практика
Нейрокомпьютерная техника: Теория и практика
В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.
Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.
Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.
Оглавление
ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5
СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5
ИСТОРИЧЕСКИЙ АСПЕКТ 7
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10
ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11
Глава 1. Основы искусственных нейронных сетей 14
БИОЛОГИЧЕСКИЙ ПРОТОТИП 14
ИСКУССТВЕННЫЙ НЕЙРОН 16
ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19
МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20
ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22
Глава 2. Персептроны 26
ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26
ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28
ОБУЧЕНИЕ ПЕРСЕПТРОНА 35
АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 36
Глава 3. Процедура обратного распространения 40
ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 40
ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41
ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 50
Глава 4. Сети встречного распространения 54
ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 54
НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 55
ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 57
ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 63
СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 63
ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 65
Глава 5. Стохастические методы 67
ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 67
ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 74
ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 75
Глава 6. Сети Хопфилда 80
КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 81
Глава 7. Двунаправленная ассоциативная память 97
ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 100
КОДИРОВАНИЕ АССОЦИАЦИЙ 101
ЕМКОСТЬ ПАМЯТИ 103
НЕПРЕРЫВНАЯ ДАП 104
АДАПТИВНАЯ ДАП 105
КОНКУРИРУЮЩАЯ ДАП 106
Глава 8. Адаптивная резонансная теория 107
АРХИТЕКТУРА APT 109
РЕАЛИЗАЦИЯ APT 117
ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 121
ХАРАКТЕРИСТИКИ APT 123
Глава 9. Оптические нейронные сети 128
ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 129
ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 136
Глава 10. Когнитрон и неокогнитрон 143
Приложение А. Биологические нейронные сети 163
ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 163
ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 164
КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 172
Приложение Б. Алгоритмы обучения 174
ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 174
МЕТОД ОБУЧЕНИЯ ХЭББА 174
ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 177
ОБУЧЕНИЕ ПЕРСЕПТРОНА 178
МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 180
МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 180
Тут вы можете оставить комментарий к выбранному абзацу или сообщить об ошибке.
Нейрокомпьютерная техника: Теория и практика
В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.
Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.
Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.
ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5
СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5
ИСТОРИЧЕСКИЙ АСПЕКТ 7
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10
ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11
Глава 1. Основы искусственных нейронных сетей 14
БИОЛОГИЧЕСКИЙ ПРОТОТИП 14
ИСКУССТВЕННЫЙ НЕЙРОН 16
ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19
МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20
ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22
Глава 2. Персептроны 26
ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26
ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28
ОБУЧЕНИЕ ПЕРСЕПТРОНА 36
АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 37
Глава 3. Процедура обратного распространения 41
ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41
ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 42
ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 51
Глава 4. Сети встречного распространения 55
ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 55
НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 56
ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 58
ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 64
СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 64
ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 66
Глава 5. Стохастические методы 68
ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 68
ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 75
ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 76
Глава 6. Сети Хопфилда 81
КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 82
Глава 7. Двунаправленная ассоциативная память 98
ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 100
КОДИРОВАНИЕ АССОЦИАЦИЙ 102
ЕМКОСТЬ ПАМЯТИ 104
НЕПРЕРЫВНАЯ ДАП 105
АДАПТИВНАЯ ДАП 106
КОНКУРИРУЮЩАЯ ДАП 107
Глава 8. Адаптивная резонансная теория 108
АРХИТЕКТУРА APT 110
РЕАЛИЗАЦИЯ APT 118
ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 122
ХАРАКТЕРИСТИКИ APT 124
Глава 9. Оптические нейронные сети 129
ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 130
ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 137
Глава 10. Когнитрон и неокогнитрон 144
Приложение А. Биологические нейронные сети 164
ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 164
ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 165
КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 173
Приложение Б. Алгоритмы обучения 175
ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 175
МЕТОД ОБУЧЕНИЯ ХЭББА 175
ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 178
ОБУЧЕНИЕ ПЕРСЕПТРОНА 179
МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 181
МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 181
Тут вы можете оставить комментарий к выбранному абзацу или сообщить об ошибке.
Нейрокомпьютерная техника: Теория и практика
В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.
Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.
Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.
ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5
СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5
ИСТОРИЧЕСКИЙ АСПЕКТ 7
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10
ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11
Глава 1. Основы искусственных нейронных сетей 14
БИОЛОГИЧЕСКИЙ ПРОТОТИП 14
ИСКУССТВЕННЫЙ НЕЙРОН 16
ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19
МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20
ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22
Глава 2. Персептроны 26
ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26
ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28
ОБУЧЕНИЕ ПЕРСЕПТРОНА 35
АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 36
Глава 3. Процедура обратного распространения 40
ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 40
ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41
ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 50
Глава 4. Сети встречного распространения 54
ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 54
НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 55
ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 57
ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 63
СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 63
ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 65
Глава 5. Стохастические методы 67
ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 67
ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 74
ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 75
Глава 6. Сети Хопфилда 80
КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 81
Глава 7. Двунаправленная ассоциативная память 97
ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 99
КОДИРОВАНИЕ АССОЦИАЦИЙ 101
ЕМКОСТЬ ПАМЯТИ 103
НЕПРЕРЫВНАЯ ДАП 104
АДАПТИВНАЯ ДАП 105
КОНКУРИРУЮЩАЯ ДАП 106
Глава 8. Адаптивная резонансная теория 107
АРХИТЕКТУРА APT 108
РЕАЛИЗАЦИЯ APT 117
ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 121
ХАРАКТЕРИСТИКИ APT 123
Глава 9. Оптические нейронные сети 128
ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 129
ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 136
Глава 10. Когнитрон и неокогнитрон 143
Приложение А. Биологические нейронные сети 163
ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 163
ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 164
КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 172
Приложение Б. Алгоритмы обучения 174
ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 174
МЕТОД ОБУЧЕНИЯ ХЭББА 174
ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 177
ОБУЧЕНИЕ ПЕРСЕПТРОНА 178
МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 180
МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 180
Тут вы можете оставить комментарий к выбранному абзацу или сообщить об ошибке.
Уоссермен ф нейрокомпьютерная техника теория и практика
Когнитивистика запись закреплена
Искусственная нейронная сеть (ИНС) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети У. Маккалока и У. Питтса. После разработки алгоритмов обучения получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.
1. Нейронные сети.
2. Нейронные сети: современное состояние и области применения- Дмитрий Дзюба.
3. Сеть Хопфилда
4. Будущее нейронных сетей: Дмитрий Дзюба at TEDxKyiv.
Публикации.
• Саймон Хайкин. Нейронные сети. Полный курс.
• Введение в искусственные нейронные сети.
• Ф. Уоссермен. Нейрокомпьютерная техника:Теория и практика
• И.В. Заенцев. Нейронные сети: основные модели. Учебное пособие по курсу «Нейронные сети» для студентов 5 курса магистратуры к. электроники физического факультета Воронежского Государственного университета.
• Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга
Описание файла
Это показывает, что двухслойная линейная сеть эквивалентна одному слою с весовой матрицей, равной произведению двух весовых матриц. Следовательно, любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью. В гл. 2 показано, что однослойные сети весьма ограниченны по своим вычислительным возможностям. Таким образом, для расширения возможностей сетей по сравнению с однослойной сетью необходима нелинейная активационная функция.
Сети с обратными связями
У сетей, рассмотренных до сих пор, не было обратных связей, т. е. соединений, идущих от выходов некоторого слоя к входам этого же слоя или предшествующих слоев. Этот специальный класс сетей, называемых сетями без обратных связей или сетями прямого распространения, представляет интерес и широко используется. Сети более общего вида, имеющие соединения от выходов к входам, называются сетями с обратными связями. У сетей без обратных связей нет памяти, их выход полностью определяется текущими входами и значениями весов. В некоторых конфигурациях сетей с обратными связями предыдущие значения выходов возвращаются на входы; выход, следовательно, определяется как текущим входом, так и предыдущими выходами. По этой причине сети с обратными связями могут обладать свойствами, сходными с кратковременной человеческой памятью, сетевые выходы частично зависят от предыдущих входов.
ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
К сожалению, для искусственных нейронных сетей еще нет опубликованных стандартов и устоявшихся терминов, обозначений и графических представлений. Порой идентичные сетевые парадигмы, представленные различными авторами, покажутся далекими друг от друга. В этой книге выбраны наиболее широко используемые термины.
Терминология
Многие авторы избегают термина «нейрон» для обозначения искусственного нейрона, считая его слишком грубой моделью своего биологического прототипа. В этой книге термины «нейрон», «клетка», «элемент» используются взаимозаменяемо для обозначения «искусственного нейрона» как краткие и саморазъясняющие.
Дифференциальные уравнения или разностные уравнения
Алгоритмы обучения, как и вообще искусственные нейронные сети, могут быть представлены как в дифференциальной, так и в конечно-разностной форме. При использовании дифференциальных уравнений предполагают, что процессы непрерывны и осуществляются подобно большой аналоговой сети. Для биологической системы, рассматриваемой на микроскопическом уровне, это не так. Активационный уровень биологического нейрона определяется средней скоростью, с которой он посылает дискретные потенциальные импульсы по своему аксону. Средняя скорость обычно рассматривается как аналоговая величина, но важно не забывать о действительном положении вещей.
Если моделировать искусственную нейронную сеть на аналоговом компьютере, то весьма желательно использовать представление с помощью дифференциальных уравнений. Однако сегодня большинство работ выполняется на цифровых компьютерах, что заставляет отдавать предпочтение конечно-разностной форме как наиболее легко программируемой. По этой причине на протяжении всей книги используется конечно-разностное представление.
Графическое представление
Как видно из публикаций, нет общепринятого способа подсчета числа слоев в сети. Многослойная сеть состоит, как показано на рис. 1.6, из чередующихся множеств нейронов и весов. Ранее в связи с рис. 1.5 уже говорилось, что входной слой не выполняет суммирования. Эти нейроны служат лишь в качестве разветвлений для первого множества весов и не влияют на вычислительные возможности сети. По этой причине первый слой не принимается во внимание при подсчете слоев, и сеть, подобная изображенной на рис. 1.6, считается двухслойной, так как только два слоя выполняют вычисления. Далее, веса слоя считаются связанными со следующими за ними нейронами. Следовательно, слой состоит из множества весов со следующими за ними нейронами, суммирующими взвешенные сигналы.
Обучение искусственных нейронных сетей
Среди всех интересных свойств искусственных нейронных сетей ни одно не захватывает так воображения, как их способность к обучению. Их обучение до такой степени напоминает процесс интеллектуального развития человеческой личности что может показаться, что достигнуто глубокое понимание этого процесса. Но проявляя осторожность, следует сдерживать эйфорию. Возможности обучения искусственных нейронных сетей ограниченны, и нужно решить много сложных задач, чтобы определить, на правильном ли пути мы находимся. Тем не менее уже получены убедительные достижения, такие как «говорящая сеть» Сейновского (см. гл. 3), и возникает много других практических применений.
Цель обучения
Сеть обучается, чтобы для некоторого множества входов давать желаемое (или, по крайней мере, сообразное с ним) множество выходов. Каждое такое входное (или выходное) множество рассматривается как вектор. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой. В процессе обучения веса сети постепенно становятся такими, чтобы каждый входной вектор вырабатывал выходной вектор.
Обучение с учителем
Различают алгоритмы обучения с учителем и без учителя. Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар. Предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором, разность (ошибка) с помощью обратной связи подается в сеть и веса изменяются в соответствии с алгоритмом, стремящимся минимизировать ошибку. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемо низкого уровня.
Обучение без учителя
Несмотря на многочисленные прикладные достижения, обучение с учителем критиковалось за свою биологическую неправдоподобность. Трудно вообразить обучающий механизм в мозге, который бы сравнивал желаемые и действительные значения выходов, выполняя коррекцию с помощью обратной связи. Если допустить подобный механизм в мозге, то откуда тогда возникают желаемые выходы? Обучение без учителя является намного более правдоподобной моделью обучения в биологической системе. Развитая Кохоненом [3] и многими другими, она не нуждается в целевом векторе для выходов и, следовательно, не требует сравнения с предопределенными идеальными ответами. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы. Предъявление на вход вектора из данного класса даст определенный выходной вектор, но до обучения невозможно предсказать, какой выход будет производиться данным классом входных векторов. Следовательно, выходы подобной сети должны трансформироваться в некоторую понятную форму, обусловленную процессом обучения. Это не является серьезной проблемой. Обычно не сложно идентифицировать связь между входом и выходом, установленную сетью.
Алгоритмы обучения
Большинство современных алгоритмов обучения выросло из концепций Хэбба [2]. Им предложена модель обучения без учителя, в которой синаптическая сила (вес) возрастает, если активированны оба нейрона, источник и приемник. Таким образом, часто используемые пути в сети усиливаются и феномен привычки и обучения через повторение получает объяснение.
В искусственной нейронной сети, использующей обучение по Хэббу, наращивание весов определяется произведением уровней возбуждения передающего и принимающего нейронов. Это можно записать как
где wij(n) – значение веса от нейрона i к нейрону j до подстройки, wij(n+1) – значение веса от нейрона i к нейрону j после подстройки, α – коэффициент скорости обучения, OUTi – выход нейрона i и вход нейрона j, OUTj – выход нейрона j.
Сети, использующие обучение по Хэббу, конструктивно развивались, однако за последние 20 лет были развиты более эффективные алгоритмы обучения. В частности, в работах [4 – 6] и многих других были развиты алгоритмы обучения с учителем, приводящие к сетям с более широким диапазоном характеристик обучающих входных образов и большими скоростями обучения, чем использующие простое обучение по Хэббу.
В настоящее время используется огромное разнообразие обучающих алгоритмов. Потребовалась бы значительно большая по объему книга, чем эта, для рассмотрения этого предмета полностью. Чтобы рассмотреть этот предмет систематически, если и не исчерпывающе, в каждой из последующих глав подробно описаны алгоритмы обучения для рассматриваемой в главе парадигмы. В дополнение в приложении Б представлен общий обзор, в определенной мере более обширный, хотя и не очень глубокий. В нем дан исторический контекст алгоритмов обучения, их общая таксономия, ряд преимуществ и ограничений. В силу необходимости это приведет к повторению части материала, оправданием ему служит расширение взгляда на предмет.
ПРОЛОГ
В последующих главах представлены и проанализированы некоторые наиболее важные сетевые конфигурации и их алгоритмы обучения. Представленные парадигмы дают представление об искусстве конструирования сетей в целом, его прошлом и настоящем. Многие другие парадигмы при тщательном рассмотрении оказываются лишь их модификациями. Сегодняшнее развитие нейронных сетей скорее эволюционно, чем революционно. Поэтому понимание представленных в данной книге парадигм позволит следить за прогрессом в этой быстро развивающейся области.
Упор сделан на интуитивные и алгоритмические, а не математические аспекты. Книга адресована скорее пользователю искусственных нейронных сетей, чем теоретику. Сообщается, следовательно, достаточно информации, чтобы дать читателю возможность понимать основные идеи. Те, кто знаком с программированием, смогут реализовать любую из этих сетей. Сложные математические выкладки опущены, если только они не имеют прямого отношения к реализации сети. Для заинтересованного читателя приводятся ссылки на более строгие и полные работы.
Литература
Grossberg S. 1973. Contour enhancement, short-term memory, and consistencies in reverberating neural networks. Studies in Applied Mathematics 52:217,257.
Hebb D. 0. 1961. Organization of behavior. New York: Science Edition.
Kohonen T. 1984. Self-organization and associative memory. Series in Information Sciences, vol. 8. Berlin: Springer Verlag.
Rosenblatt F. 1962. Principles of neurodynamics. New York: Spartan Books. (Русский перевод: Розенблатт Ф. Принципы нейродинамики. – М.: Мир., 1965.)
Widrow В. 1959. Adaptive sampled-data systems, a statistical theory of adaptation. 1959 IRE WESCON Convention Record, part 4, pp. 88-91. New York: Institute of Radio Engineers.
Widrow В., Hoff М. 1960. Adaptive switching circuits. I960 IRE WESCON Convention Record, pp. 96-104. New York: Institute of Radio Engineers.
Глава 2.
Персептроны
ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
В качестве научного предмета искусственные нейронные сети впервые заявили о себе в 40-е годы. Стремясь воспроизвести функции человеческого мозга, исследователи создали простые аппаратные (а позже программные) модели биологического нейрона и системы его соединений. Когда нейрофизиологи достигли более глубокого понимания нервной системы человека, эти ранние попытки стали восприниматься как весьма грубые аппроксимации. Тем не менее на этом пути были достигнуты впечатляющие результаты, стимулировавшие дальнейшие исследования, приведшие к созданию более изощренных сетей.
Рис. 2.1. Персептронный нейрон
Первое систематическое изучение искусственных нейронных сетей было предпринято Маккалокком и Питтсом в 1943 г. [I]. Позднее в работе [3] они исследовали сетевые парадигмы для распознавания изображений, подвергаемых сдвигам и поворотам. Простая нейронная модель, показанная на рис. 2.1, использовалась в большей части их работы. Элемент Σ умножает каждый вход х на вес w и суммирует взвешенные входы. Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае – нулю. Эти системы (и множество им подобных) получили название персептронов. Они состоят из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов (см. рис. 2.2), хотя в принципе описываются и более сложные системы.
В 60-е годы персептроны вызвали большой интерес и оптимизм. Розенблатт [4] доказал замечательную теорему об обучении персептронов, объясняемую ниже. Уидроу 5 дал ряд убедительных демонстраций систем персептронного типа, и исследователи во всем мире стремились изучить возможности этих систем. Первоначальная эйфория сменилась разочарованием, когда оказалось, что персептроны не способны обучиться решению ряда простых задач. Минский [2] строго проанализировал эту проблему и показал, что имеются жесткие ограничения на то, что могут выполнять однослойные персептроны, и, следовательно, на то, чему они могут обучаться. Так как в то время методы обучения многослойных сетей не были известны, исследователи перешли в более многообещающие области, и исследования в области нейронных сетей пришли в упадок. Недавнее открытие методов обучения многослойных сетей в большей степени, чем какой-либо иной фактор, повлияло на возрождение интереса и исследовательских усилий.