Искусственные нейронные сети

Ответственный лектор

Дорофеев Юрий Иванович

1. Введение.

1.1. Предмет учебной дисциплины, ее научные и методические основы, цель преподавания и задачи дисциплины.

Предмет дисциплины составляют вопросы, связанные с принципами организации биологических нейронных сетей и их математических моделей – искусственных нейронных сетей, а также технология моделирования и программной реализации искусственных нейронных сетей.

Научные основы дисциплины составляют математический анализ, теория вероятностей и математическая статистика, математическая логика и теория алгоритмов, программирование, системы искусственного интеллекта и математическое моделирование.

Методологической основой преподавания дисциплины являются общие педагогические методы, построенные на репродуктивном повторе теоретических знаний при проведении лабораторных занятий и в процессе самостоятельной работы студентов.

Цель преподавания дисциплины – дать студентам систематический обзор моделей искусственных нейронных сетей, изучение и освоение студентами способов их применения для решения задач обработки информации, освоение технологии моделирования искусственных нейронных сетей на персональном компьютере.

Задачей дисциплины является практическое освоение студентами методики выбора архитектуры искусственной нейронной сети для решения конкретной прикладной задачи, подготовки данных для обучения и реализации процесса обучения искусственной нейронной сети, осуществления тестирования нейронных сетей и выполнения математического анализа полученных результатов.

1.2. Что студент должен знать, уметь и с чем должен быть ознакомлен в результате изучения дисциплины.

В результате изучения дисциплины студент должен знать:

  • принципы организации биологических нейронных сетей;
  • основные понятия и концепции искусственных нейронных сетей;
  • типы архитектуры и принципы функционирования искусственных нейронных сетей;
  • методы обучения искусственных нейронных сетей;
  • методы подготовки данных для обучения нейронных сетей;
  • особенности и преимущества вычислительных и информационных систем, основанных на нейросетевой технологии.

В результате изучения дисциплины студент должен уметь:

  • выбрать тип нейронной сети, которая способна выполнить соответствующее преобразование «вход-выход»;
  • построить архитектуру и выбрать количество элементов нейронной сети в соответствии с требованиями конкретной задачи;
  • осуществить программную реализацию выбранной модели нейронной сети;
  • подготовить данные для обучения нейронной сети;
  • выполнить процесс обучения нейронной сети;
  • осуществить тестирование нейронной сети и выполнить математический анализ полученных результатов.

В результате изучения дисциплины студент должен быть ознакомлен с:

  • технологиями аппаратной и программной реализации современных моделей нейронных сетей;
  • основными примерами научного и промышленного применения искусственных нейронных сетей;
  • существующими программными средствами моделирования нейронных сетей;
  • современным уровнем достижений и перспективами развития в области вычислительной нейронауки.

1.3. Организационно-методические указания по организации и методике проведения всех видов учебных занятий, организации и выполнения индивидуальных заданий.

Организационно-методическими указаниями для организации и проведения лабораторных занятий являются «Методические указания к лабораторным работам по дисциплине «Искусственные нейронные сети» для студентов направления «Прикладная математика» / сост. Ю.И.Дорофеев. — Харьков: НТУ «ХПИ», 2004. — 40 с.»

1.4. Система контроля качества обучения студентов.

Контроль качества обучения студентов осуществляется проведением модульного контроля согласно перечню контрольных работ, выполнением студентами лабораторных занятий и индивидуального расчетного задания, сдачей студентами выходного экзамена.

1.5. Организация самостоятельной работы.

Для организации самостоятельной работы студентов выделяется время для использования вычислительной техники. Во время самостоятельной работы студенты изучают вопросы дисциплины, предусмотренные для самостоятельной работы, исследуют представленные им методы и примеры применения нейронных сетей, готовят отчеты по выполненным лабораторным работам.

2. Содержание дисциплины.

Модуль 1.

Тема 1. Введение в искусственные нейронные сети (ИНС).

Краткая история возникновения и развития искусственных нейронных сетей. Построение мозга человека. Модель искусственного нейрона. Типы активационных функций нейронов. Понятие об искусственных нейронных сетях. Общая классификация ИНС. Принципы обучения нейронных сетей.

Тема 2. Персептроны.

Персептрон Розенблатта. Архитектура персептронов. Принцип классификации входных образов. Процедура обучения персептрона. Ограничения, присущие персептронам. Обучение двухслойного персептрона. Недостатки персептронов.

Тема 3. Адаптивные линейные ИНС.

Архитектура адаптивных линейных нейронных сетей. Алгоритм обучения Уидроу-Хоффа. Понятие об адаптивном фильтре. Фильтрация сигналов с помощью адаптивных линейных ИНС. Прогнозирование случайных процессов с помощью адаптивных линейных ИНС. Подавление шумов с помощью адаптивных линейных ИНС.

Тема 4. Алгоритм обратного распространения ошибки (АОР).

Предпосылки возникновения АОР. Алгоритм обратного распространения ошибки. Архитектура нейронных сетей, которые обучаются с помощью АОР. Особенности АОР. АОР с инерцией. Способы повышения скорости сходимости АОР. АОР с переменной скоростью обучения. Пороговый АОР. Алгоритм сопряженного градиента. Алгоритмы квази-Ньютона. Алгоритм Левенберга-Марквардта.

Тема 5. Подготовка данных для обучения ИНС и анализ результатов работы ИНС.

Улучшение способности ИНС к обобщению. Метод регуляризации. Метод раннего останова. Подготовка данных для обучения нейронных сетей с помощью АОР. Анализ результатов работы нейронных сетей. Преимущества и недостатки ИНС, которые учатся с помощью АОР.

Модуль 2.

Тема 1. Радиально-базисные нейронные сети (РБИНС).

Принцип работы искусственного нейрона с радиально-базисной активационной функцией. Архитектура РБИНС. Обучение РБИНС. Обобщенные регрессионные РБИНС. Вероятностные РБИНС. Преимущества и недостатки РБИНС.

Тема 2. Самоорганизующиеся нейронные сети Кохонена.

Архитектура и принцип работы однослойной конкурентной сети (слоя Кохонена). Обучение слоя Кохонена. Понятие о «мертвых нейронах». Типы топологии карт Кохонена. Способы вычисления расстояния между нейронами. Обучение самоорганизующейся карты Кохонена. Правило обучения смещений нейронов. Преимущества и недостатки самоорганизующихся ИНС Кохонена.

Тема 3. Искусственные нейронные сети векторного квантования (ВК).

Понятие о векторном квантовании. Архитектура ИНС векторного квантования. Принцип работы сети ВК. Обучение сетей ВК: правило LVQ1. Обучение сетей ВК: правило LVQ2. Преимущества и недостатки ИНС ВК.

Тема 4. Рекуррентные нейронные сети.

Понятие о рекуррентных ИНС. Архитектура ИНС Элмана. Обучение ИНС Элмана. Понятие об устойчивости динамических ИНС. Архитектура ИНС Хопфилда. Нейродинамика в сети Хопфилда. Обучение сети Хопфилда. Преимущества и недостатки ИНС Хопфилда. Гетероассоциативная память на основе ИНС. Автоассоциативная память на основе ИНС. Двунаправленная ассоциативная память на основе ИНС.

Тема 5. Адаптивная резонансная теория.

Основная идея адаптивной резонансной теории (АРТ). Архитектура сети АРТ1. Алгоритм работы сети АРТ1. Обучение сети АРТ1. Преимущества и недостатки ИНС, которые построены на основе АРТ. Применение метода «имитации от жига» для обучения ИНС.

Тема 6. Современное состояние и перспективы развития вычислительной нейронауки.

Программные и аппаратные реализации искусственных нейронных сетей. Понятие о нейрокомпьютерах. Промышленное применение нейронных сетей. Основные преимущества нейросетевых информационных технологий. Черты современных архитектур нейронных сетей. Актуальные направления исследований современной нейронауки.