Штучні нейронні мережі

Відповідальний лектор

Дорофєєв Юрій Іванович

1. Передмова.

1.1. Предмет навчальної дисципліни, її наукові і методичні основи, мета викладання і завдання дисципліни.

Предмет дисципліни складають питання, пов’язані з принципами організації біологічних нейронних мереж та їх математичних моделей – штучних нейронних мереж, а також технологія моделювання та програмної реалізації штучних нейронних мереж.

Наукові основи дисципліни складають математичний аналіз, теорія ймовірностей і математична статистика, математична логіка і теорія алгоритмів, програмування, системи штучного інтелекту та математичне моделювання.

Методологічною основою викладання дисципліни є загальні педагогічні методи, що побудовані на репродуктивному повторі теоретичних знань під час проведення лабораторних заняттях разом з самостійною роботою студентів.

Мета викладання дисципліни – дати студентам систематичний огляд моделей штучних нейронних мереж, вивчення та освоєння студентами способів їх застосування для вирішення задач обробки інформації, освоєння технології моделювання штучних нейронних мереж на персональному комп’ютері.

Завданням дисципліни є практичне освоєння студентами методики вибору архітектури штучної нейронної мережі для вирішення конкретної прикладної задачі, підготовки даних для навчання та реалізації процесу навчання штучної нейронної мережі, здійснення тестування нейронних мереж та виконання математичного аналізу отриманих результатів.

1.2. Що студент повинен знати, вміти і з чим бути ознайомленим в результаті вивчення дисципліни.

В результаті вивчення дисципліни студент повинен знати:

  • принципи організації біологічних нейронних мереж;
  • основні поняття та концепції штучних нейронних мереж;
  • типи архітектури та принципи функціонування штучних нейронних мереж;
  • методи навчання штучних нейронних мереж;
  • методи підготовки даних для навчання нейронних мереж;
  • особливості та переваги обчислювальних та інформаційних систем, що побудовані на нейромережевій технології.

В результаті вивчення дисципліни студент повинен вміти:

  • вибрати тип нейронної мережі, яка здібна виконати відповідне перетворення “вхід-вихід”;
  • побудувати архітектуру та обрати кількість елементів нейронної мережі відповідно до вимог конкретної задачи;
  • здійснити програмну реалізацію вибраної моделі нейронної мережі;
  • підготувати дані для навчання нейронної мережі;
  • виконати процес навчання нейронної мережі;
  • здійснити тестування нейронної мережі та зробити математичний аналіз отриманих результатів.

В результаті вивчення дисципліни студент повинен бути ознайомлений із:

  • технологією апаратної та програмної реалізації сучасних моделей нейронних мереж;
  • основними прикладами наукового та промислового застосування штучних нейронних мереж;
  • існуючими програмними засобами моделювання нейронних мереж;
  • сучасним рівнем досягнень та перспективами розвитку у галузі обчислювальної нейронауки.

1.3. Організаційно-методичні указники щодо організації і методики проведення усіх видів навчальних занять, організації і виконання індивідуальних завдань.

Організаційно-методичними указниками щодо організації і проведення лабораторних занять є «Методичні вказівки до лабораторних робіт з дисципліни “Штучні нейронні мережі” для студентів напрямку “Прикладна математика” / Уклад. Ю.І.Дорофєєв. –  Харків: НТУ “ХПІ”, 2004. – 40 с.»

1.4. Система контролю якості навчання студентів.

Контроль якості навчання студентів здійснюється проведенням модульного контролю згідно з переліком контрольних робіт, виконанням студентами лабораторних завдань та індивідуального розрахункового завдання, складанням студентами вихідного іспиту.

1.5. Організація самостійної роботи.

Для організації самостійної роботи студентів виділяється час для використання обчислювальної техніки. Під час самостійної роботи студенти вивчають питання дисципліни, передбачені для самостійної роботи, досліджують подані їм методи та приклади застосування нейронних мереж, готують звіти з виконаних лабораторних робіт.

2. Зміст дисципліни.

Модуль 1.

Тема 1. Введення до штучних нейронних мереж (ШНМ).

Стисла історія виникнення та розвитку штучних нейронних мереж. Побудова мозку людини. Модель штучного нейрону. Типи активаційних функцій нейронів. Поняття про штучні нейронні мережі. Загальна класифікація ШНМ. Принципи навчання нейронних мереж.

Тема 2. Персептрони.

Персептрон Розенблатта. Архітектура персептронів. Принцип класифікації вхідних образів. Процедура навчання персептрону. Обмеження, які властиві персептронам. Навчання двошарового персептрону. Недоліки персептронів.

Тема 3. Адаптивні лінійні ШНМ.

Архітектура адаптивних лінійних нейронних мереж. Алгоритм навчання Уідроу-Хоффа. Поняття про адаптивний фільтр. Фільтрація сигналів за допомогою адаптивних лінійних ШНМ. Прогнозування випадкових процесів за допомогою адаптивних лінійних ШНМ. Подавлення шумів за допомогою адаптивних лінійних ШНМ.

Тема 4. Алгоритм зворотного поширення похибки (АЗПП).

Передумови виникнення АЗПП. Алгоритм зворотного поширення похибки. Архітектура нейронних мереж, які навчаються за допомогою АЗПП. Особливості АЗПП. АЗПП з інерцією. Способи підвищення швидкості збіжності АЗПП. АЗПП зі змінною швидкістю навчання. Пороговий АЗПП. Алгоритм сполученого градієнту. Алгоритми квазі-Ньютона. Алгоритм Левенберга-Марквардта.

Тема 5. Підготовка даних для навчання ШНМ та аналіз результатів роботи ШНМ.

Поліпшення здібності ШНМ до узагальнення. Метод регуляризації. Метод раннього останова. Попередня підготовка даних для навчання нейронних мереж за допомогою АЗПП. Аналіз результатів роботи нейронних мереж. Переваги та недоліки ШНМ, які навчаються за допомогою АЗПП.

Модуль 2.

Тема 1. Радіально-базисні штучні нейронні мережі (РБШНМ).

Принцип роботи штучного нейрону з радіально-базисною активаційною функцією. Архітектура РБШНМ. Навчання РБШНМ. Узагальнені регресійні РБШНМ. Ймовірносні РБШНМ. Переваги та недоліки РБШНМ.

Тема 2. Нейронні мережі Кохонена, що самоорганізуються.

Архітектура та принцип роботи одношарової конкурентної мережі (шару Кохонена). Навчання шару Кохонена. Поняття про «мертві нейрони». Типи топології мап Кохонена. Способи обчислення відстані між нейронами. Навчання мапи Кохонена. Правило навчання зміщень нейронів. Переваги та недоліки ШНМ Кохонена, що самоорганізуються.

Тема 3. Штучні нейронні мережі векторного квантування (ВК).

Поняття про векторне квантування. Архітектура ШНМ векторного квантування. Принцип роботи мережі ВК. Навчання мереж ВК: правило LVQ1. Навчання мереж ВК: правило LVQ2. Переваги та недоліки ШНМ ВК.

Тема 4. Рекурентні нейронні мережі.

Поняття про рекурентні ШНМ. Архітектура ШНМ Елмана. Навчання ШНМ Елмана. Поняття про стійкість динамічних ШНМ. Архітектура ШНМ Хопфілда. Нейродинаміка в мережі Хопфілда. Навчання мережі Хопфілда. Переваги та недоліки ШНМ Хопфілда. Гетероасоціативна пам’ять на основі ШНМ. Автоасоціативна пам’ять на основі ШНМ. Двоспрямована асоціативна пам’ять на основі ШНМ.

Тема 5. Адаптивна резонансна теорія.

Основна ідея адаптивної резонансної теорії (АРТ). Архітектура мережі АРТ1. Алгоритм роботи мережі АРТ1. Навчання мережі АРТ1. Переваги та недоліки ШНМ, які побудовані на основі АРТ. Застосування методу «імітації віджигу» для навчання ШНМ.

Тема 6. Сучасний стан та перспективи розвитку обчислювальної нейронауки.

Програмні та апаратні реалізації штучних нейронних мереж. Поняття про нейрокомп’ютери. Промислове застосування нейронних мереж. Основні переваги нейромережевих інформаційних технологій. Риси сучасних архітектур нейронних мереж. Актуальні напрямки досліджень сучасної нейронауки.