ВСТУП

Мініст = 77;рство освіти і науки України

Державн = 80;й вищий навчальний заклад

«Націон = 72;льний гірничий університеm= 0;»

&#= 1050;онспект лекцій

Розд= ;іл:=

«Р&= #1086;зподілені активні сер = 77;довища. Клітинні автомати. Не= 081;ронні мережі»

з дисципліни

«Систем = 80; фаззі-лог= 110;ки»

Упор= ;ядник: к. т. н., доц. Ялансьl= 2;ий О.А.

(ДВНЗ «Національl= 5;ий гірничий університеm= 0;», кафедра електроприk= 4;ода)

Дніпроп = 77;тровськ

2002 – 2012

ВСТ&= #1059;П

Рос&= #1110;йське слово "сеть"= ; може бути переведене українськоn= 2; як "сітка" і як "мережа". Обидва відповідниl= 2;и є правомірн = 80;ми. Перший утілює структурну організаціn= 2; Neural Net як сітку, павутиння пов'язаних між собою ел= 077;ментів. Але ця структура є системною, к= 110;бернетично&= #1102;, тому, на думку автор = 72; більш прийн= 03;тним є термін "мережа" (система, сукупність) [русско-укр= . словарь= ;].

ПЕРЕДУМ= ;ОВИ ВИНИКНЕННk= 1; ШТУЧН= ;ИХ НЕЙРОННИХ МЕРЕЖ= ;

&nbs= p; /Недо= статки и ограничениn= 3; последоватk= 7;льных компьютероk= 4;. Достоинствk= 2; распарал = 83;еленых систем/

ВЛАСТИВ= ;ОСТІ ШТУЧНИХ НЕЙРО= ;ННИХ МЕРЕЖ= ;

&nbs= p; Штучні нейронні мережі (ШНМ) складаютьсn= 3; з елементів, функціоналn= 0;ні можливості яких аналогічні до більшост= 10; елементарнl= 0;х функцій біологічноk= 5;о нейрона. Ці елементи об'= 108;днані між собою за схемами, які можуть відп = 86;відати або не відповідатl= 0; анатомії мо = 79;ку людини.

Ш= 090;учні нейронні мережі демонструюm= 0;ь властивостo= 0;, що притаманні мозку, наприклад: н= 072;вчаються на основі досвіду (спроб), узагальнююm= 0;ь попередні прецеденти (знання) на но&= #1074;і випадки, здобувають істотні властивостo= 0; з потоку інформації, що містить надмірні дані.

Н= 072; сьогодні реально створені нейронні ме = 88;ежі демонструюm= 0;ь рівень "інтелекту", нижчий за психічні можливості нервової си = 89;теми будь-якої багатоклітl= 0;нної тварини. Про&= #1090;е = перспективl= 5;им є ви = 82;ористання ШНМ для д= 077;яких задач, що пов'язані з обробкою образів.

· Навчання

&= #1064;тучні нейронні мережі можуть змінювати с = 74;ою поведінку в залежності від впливу з= 086;внішнього середовища.

&= #1055;ід час сеансів навчання після подання вхі = 76;них сигналів (інколи разо= 084; з необхідни = 84;и виходами) ШН= 052; самоналk= 2;годжуються для забезпеченl= 5;я необхідної реакції (ген= 077;рування вихідного образу /картини/, що відповідає вхідному).

&= #1053;а сьогодні розроблена певна кількість н = 72;вчаючих алгоритмів, але спектр задач, що мож&#= 1077; вирішити нейронна мережа дано= 11; конфігурацo= 0;ї (рівня складності) = 108; обмеженим.=

· Узагальнен&= #1085;я

&= #1053;ейронні мережі здатні виявляти спільні рис = 80; для певної множини вхідних картин та ст= 074;орювати "ідеальні" вихідні образи, в яки&#= 1093; гіпертрофоk= 4;ані спільні (корисні) ознаки вхідних картин. Нейронна мережа виконує узагальненl= 5;я завдяки своїй внутрішній структурі, а не за допомогою "вкладених знань" у фор = 84;і спеціально створених комп'&= #1102;терних програм.

&= #1042;ідгук мережі (вихідний образ) після навчання може бути певною міро= 02; нечутливим до незначно= 11; зміни вхідних сигналів (вхідного об= 088;азу). Ця здатніст= 00; розрізняти картину крі = 79;ь шум та викривленнn= 3; важлива для вирішення задач розпізнаваl= 5;ня образів.

· Абстрагува&= #1085;ня

&= #1044;еякі ШНМ здатні здобувати суть із вхідних сигналів, навіть, якщо вхідні картини не є подібними (наприклад виявляти дзеркально- = 89;иметричні картини).

<= o:p>

ОБЛ= ;АСТІ ВИКОРИСТАi= 3;НЯ ШТУЧН= ;ИХ НЕЙРОННИХ МЕРЕЖ= ;

· Класифікац&= #1110;я образів

&= #1047;адача полягає у визначенні приналежноl= 9;ті вхідного образу (наприклад мовного сиг = 85;алу або рукописногl= 6; символу), що представлеl= 5;ий вектором ознак, до одного або кількох попередньо визначених класів.

(= Застосуванl= 5;я: розпізнаннn= 3; букв, розпізнаннn= 3; мовлення, класифікацo= 0;я сигналів кардіограмl= 0;, сигналів технологічl= 5;их процесів).

· Кластер = 80;зація ( = 82;атегорізац&#= 1110;я)

&= #1047;адача полягає у класифікацo= 0;ї образів у ви= 087;адку, коли відсутня на = 74;чаюча вибірка з позначками класів. Алгоритм кластериза&#= 1094;ії базується н = 72; подібності образів (близькі обр= 072;зи поміщуютьсn= 3; до одного кластеру) /на&#= 1089;правді - ніякого алгоритму немає, діє "апаратна реалізація" функції/.

(= Застосуванl= 5;я: здобування знань, зт= 080;снення даних, дослідженнn= 3; та виявленн= 03; властивостk= 7;й даних).

· Апроксимац&= #1110;я функцій

&= #1053;ехай мається навчаюча вибірка _{(пари
даних
"вхід-вихід"=
;),
яка генерує
=
90;ься
невідомою
функцією _{. Задача
апроксимацo=
0;ї
полягає у
знаходженнo=
0;
функції, що
найбільш
точно
співпадає з з
=
72;
критерієм
найменших
квадратів. А=
087;роксимація
функцій
використовm=
1;ється
при
вирішенні
інженерних
та наукових
задач
моделюваннn=
3;.}}

· Завбачення (прогноз)

&= #1053;ехай задані _{дискр=
етних
відлікіk=
4;
_{у
послідовні
моменти час
=
91; _{. Задача
полягає у
завбаченні
значення _{у
деякий
майбутній
момент часу . /}}}}Встави = 90;и приклади використанl= 5;я/.

· Оптимізаці&= #1103;

&= #1047;адачею алгоритму оптимізаціo= 1; є знаходженнn= 3; такого ріше = 85;ня, яке задовольняn= 8; системі обмежень та максимізує або мінімізує /пошук екстр= 077;муму/ цільову функцію. /&= #1042;ставити приклади використанl= 5;я/.

· Пам'&= #1103;ть, що адресуєтьсn= 3; за вмістом (Асоціативн = 72; пам'= ять)=

&= #1059; моделі обчислень фон Нейм= ;ана звертання д = 86; пам'яті можливе лиш = 77; за адресою, яка не залежить ві = 76; вмісту п = 72;м'&= #1103;ті. Якщо допущена помилка у обчисленні адреси, може бути здобут = 72; зовсім інша інформація. Асоціативнk= 2; пам'ять, або пам'&= #1103;ть, що адресуєтьсn= 3; за вмістом, є доступною з = 72; указання = 84; заданого вмісту. Вміс= 090; пам'яті може бути викликаним навіть за частковою або викривленоn= 2; вхідною картиною. Ас= 086;ціативна пам'ять використовm= 1;ється при створенні мультимедіl= 1;них інформаційl= 5;их баз даних та експертних систем.

· Управління<= o:p>

&= #1056;озглянемо динамічну систему, що задана сукупністю , де _{- вхідний
керуючий
вплив, а _{- вихід
системи у
момент часу . Задачею
управління
=
91;
системах з
еталонною
моделлю є
розрахунок
такого
вхідного
впливу _{, при якомm=
1;
система
прямує за
бажаною
=
90;раекторією.}}}

<= o:p>

ГЛА= ;ВА 1.

ОСН= ;ОВИ ШТУЧНИХ НЕЙРОННИХ МЕРЕЖ= ;

БІО= ;ЛОГІЧНИЙ ПРОТОТИП (НЕЙРi= 4;Н)

<= o:p>

Штуч= ;ні нейронні мережі – це розп= 072;ралелені обчислювалn= 0;ні структури, щ= 086; моделюють б= 10;охімічні процеси нервової системи багатоклітl= 0;нного біологічноk= 5;о організму. Елементарнl= 6;ю ланкою-пере = 90;ворювачем в таких мере= 078;ах є штуч= ;ний нейрон, що названий за аналогією з біологічниl= 4; прототипом.

Біол= ;огічний нейрон (нервова клітина) – це біологічна клітина, що сприймає, обробляє та передає інформацію, = 092;ізичним носієм якої = 108; електричні імпульси. Нервова система та мозок біологічноk= 5;о організму складаютьсn= 3; з нейронів, з'єднаних між собою нервовими волокнами. Нервові вол = 86;кна здатні передавати електричні імпульси мі = 78; нейронами шляхом біохімічниm= 3; реакцій. Ней= 088;он складаєтьсn= 3; з тіла та відростків двох типів – дендр= 080;тів, які сприймають імпульси і одного аксона, по якому нейрон може передавати імпульс (рис.&n= bsp;нейрон). Нейрон приймає сигнали (імпульси) від аксонів інших нейро = 85;ів через дендрити (приймачі) та передає сиг = 85;али, що сгене = 88;овані самостійно тілом клітини, вздовж власного аксона (передавача). Аксон розгалуженl= 0;й на нервові волокна, на кінцях яких знаходятьсn= 3; сін= ;апси, здатні змінювати силу імпульсу.=

&= #1057;хема функціонувk= 2;ння нейрона наступна. Прийняті дендритами вхідні сигнали від інших сі = 85;апсів нейронів підводятьсn= 3; до тіла нейрона, де п&#= 1110;дсумовують= ся. В залежност= 10; від типу = 089;інапсу, вхідний сигнал може збуджувати або гальмув = 72;ти нейрон-прий = 84;ач. Коли сумарн = 77; збудження у тілі нейрон = 72; перевищує певний порі = 75;, він генерує = 074;ласний сигнал та посилає йог = 86; по аксону да= 083;ьшим нейронам.=

&= #1050;оефіцієнт передачі сінапса мож = 77; змінюватисn= 3; у часі під впливом переданих сигналів. Встановленl= 5;я вагових коефіцієнтo= 0;в у залежност= 10; від активності попередніх процесів (передістор= 10;ї) складає сут= 00; навчання і реалізує функцію пам'яті.

<= o:p>

СТР= ;УКТУРА ТА ВЛАСТИВОСi= 8;І ШТУЧНОГО НЕЙРОНА<= /p>

<= o:p>

&= #1053;ейрон є елементарнl= 6;ю складовою частиною штучної нейронної мережі. Його структура наведена на рис. штуm= 5;н. нейрон.

&= #1044;о складу нейрона вхо = 76;ять помножнl= 0;ки (сінапси), суматор та нелінійний перетворювk= 2;ч. Суматор виконує додавання сигналів, що поступають по сінап = 90;ичним зв'язкам з інших нейронів, та зовнішніх вхідних сигналів. Нелінійний перетворювk= 2;ч реалізує функцію одного а = 88;гумента – виходу сум= 072;тора (функц= ;ію активації або пе= ;редатну функцію нейрона).

Синапти = 95;ні зв'язки з додатними ваговими коефіцієнтk= 2;ми називають збудж= 091;ючими, а з від'ємними – гальм= 091;ючими.

&= #1053;ейрон реалізує скалярну функцію векторного аргумент = 72;:

<= sub>; , = &nb= sp; (1)

де _{=
–
результат
додавання; _{–
ваговий
коефіцієнт
сінапса (_{); _{–
компонент
вхідного
вектора
(вхідний сиг=
085;ал);
_{–
зміщення; _{–
вихідний
сигнал
нейрона; _{–
нелінійне
перетворенl=
5;я
(функція
активації).}}}}}}}

&= #1059; загальному випадку _{, _{т
=
72; _{можут=
ь
приймати
дійсні
значення.
Вихідний
сигнал _{визна=
чається
видом
функції
активації і
може бути як
дійсним, так
і цілим.}}}}

&= #1057;игнал суматора _{є
вхідним для
нелінійногl=
6;
блоку, який
реалізує
функцію
активації<=
/span>}

<= sub>_{.        =
            &nb=
sp;            =

(2)}

&= #1053;айбільш поширені наступні активаційнo= 0; функції.

&= #1058;аблиця 1

&= #1055;ерелік функцій активації штучних нейронів<= /p>

<= o:p>

&= #1054;днією з найбільш поширених є нелінійна S‑подібн = 72; функція активації з насиченням (логіс= 090;ична функція або= сиг= ;моїд):

<= sub> = &nb= sp; = &nb= sp; (3)

Вих= ;ідне значення сигмоїда належить до інтервалу _{. Перевага=
; сигмоїда
=
83;ьної
функції –
простота
виразу її
похідної _{, що
використовm=
1;ється
у деяких
алгоритмах
=
85;авчання.}}

S‑под= ;ібні функції активації (логістична, гіперболічl= 5;ий тангенс) підсилюють слабкі вхід = 85;і сигнали більше за сигнали з великою амп = 83;ітудою. Такі функції називають стиск= 091;ючими, оскільки їх вихід є обмеженим при будь-якому діапазоні змінення вх= 10;дного сигналу. Це попереджує непрогно = 79;оване послідовне зростання сигналів у мережі та її непередбачm= 1;ване апаратне насичення.=

<= o:p>

КЛА= ;СИФІКАЦІЯ ШТУЧНИХ НЕЙРО= ;ННИХ МЕРЕЖ= ;

<= o:p>

&= #1064;тучна нейронна мережа – це розпарал = 77;лена обчислювалn= 0;на структура, щ= 086; складаєтьсn= 3; з поєднаних між собою штучних нейронів з фіксованимl= 0; передатнимl= 0; (активаційн = 80;ми) функціями т = 72; змінними ваговими коефіцієнтk= 2;ми (параметрам = 80; мережі). Деякі входи нейронів по = 79;начені як зов= ;нішні входи мереж= 10;, а деякі виходи – як зовні= 096;ні виходи мережі. Робота н = 77;йромережі полягає у перетворенl= 5;і вхідного вектора _{у
вихідний
вектор _{.
"Алгоритм"
перетворенl=
5;я
задається
структурою,
ваговими
коефіцієнтk=
2;ми
та функцією
активації.
Цей набір па=
088;аметрів
повністю
описує
(визначає)
нейронну
мережу.}}

Зада= ;ча побудови штучної нейронної мережі вирішуєтьсn= 3; у три етапи:

1= . Формалізаm= 4;ія та формулюванl= 5;я завдання.=

2= . Вибір типу (архітектур = 80;) мережі.

3= . Підбір вагових коефіцієнтo= 0;в (навчання) ме&#= 1088;ежі.

&= #1053;ейронна мережа є універсальl= 5;ою обчислювалn= 0;ною структурою, яка до навчання не налагодженk= 2; на вирішенн= 03; конкретної задачі. Тому форма= 083;ізація завдання полягає у відмежуванl= 5;і від конкретногl= 6; технічного, технологічl= 5;ого, фізичного ч = 80; іншого значення елементів завдання (си= 075;налів, блоків, параметрів) = 079; метою його форму= 083;ювання – лінгвістичl= 5;ого опису. При цьому повинен бут = 80; збережений абстрактниl= 1; математичнl= 0;й зміст завдання. Практично будь-яку зад= 072;чу, що описана лінгвістичl= 5;о, можна сформулюваm= 0;и як завдання для проектуванl= 5;я ШНМ. Наприклад, табл. 2.

&= #1058;аблиця 2

&= #1055;риклади формулюванl= 5;я завдань для проектуванl= 5;я ШНМ

Задача розпізнава= 085;ня рукописних букв
Дано: растрове монохромне зображення букви розмі&#= 1088;ом 30´30 піксел= 110;в	Необхідно= : визначити букву (алфавіт складаєтьс= 103; з 33 букв)
Формул&#= 1102;вання завдання для проектуван= 085;я нейроме= 088;ежі
Дано: вхідний вектор з 900 двійкових символів (30= ´30=3D900 бітів)<= /p>	Необхі&#= 1076;но: побудувати нейромер&#= 1077;жу з 900 входами та 33 виходами. Максимальн= 080;й рівень сигналу має формуватис= 103; на виході, як= ий відповідає зображеній на вході мережі букві
…	…

<= o:p>

На етапі вибору архітектурl= 0; мережі необ = 93;ідно визначити:=

· тип нейронів, що будуть застосованo= 0; у мережі (кількість входів, функцію активації);

· топо= ;логію мережі (рисунок "павутиння"= міжнейро = 85;них зв'&= #1103;зків);

· зовн= ;ішні входи та виходи мережі.

&= #1053;а практиці дл= 03; вирішення конкретної задачі обирають один з розроблениm= 3; типів мереж= 10;, що найбільш пристосоваl= 5;ий для даного к= 083;асу завдань. Розробка та налагодженl= 5;я мережі ексклюзивнl= 6;ї архітектурl= 0; є змістом науково-дос = 83;ідної роботи.

&= #1053;ейронні мережі класифікуюm= 0;ь за топологі= 08;ю, за наявніст= 02; зворотних зв'&= #1103;зків, за структурою застосованl= 0;х нейронів, за типом об = 88;облюємих сигналів, за організаціn= 8;ю роботи мережі у час= 110;.

<= o:p>

ТОП= ;ОЛОГІЯ НЕЙРОННИХ МЕРЕЖ= ;

<= o:p>

За топологією (рисунком міжнейро = 85;них зв'&= #1103;зків) виділяють три типи мереж:

· &= #1087;овнозв'язнo= 0; мережі;

· бага= ;тошарові, або шаруват= 10; мережі;

· &= #1089;лабкозв'язні мережі (мережі з локальними зв'&= #1103;зками).

&= #1055;овнозв'язна мережа – це мережа, кожний нейрон якої передає сві = 81; вихідний сигнал усім нейронам, у тому числі самому собі. Усі вхідні сигнали мережі пода= 02;ться усім її нейронам. Вихідними сигналами мережі є вихідні сигнали усі = 93; або деяких нейронів після кількох тактів її функціонувk= 2;ння (рис. Архіте = 82;тури нейронних м = 77;реж, а).

Бага= ;тошарова мережа – це мережа, що складаєт= 00;ся з шарів, утворених нейронами одного рівн= 03; ієрархії. Ша= 088; містить сукупність = 85;ейронів з однаковим = 80; вхідними сигналами. Число нейронів у кожному шар= 10; може бути бу= 076;ь-яким і не пов'язаним з кількістю нейронів у інших шарах (рис. Архіте = 82;тури нейронних м = 77;реж, б).

&= #1059; загальному випадку багатошароk= 4;а мережа складаєтьсn= 3; з _{шарів,
що
нумеруютьсn=
3;
зліва напра
=
74;о.
Вхідні
сигнали
мережі
подаються н
=
72; нульо=
074;ий
шар
"вироджених=
;"
нейронів, як=
110;
лише
розподіляюm=
0;ь
сигнали без
перетворенl=
5;я.
Виходами ме
=
88;ежі
є вихідні
сигнали
останнього
шару. Багато=
096;арові
мережі крім
вхідного та
вихідного
можуть мати
один або
кілька
проміжних захов=
072;них
(не
прихованих,
прихований -
це затае
=
85;ный)
шарів. Зв'язки віk=
6;
виходів
нейронів
деякого шар
=
91; _{д
=
86;
входів
подальшого
шару _{назив=
ають
послі=
довними.}}}

За наявністю зворотних зв'язків та характером розповсюджk= 7;ння сигналів багатошароk= 4;і (шаруваті) мережі поділяють н = 72;:

·       моно= ;тонні мережі;

·       мере= ;жі без зворотних зв'&= #1103;зків;

·       мере= ;жі зі зворотними зв'&= #1103;зками.

Моно= ;тонна мережа – це частинний випадок шаруватих мереж, кожни= 081; шар якої розбитий на два блоки: збуджуючи = 81; (З) та г= 072;льмуючий (Г). Якщо від блоку _{д
=
86;
блоку _{ведут=
ь
тільки
збуджуючі
зв'язки, вихі&#=
1076;ний
сигнал оста
=
85;нього
є монотонно=
02; неспадно=
02;
функцією
будь-якого
сигналу
блоку _{. Навпаки,
=
91;
випадку
гальмуючих
зв'язків, вих&#=
1110;дний
сигнал
подальшого
блоку є
монотонною незроста=
02;чою
функцією
сигналу
блоку
попередньоk=
5;о.}}}

Мере= ;жа без зворотних зв'= &= #1103;зків – це частинний випадок шаруватих мереж, в якій вихідні сигнали _{‑го
шару
нейронів
подаються н
=
72;
входи
нейронів
тільки
подальших
шарів: до
найближчогl=
6;,
з номером _{, або до
довільного, =
079;
номером _{, де _{–
ціле додатн
=
77;
число.
Класичний
приклад
шаруватої
мережі без
зворотних зв}}}}'&= #1103;зків – це мережа прямого розповсюджk= 7;ння (рис. Мережа прямого розповсюджk= 7;ння).

&= #1056;ис. мережа прямого розповсюджk= 7;ння

Мере= ;жа зі зворотними зв’язками<= span lang=3DUK style=3D'font-size:14.0pt;mso-bidi-font-size:10.0pt;mso-ansi-lang= uage: UK'> – це частинl= 5;ий випадок шаруватих мереж, в якій вихідні сигнали нейронів подальших шарів подаю = 90;ься на нейрони попередніх. = 042; таких мереж = 72;х вихід нейрона _{‑го
шару у
наступний
момент часу залеж=
ить
від
актуальногl=
6;
на момент ча=
089;у
_{стану
нейронів як
попередніх,
так і подаль=
096;их
шарів, а
також від
власного
стану. Тобто
має місце
"хвилеподіб=
;не"
розповсюджk=
7;ння
сигналів із
затримкою
часу. Такі ме&#=
1088;ежі
характеризm=
1;ються
наявністю я
=
82;
довготриваl=
3;ої
(апріорної)
пам'яті, так і
короткотриk=
4;алої
(поточної).
Апріорна
пам'ять
реалізуєтьl=
9;я
ваговими
коефіцієнтk=
2;ми
синаптиm=
5;них
зв'язків і
зберігає
інформацію,
що отримана
під час
навчання.
Класичними
прикладами
=
84;ереж
із
зворотними зв'&=
#1103;зками є
частинно-ре
=
82;урентні
мережі Е
=
83;мана
та Жорда
=
85;а
(рис. Мережі Елмана т=
072; Жордана).}}

&= #1056;ис. Частинно-ре = 82;урентні мережі Є = 83;мана та Жорда = 85;а

За принципом структури використанl= 0;х нейронів штучні нейронні мережі поділяють н = 72;:

·       гомо= ;генні мережі;

·       гете= ;рогенні мережі

Гомо= ;генні (однорідні) нейронні мережі складаютьсn= 3; з нейронів одного типу = 079; однією функцією активації. Д= 086; гетер= огенної нейронної мережі входять нейрони з різними активаційнl= 0;ми функціями.=

За типом оброблюєми = 93; сигналів виділяють:<= /o:p>

·       біна= ;рні мережі;

·       анал= ;огові мережі.

Біна= ;рні нейронні мережі оперують з двійковими сигналами, і вихід кожного нейрона мож = 77; приймати тільки два значення: логічний ну = 83;ь ("загальмовk= 2;ний" стан) та логічна оди = 85;иця ("збуджений" стан). = 40;налогові нейронні мережі обробляють аналогові сигнали.

За організаціn= 8;ю роботи у час= 110; виділяють:<= /o:p>

·       асин= ;хронні мережі;

·       синх= ;ронні мережі.

Асин= ;хронна нейронна мережа – це мережа, в якій у будь-який момент часу = 089;вій стан може змінити тільки один нейрон. У синхронні = 81; мережі одночасно змінюється стан нейронів одного шару або стан усі= 093; нейронів мережі. Алго= 088;итмічно плин часу в такій мереж= 10; задається ітераційниl= 4; виконанням над нейронами однотипо = 74;их обчислювалn= 0;них дій.

За кількістю шарів нейронів нейронні мережі поділяють н = 72;:

·       одно= ;шарові мережі;

·       бага= ;тошарові мережі (мережі з захованими = 96;арами).

&= #1058;опологія мережі визначає її продуктивнo= 0;сть та здатніст= 00; здатніст= 00; вирішувати задачі певного класу. При цьому слід мати на увазі, що:

·       можл= ;ивості мережі зростають і = 79; збільшенняl= 4; кількості нейронів, щільності зв'язків між ними та числом виділених шарів;

·       введ= ;ення зворотних зв'язків під= 074;ищує продуктивнo= 0;сть мережі, але може поруши = 90;и її дин= ;амічну стійкість;

·       ускл= ;аднення неодноріднl= 6;сті мережі (напр= 080;клад, введення шарів або синапсів різних типі = 74;, нейронів з різними активаційнl= 0;ми функціями, тощо) збільшує продуктивнo= 0;сть мережі але утруднює її = 085;авчання.

&= #1042;ибір топології нейронної мережі може базуватися на наступному твердженні. Для будь-яко= 111; множини пар вхідних/вих= 10;дних векторів довільної розмірностo= 0; _{, де _{існує
двошарова
нейронна
мережа з пос=
083;ідовними
зв'язками, з сігмоіда
=
83;ьними
передатнимl=
0;
функціями т
=
72;
з скінченим
числом
нейронів,
котра для
кожного
вхідного ве
=
82;тора
_{форму=
є
відповідниl=
1;
до нього
вихідний
вектор _{. Тобто длn=
3;
представлеl=
5;ня
багатомірнl=
0;х
функцій баг
=
72;тьох
змінних мож
=
77;
бути
використанk=
2;
однорідна
нейронна
мережа, яка
має лише оди=
085;
захований
шар
(двошарова
мережа), з &=
#1089;игмоїдальн=
;ими
передатнимl=
0;
функціями
нейронів.
Інше формул=
02;вання
тієї ж думки
дає те=
;орема
про повноту:
Будь-яка
неперервна
функція на
замкненій
обмеженій
множині мож
=
77;
бути
рівномірно
наближена
функціями, щ=
086;
обчислені
нейронною
мережею, якщ=
086;
функція
активації ї=
11;
нейронів
двічі не
=
87;ерервно
диференm=
4;юєма
та
неперервна.
Тобто
нейронні
мережі є уні=
074;ерсальними
апроксимуюm=
5;ими
системами.=}}}}

&= #1055;риблизно оцінити необхідну кількість синаптич = 85;их зв'язків _{однор=
ідної
нейронної
мережі можн
=
72;
за формулою}

<= sub> ,        =             &nb= sp; (4)

де _{=
–
розмірністn=
0;
вхідного
вектора
(кількість
входів
мережі), _{–
розмірністn=
0;
вихідного
вектора
(кількість
виходів), _{– число
елементів
навчаючої
вибірки (кіл=
100;кість
пар значень ).}}}

&= #1042;изначивши необхідну кількість синаптич = 85;их зв’язків, розраховуюm= 0;ь число нейронів _{мереж=
і.
Так, для
двошарової
нейронної
мережі}

<= sub> .        =             &nb= sp;            =             &nb= sp;   (5)

Від= ;омі й інші подібні формули, наприклад<= /span>

<= sub> ,

<= sub> .        =             &nb= sp;         =     (6)

&= #1044;ля вирішення певної задачі замість дво = 96;арової мережі можн = 72; використатl= 0; мережу з біл= 100;шим числом шарі = 74; але з меншим числом нейр = 86;нів у шарі (тобто з меншою розмірністn= 2; вектора вагових коефіцієнтo= 0;в нейронів одного шару). Обсяг обчислювалn= 0;ної роботи для реалізації такої мереж= 10; майже не змінюється (рис. різні мережі). Жорсткої ме = 90;одики побудуваннn= 3; таких мереж поки що нема= 108;.

рис. Різні мережі (3 входи, 2 виходи; 20 ваг, 6 нейронів; 17 ваг, 7 нейронів)=

<= o:p>

НАВ= ;ЧАННЯ ШТУЧНИХ НЕЙРОННИХ МЕРЕЖ= ;

<= o:p>

Мето= ;ю навчання нейронної мережі є визначення таких вагов = 80;х коефіцієнтo= 0;в її синап = 89;ів, за яких кожній вхідній картині (вхідному ве= 082;тору) відповідає бажана вихідна картина (вихідний вектор), що обчислена мережею. Нав= 095;ання здійснюєтьl= 9;я шляхом послідовноk= 5;о пред'явленн= 03; мережі вхідних векторів з одночасним підстроюваl= 5;ням вагових коефіцієнтo= 0;в у відповідн = 86;сті з певною процедурою.

&= #1055;ри функціонувk= 2;нні нейронна мережа форм = 91;є вихідний сигнал _{, що
відповідає
вхідному
сигналу _{, реалізую=
;чи
при цьому
певну
функцію _{. Якщо
архітектурk=
2;
мережі
задана, то
вид функції визна=
чається
значеннями синаптич
=
85;их
ваг та
зміщень
мережі. Неха=
081;
рішенням
задачі є
функція _{, що заданk=
2;
парами вхід
=
85;их-вихідних
даних _{, _{, …, _{, для яких , де _{. Навчання
полягає у
пошуку
(синтезі)
функції _{, близької до на
відстані
функції
похибки _{(рис. І=
;люстрація
процеса
навчання НМ)}}}}}}}}}}

&= #1056;ис. Ілюстра= ;ція процесу навчання НМ

Алго= ;ритм навчання нейронної мережі – це математичнl= 0;й апарат (процедура т= 072; набір формул), який дозволяє циклічно за вектором похибки обчислюватl= 0; необхідні поправки дл= 03; вагових коефіцієнтo= 0;в до їх стабілізацo= 0;ї з метою мінімізаціo= 1; похибки. Інформація щодо задачі, яку отримує мережа, міститься у наборі прикладів навчаючої вибірки. Том= 091; якість навчання мережі залежить ві = 76; кількості прикладів у вибірці, а також від того, наскільки п = 86;вно дані приклади описують задачу. Правильно навчена мережа узагальнює результати роботи над прикладами навчаючої вибірки і на нові вхідні картини (які були відсут = 85;і у навчаючій вибірці, проте формалізовk= 2;но описані нею). <= o:p>

&= #1040;лгоритм навчання ді= 08; циклічно (ітераційно<= /span>), його послідовні цикли називають епоха= 084;и.

За методом оптимізаціo= 1; розрізняютn= 0; наступні ітераційні алгоритми навчання нейронних мереж:

·       алго= ;ритми локальної оптимізаціo= 1; з обчисленн= 03;м частинних похідних першого порядку для функцій активації;=

·       алго= ;ритми локальної оптимізаціo= 1; з обчисленн= 03;м частинних похідних першого та другого порядків дл= 03; функцій активації;=

·       стох= ;астичні алгоритми оптимізаціo= 1;;

·       алго= ;ритми глобальної оптимізаціo= 1;.

За наявністю цільових вихідних векторів у навчаючій вибірці та зовнішньогl= 6; корегуюч = 86;го пристрою (вчителя) розрізняютn= 0;:

·       алго= ;ритми навчання бе = 79; вчителя;

·       алго= ;ритми навчання із вчителем<= /p>
<= o:p>

АЛГ= ;ОРИТМ ЗВОРОТНОГi= 4; РОЗПО= ;ВСЮДЖЕННЯ=

<= o:p>

&= #1040;лгоритм зворотного розповсюджk= 7;ння є найбільш поширеним циклічним ітеративниl= 4; градієнтниl= 4; алгоритмом навчання не = 81;ронних мереж, який використовm= 1;ється з метою мінімізаціo= 1; середньоквk= 2;дратичного відхилення поточного виходу від бажаного у багатошарових мережах. У таких мережах оптимальні значення виходу нейронів усіх шарів, крім останн= 00;ого, невідомі. Тому застосовуєm= 0;ься градієнтниl= 1; метод пошук = 91; мінімума похибки з обчисленняl= 4; сигналів похибки від виходів мережі до її входів (у зворотному до звичного напрямку розповсюджk= 7;ння сигналів мережі під час її роботи).

Алго= ;ритм зворотного розповсюджk= 7;ння полягає у виконанні наступних дій:

·       1 кро= ;к. Початков = 72; ініціалізаm= 4;ія мережі (ваго= 074;им коефіцієнтk= 2;м надаються невеликі по = 95;аткові значення).

·       2 кро= ;к. Вектор _{черго=
вої
навчаючої
пари _{подає=
ться
на вхід
мережі.}}

·       3 кро= ;к. Обчислює = 90;ься вихід нейронної мережі.

·       4 кро= ;к. Обчислює = 90;ься похибка мережі, тобт= 086; різниця між бажаним (цільовим) та реальним (обчисленим) виходом мережі.

·       5 кро= ;к. Корекція синаптиm= 5;них вагових коефіцієнтo= 0;в мережі з метою мінім= 10;зації похибки (спочатку коректуютьl= 9;я ваги нейронів вихідного ш = 72;ру, потім з використанl= 5;ям похідної функції активації – ваги попередньоk= 5;о шару, і так да&= #1083;і у напрямку зворотного розповсюджk= 7;ння).

·       6 кро= ;к. Циклічне повторення епох навчан = 85;я (для кожної пари прикладів навчаючої вибірки вик = 86;нуються кроки з 2 до 5 доти, доки похибка на усій множин= 10; не досягне допустимих меж.

&= #1050;орекцію вагових коефіцієнтo= 0;в на 5 кроці не= 086;бхідно виконувати = 91; напрямку градієнту функції похибки мережі. Градієнт (від лат. gradiens) – це вектор _{, який
показує
напрямок
найшвидшої
зміни скаля
=
88;ного
поля _:}

<= sub> ,      (__)<= /o:p>

де _{=
–
точка гі
=
87;ерпростору
з
координатаl=
4;и
_{; _{, _{, _{, … – орти
(одиничні
вектори, що
спрямовані
вздовж
відповідниm=
3;
координатнl=
0;х
вісей,
(1, 0, 0, …), (0, 1, 0, …),
(0, 0, 1, …), …); _{, _{, _{, … –
частинні
похідні
функції за в=
110;дповідними
координатаl=
4;и.}}}}}}}}

Час= ;тинна похідна _{функц=
ії
_{у
точці _{обчис=
люється
за умови, що
усі координ
=
72;ти,
крім _{зафік=
совані
і остаються
незмінними.
При цьому гіперпрост&=
#1110;р
розрізаєтьl=
9;я
гіперплощиl=
5;ою,
яка проходи
=
90;ь
через точку ,
паралельна
вісі _{і
перпендикуl=
3;ярна
до усіх інши=
093;
координатнl=
0;х
вісей.
Перетин ціє=
11;
гіперплощиl=
5;и
з гіперп
=
86;верхнею
функції _{дає
багатомірнm=
1; гіперкри
=
74;у.
При цьому
частинна
похідна _{у
точці _{оберт=
ається
у похідну _{, де _{–
функція, що
описує г=
10;перкриву.}}}}}}}}}}

Нап= ;риклад, потенціальl= 5;е поле _{у =
076;вомірному
просторі, де т
=
72; _{–
просторові
координати,
ілюструєтьl=
9;я
звичайною
поверхнею _{, рис. а. У
випадку, якщ=
086;
одна з
координат,
наприклад _{,
зафіксованk=
2;,
поверхня
розрізаєтьl=
9;я
площиною, що
перпендикуl=
3;ярна
до площини аргуметі
=
74;
_{,
перпендикуl=
3;ярна
вісі _{т
=
72;
паралельна
вісі _{. Лінія
перетину з
площиною дл=
03;
даного випа
=
76;ку
буде плоско=
02; _{, рис. б}}}}}}}}
гра= ;дієнтом є двомірний одиничний з = 72; модулем вектор _{, який
показує
напрямок
найшвидшої
зміни потен
=
94;іалу,
рис. граk=
6;.потенціаль&#=
1085;ого
поля.}

&= #1056;ис. градієн= ;т потенційl= 5;ого поля

Для одномірногl= 6; простору градієнт – ц= 077; одномірний вектор

Недоліки методу зворотного розповсюджk= 7;ння:

·       неви= ;сока швидкість збіжності (велика кіль= 082;ість ітерацій, як= 110; необхідно виконати дл= 03; досягнення прийнятної похибки);

·       можл= ;ивість досягнення локальних рішень (лока= 083;ьних, а не глобальних мінімумів поверхні похибки);

·       можл= ;ивість параліча мережі, при якому більшість нейронів функціонуюm= 0;ь на великих значеннях аргументу ф = 91;нкції активації, тобто на її поло= 078;истій ділянці, і процес навчання практично завмирає.=

<= o:p>

Розп= ;оділені активні середовища. Хвилі та стр= 091;ктури в активних середовищаm= 3;

&= #1040;ктивні середовища складаютьсn= 3; з активних елементів т = 72; характеризm= 1;ються неперервниl= 4; роззосер = 77;дженим припливом енергії від зовнішньогl= 6; джерела та ї= 111; дисипацією.

&= #1056;озрізняють три типи активних елементів.=

&= #1041;істабільни= ;й (триг&= #1077;рний) елемент має два стаціонарнl= 0;х стани (1 та 2), в кожному з яких він мож= 077; знаходитисn= 3; необмежениl= 1; час. Більші за порог = 86;ве значення зовнішні впливи можуть переводити елемент з одного стан = 91; в інший (рис. = ;бістабіл= 00;ний елемент).
Збуд= ;жуваний (м&= #1091;льтивібрат= ;орний) елемент має лише один стан спокою, стійкий до незначних зовнішніх впливів. Якщ= 086; вплив перевищує порогове значення, у елементі виникає спалах акти = 74;ності: він виконує визначену послідовніl= 9;ть активних переходів, після чого повертаєтьl= 9;я у вихідний стан спокою. Елемент, яки= 081; перейшов зі стану споко= 02; до активног = 86; стану не реагує на зо= 074;нішні впливи доки не виконає повну послі = 76;овність переходів (р= ис. мультиві = 73;раторний елемент).
Авто= ;коливальни = 81; елемент автономно виконує циклічні переходи через деяку групу стані = 74;. Зовнішні вп = 83;иви здатні прискорити або уповільнитl= 0; цей циклічний рух, але не пр&= #1080;пинити його (рис. ав= токоливальl= 5;ий елемент).
&= #1059; ланцюгу з активних елементів впливають о = 76;ин на одного лише сусідн= 10; елементи, як= 110; знаходятьсn= 3; у різних станах.

&= #1059; ланцюгу з бістабільн&= #1080;х елементів елемент під впливом суміжного переходить = 79; менш стабільногl= 6; (метастабіл&= #1100;ного) до більш стабільногl= 6; стаціонарнl= 6;го стану, тобто розповсюджm= 1;ється хвиля перемиканнn= 3; (рис. хвиля перемиканнn= 3;).

&= #1059; ланцюгу з мультивібр&= #1072;торних елементів можливі два типи взаємодії суміжних елементів: а)&n= bsp;будь-який активний елемент мож = 77; виводити зі стану споко= 02; свого сусід = 72;; б) лише елем = 77;нт, який знаходитьсn= 3; у перших стадіях збу = 76;ження, може вивест = 80; зі стану рівноваги с = 91;сіда. У першому випадку у відповідь н = 72; однократниl= 1; зовнішній вплив у ланцюгу виникне нез = 75;асаюча хвилева активність, = 091; другому - взд&#= 1086;вж ланцюга буд = 77; розповсюджm= 1;ватися поодинокий імпульс активності (хвиля збудження), &#= 1088;ис. хвиля збудження.

&= #1059; ланцюгу, складеному = 79; автоколиваl= 3;ьних елементів, можуть виникати фазові хвилі. Для цього достатньо створити зсув початкових фаз коливан= 00; уздовж ланц= 02;га (рис. фазові хвилі).

&= #1041;ільш складні ефекти споглядаютn= 0;ся у двомірних або багатомірнl= 0;х мережах.

&= #1071;кщо активний елемент задається, я= 082; об’єкт з дискретним числом станів та певними пра = 74;илами переходів, т= 086; він функціо = 85;ує як авт= ;омат. Більш детальний рівень описання активних середовищ базується н = 72; побудові диференційl= 5;их рівнянь, які описують динаміку ок = 88;емих елементів т = 72; їх взаємоді= 11;.

<= o:p>

Кліт= ;инні автомати: класифікацo= 0;я, застосуванl= 5;я, принципи побудови та функціонувk= 2;ння.

Кліт= ;инний автомат - це різновид активного середовища, або його модель (обчислювал= 00;на структура), який склада= 08;ться з активних елементів (формальних нейронів), що мають дискретну кількість с = 90;анів і змінюють свій стан у залежності = 74;ід стану сусідніх елементів т = 72; самого себе за визначенимl= 0; правилами п = 77;реходів.

Одно= ;рідний клітинний автомат складаєтьсn= 3; з однотипни = 93; елементів з однаковими зв’язками між ними. Усі елементи є і= 076;ентичними і рівноправнl= 0;ми (у рівній мір&#= 1110; впливають один на одного).

Рег= ;улярний клітинний а = 74;томат - це мережа, усі окремі елементи якої знаход= 03;ться у вузлах правильної решітки і мають однакову кількість зв’язків (наприклад: к&#= 1074;адратна чи гексагоналn= 0;на плоска реші = 90;ка, кубічна просторова решітка, тощо, рис. ре= гулярний та нерегулярнl= 0;й клітинні автомати).

&= #1045;лементи у ланцюгу нумеруютьсn= 3; послідовно числами _{, де _{-
кількість
елементів.
Елементи дво-,
або
багатовиміl=
8;ного
автомата
можуть бути
пронумеровk=
2;ні
послідовно,
або індексн
=
86;,
відповідно
до
розмірностo=
0;
матриці.}}

&= #1044;ля кожного _{-го
елемента
задається
група
елементів, я=
082;і
є його
найближчимl=
0;
сусідами і
взаємодіютn=
0;
з ним.
Множина
найближчих
сусідів
позначаєтьl=
9;я
як _{: якщо _{, то
елемент з
номером _{є
найближчим
сусідом
елемента з н=
086;мером
_{. Не
обов’язковl=
6;
елементи, що
знаходятьсn=
3;
у суміжних д=
086;
_{-го
елемента
вузлах
решітки
треба
вважати най
=
73;лижчими
сусідами
(рис. два
можливих сп
=
86;соби
вибору сусі
=
76;ів
на
квадратній
решітці).}}}}}}

&= #1057;тан окремого _{-го
елемента у
момент часу харак=
теризуєтьсn=
3;
деякою
змінною _{. Ця зміннk=
2;
може бути
цілим,
дійсним або
комплексниl=
4;
числом, чи
бути наборо
=
84;
чисел (векто=
088;ною
змінною).}}

&= #1047;акон переходу може мати вигляд

_{=
            &nb=
sp;
(1.1)}

Ста= ;н даного елемента у момент часу є однозначноn= 2; функцією двох змінни = 93; - свого стану та суми станів свої = 93; найближчих сусідів у по= 087;ередній момент часу . Такий клітинний автомат не має пам'яті. Клітинний автомат буд = 77; мати оперативну пам'ять, якщо функція _{залеж=
ить
також від
стану _{у
ще більш
ранній
момент часу (воп&=
#1088;ос
студентам:
какой тип
памяти -
оперативнаn=
3;
или
постоянная).}}

          Детер= 084;інований клітинний автомат - це автомат у якого перех= 10;д між станами чітко обумовлениl= 1; правилами переходу.

Сто= ;хастичний (імовірнісн = 80;й) клітинний а = 74;томат - це автомат, у якого переходи мають імовірніснl= 0;й характер. Тоді заміст= 00; правил переходу задають набір імовірностk= 7;й переходу<= /p>
<= sub>        =             &nb= sp;          (1.2)

що показують, якою буде ймовірністn= 0; переходу _{-го
елемента із
стану _{у
момент часу д
=
86;
стану _{у
наступний
момент часу з
=
72;
умови, що
стани його
найближчих
=
89;усідів
у момент час=
091;
_{прийм=
али
певні
значення.}}}}

          О= 082;рім визначення типу решітк = 80; слід зазначити, які вузли з оточення даного елемента вважаються його найближчимl= 0; сусідами (рис. Два способи вибору сусідів для елемента квадратної решітки)

Рис. Два способи вибору сусідів для елемента квадратної решітки

          З= 075;ідно з (1.1) вибір наступного = 89;тану елемента у дискретний момент часу визна= чається комбінацієn= 2; двох чисел: станом самого елемента _{у
момент часу , та суми
станів _{його
найближчих
сусідів. Якщ=
086;
окремий
елемент
мережі може
знаходитисn=
3;
у одному з _{стані=
в,
то змінна _{буде
приймати ря
=
76;
цілих
значень від 0
до _{. У
регулярномm=
1;
клітинному
автоматі
кожен з
елементів
має _{с
=
91;сідів.
Сума станів
сусідніх
елементів _{стано=
вить
_{. Тому
число
можливих
комбінацій
станів само
=
75;о
елемента і
його сусіді
=
74;
складає _{. Кожній з
цих
комбінацій
слід
співставитl=
0; один
з _{можли=
вих
станів
елемента _{у
наступний
момент часу . Таким
чином, повна
кількість
клітинних а
=
74;томатів
з заданими _{т
=
72; _{стано=
вить}}}}}}}}}}}}}

<= sub>.              =             &nb= sp;            =    (1.3)

Для квадратної решітки з чотирма найближчимl= 0; сусідами (_{), кожен з
елементів
якої може
знаходитисn=
3;
лише в одном=
091;
з двох стані=
074;
(_{) можна
задати _{кліти=
нних
автоматів.
Якщо до
найближчих
сусідів
віднести і
діагональнo=
0;
елементи (_{), то _.}}}}

          Д= 080;наміка детерміновk= 2;них клітинних автоматів і = 79; скінченим числом станів є незворотноn= 2;.