Алматы 2015 Almaty

447 

биологического  нейрона  и  его  искусственной  вычислительной  модели,  процессы  обучения  искусственной 

нейронной  сети.  Приведены  примеры  широкого  применения  технологий  искусственных  нейронных  сетей  в 

решении различных задач. 

Ключевые слова. Нейронные сети, обучение нейросети, модель нейронной сети.

 

 

Человека всегда интересовало устройство мозга, принципы его работы и организации. 

 Первая  математическая  модель  нейрона  (базового  элемента  мозга)  была  создана  в 1943 году, 

когда  американский  ученый  Уоррен  Маккаллок (McCulloch W.) и  его  ученик  У.  Питтс (Pitts W.) 

сформулировали  основные  положения  теории  деятельности  головного  мозга.  Ими  было  сделано 

следующее: 

-  разработана  модель  нейрона  как  простейшего  процессорного  элемента,  выполнявшего 

вычисление  переходной  функции  от  скалярного  произведения  вектора  входных  сигналов  и  вектора 

весовых коэффициентов;  

-  предложена конструкция сети таких элементов для выполнения логических и арифметических 

операций;  

-  сделано  основополагающее  предположение  о  том,  что  такая  сеть  способна  обучаться, 

распознавать образы, обобщать полученную информацию.  

За  прошедшие  десятилетия  теория  нейронных  сетей  ушла  достаточно  далеко  вперед,  однако 

многие утверждения У. Маккаллока остаются актуальными и по сей день. В частности, при большом 

разнообразии  моделей  нейронов  принцип  их  действия,  заложенный  У.  Маккаллоком  и  У.  Питтсом, 

остается  неизменным.  Недостатком  модели  У.  Маккаллока  является  сама  модель  нейрона — 

«пороговый»  вид  активационной  функции.  Пороговый  вид  функции  не  дает  нейронной  сети 

достаточную гибкость при обучении и настройке на поставленную задачу.  

Дальнейшее  развитие  теория  нейронных  сетей  получила  в  работах  американского 

нейрофизиолога  Френсиса  Розенблата (Rosenblatt F.). В 1958 году  он  предложил  свою  модель 

нейронной  сети.  Ф.  Розенблат  ввел  в  модель  У.  Маккаллока  и  У.  Питтса  способность  связей  к 

модификации,  что  сделало  ее  обучаемой.  Эта  модель  была  названа  персептроном.  Первоначально 

персептрон  представлял  собой  однослойную  структуру  с  жесткой  пороговой  функцией 

процессорного элемента и бинарными или многозначными входами, в дальнейшем эта модель была 

значительно  усовершенствована.  Персептрон,  воспринятый  первоначально  безоговорочно  и  с 

большим  энтузиазмом,  вскоре  подвергся  интенсивным  нападкам  со  стороны  крупных  научных 

авторитетов.  

В 1982 году  американский  биофизик  Дж.  Хопфилд (Hopfield J.) предложил  оригинальную 

модель нейронной сети, в дальнейшем названную его именем. Сеть Дж. Хопфилда  имеет обратные 

связи  между  слоями,  что  увеличивает  ее  обобщающие  свойства,  такие  сети  нашли  широкое 

применение  при  распознавании  образов.  В  последующие  несколько  лет  было  найдено  множество 

эффективных  алгоритмов  и  архитектур  нейросетей,  таких  как  сеть  обратного  распространения, 

двунаправленная  ассоциативная  память,  самоорганизующиеся  карты  и  др.  Построение  любой 

нейронной  сети  предполагает  большой  объем  вычислений  (обучение  сети  обычно  является 

итерационным  процессом).  Поэтому  только  с  ростом  вычислительной  мощности  компьютеров 

появилась возможность практического применения нейросетей, что дало мощный толчок к широкому 

распространению программ, использующих принципы нейросетевой обработки данных. 

Базовые идеи, лежащие в основе нейронных сетей 

-  Основными  идеями,  из  которых  возникли  и  выросли  нейросети  и  нейромоделирование, 

являются следующие: 

-  Нейронная  сеть имитирует  структуру  и  свойства  нервной  системы живых  организмов:  она 

состоит  из  большого  числа  соединённых  между  собой  простых  однотипных  вычислительных 

элементов  (нейронов)  и  обладает  более  гибким  и  сложным  поведением  по  сравнению  с 

возможностями каждого отдельного нейрона. Нейросеть получает на входе набор входных сигналов 

и выдает соответствующий им ответ (выходные сигналы), являющийся решением некоторой задачи. 

-  Каждый  нейрон  выполняет  небольшой  объем  работ  −  например,  суммирует  пришедшие  на 

него сигналы с некоторыми весовыми коэффициентами и дополнительно нелинейно преобразует эту 

взвешенную  сумму  входных  данных.  Другим  распространённым  вариантом  является  нейрон-

детектор,  выдающий  высокий  выходной  сигнал  при  малых  отличиях  своих  входных  сигналов  от 

некоторого запомненного эталона, и низкий выходной сигнал при существенных отличиях. 

448 

-  Нейроны группируются в последовательность слоёв; входные сигналы поступают на первый 

слой и последовательно проходят через все слои до последнего, выходного слоя сети. Но бывают и 

рекуррентные структуры, обеспечивающие циркуляцию некоторого набора внутренних сигналов. 

-  Нейроны, составляющие некоторый слой сети, работают в параллельном режиме. Изменение 

числа слоёв и количества нейронов в слоях позволяет гибко или максимально эффективно настроить 

общий  параллельно-последовательный  объем  вычислений  на  особенности  применяемой 

вычислительной техники (процессора, микроконтроллера, нейрокомпьютера, ПЛИС и т.д.). 

-  Кроме  нейронов,  в  структуре  сети  можно  выделить  и  другие,  независимо  и  параллельно 

работающие элементы на иных уровнях иерархии или абстракции. В искусственном нейроне параллельно 

работают его синапсы, в сети могут параллельно работать многослойные "нейронные колонки". 

-  Процесс работы нейросети представляет собой движение потока внешних сенсорных данных 

(от  некоторого  "входа"  к  "выходу")  и  преобразование  этих  данных.  В  общем  случае  поток  данных 

(сигналов) может формировать и перекрёстные, и обратные связи. 

-  Искусственная нейросеть,  как  и  её  биологический  прототип, может  обучаться:  она  содержит 

внутренние  адаптивные  параметры  нейронов  и  своей  структуры,  и,  меняя  их,  может  менять  свое 

поведение, добиваясь улучшения точности решения некоторой задачи. 

-  Место  программирования  занимает обучение  нейронной  сети:  при  переходе  к  очередной 

задаче  анализа  данных  не  нужно  программировать  какой-то  новый  алгоритм  −  можно  просто  взять 

универсальный  нейросетевой  инструмент  и  в  нём  создать  и  обучить  новую  нейросеть  (у  которой 

структура, размеры и прочие особенности будут соответствовать этой новой задаче). 

-  Нейронная  сеть  обучается  решению  задачи  на  некотором  "учебнике"  −  наборе  ситуаций, 

каждая из которых описывает значения входных сигналов нейросети и требуемый при этих входных 

сигналах  ответ. "Учебник"  задает  набор  эталонных  ситуаций  с  известными  исходами,  а  нейронная 

сеть  должна  обнаружить  и  запомнить  зависимости  между  входными  сигналами  и  требуемыми 

ответами. Обученная нейросеть может обобщать (интерполировать и экстраполировать) полученный 

навык решения и выдавать прогноз для новых ситуаций − тех сочетаний значений входных сигналов, 

которые не входили в "учебник". 

-  Кроме  обучения  с  учителем  (на  основе  знаний  об  известных  эталонных  ответах  для 

некоторого  набора  ситуаций)  возможно  и  обучение  без  учителя  −  при  этом  происходит  анализ 

описаний ситуаций и ищутся те или иные тенденции (например, похожие ситуации объединяются в 

группы  так,  чтобы  данные  внутри  группы  были  больше  похожи  друг  на  друга,  чем  на  данные  из 

другой группы). 

-  Нейронная  сеть  способна  обучаться  решению  задач,  для  которых  у  человека  не  существует 

формализованных,  быстрых  или  работающих  с  приемлемой  точностью  теоретических  или 

эмпирических  алгоритмов.  Наряду  с  обучающими  данными  требуется  лишь  задать  некоторый 

критерий  качества  решения  задачи,  который  нейросеть  при  своём  обучении  должна  будет 

минимизировать или оптимизировать. 

-  Структура нейросети может быть адаптирована к задаче. В нейросеть могут быть включены 

дополнительные  нейроны  и  даже  слои  нейронов,  если  исходно  она  была  не  способна  обеспечить 

нужную  точность  решения.  Из  нейросети  могут  быть  исключены  лишние  нейроны  и  связи  между 

ними, если исходная сеть была избыточна. Нейросеть может сама выделить наиболее информативные 

для  задачи  входные  сигналы,  отбросить  неинформативные,  шумовые  сигналы  и  в  итоге  повысить 

надежность  решения.  При  этом  коррекция  размеров  нейронной  сети  не  приводит  к  полному 

забыванию  ранее  сформированных  при  обучении  навыков,  что  ускоряет  последующий  процесс 

дообучения нейросети. 

-  Нейросети  являются  сложными  нелинейными  системами  с  большим  числом  степеней 

свободы  (среди  которых,  при  обучении  сети,  ищется  оптимальное  или  квазиоптимальное  решение 

задачи).  Принцип,  по  которому  они  обрабатывают  информацию,  отличается  от  принципа, 

используемого  в  компьютерах  на  основе  процессоров  с  фон-неймановской  архитектурой  (с 

логическим базисом И, ИЛИ, НЕ). 

Сбор данных для нейронной сети 

Если  задача  будет  решаться  с  помощью нейронной  сети,  то  необходимо  собрать  данные  для 

обучения.  Обучающий  набор  данных  представляет  собой  набор наблюдений,  для  которых  указаны 

значения  входных  и  выходных переменных.  Первый  вопрос,  который  нужно  решить, - какие 

переменные использовать и сколько (и каких) наблюдений собрать. 

Выбор  переменных  (по  крайней  мере  первоначальный)  осуществляется  интуитивно.  Ваш  опыт 

работы  в  данной  предметной  области  поможет  определить,  какие  переменные  являются  важными. 

449 

При работе с пакетом ST Neural Networks Вы можете произвольно выбирать переменные и отменять 

предыдущий  выбор;  кроме  того,  система ST  Neural  Networks умеет  сама  опытным  путем  отбирать 

полезные  переменные.  Для  начала  имеет  смысл  включить  все  переменные,  которые,  по  Вашему 

мнению, могут влиять на результат - на последующих этапах мы сократим это множество. 

Нейронные  сети  могут  работать  с  числовыми  данными,  лежащими  в  определенном 

ограниченном  диапазоне.  Это  создает  проблемы  в  случаях,  когда  данные  имеют  нестандартный 

масштаб,  когда  в  них  имеются пропущенные  значения,  и  когда  данные  являются  нечисловыми.  В 

пакете ST Neural Networks имеются средства, позволяющие справиться со всеми этими трудностями. 

Числовые  данные  масштабируются  в  подходящий  для  сети  диапазон,  а  пропущенные  значения 

можно  заменить  на  среднее  значение  (или  на  другую  статистику)  этой  переменной  по  всем 

имеющимся обучающим примерам (Bishop, 1995). 

Более  трудной  задачей  является  работа  с  данными  нечислового  характера.  Чаще  всего 

нечисловые  данные  бывают  представлены  в  виде  номинальных  переменных  типа Пол  = 

{Муж , Жен }.  Переменные  с  номинальными  значениями  можно  представить  в  числовом  виде,  и  в 

системе ST Neural Networks имеются  средства  для  работы  с  такими  данными.  Однако, нейронные 

сети не  дают  хороших  результатов  при  работе  с  номинальными  переменными,  которые  могут 

принимать много разных значений. 

Пусть,  например,  мы  хотим  научить  нейронную  сеть  оценивать  стоимость  объектов 

недвижимости. Цена дома очень сильно зависит от того, в каком районе города он расположен. Город 

может быть подразделен на несколько десятков районов, имеющих собственные названия, и кажется 

естественным  ввести  для  обозначения  района  переменную  с  номинальными  значениями.  К 

сожалению,  в  этом  случае  обучить  нейронную  сеть  будет  очень  трудно,  и  вместо  этого  лучше 

присвоить каждому району определенный рейтинг (основываясь на экспертных оценках). 

Нечисловые данные других типов можно либо преобразовать в числовую форму, либо объявить 

незначащими. Значения дат и времени, если они нужны, можно преобразовать в числовые, вычитая 

из  них  начальную  дату  (время).  Обозначения  денежных  сумм  преобразовать  совсем  несложно.  С 

произвольными  текстовыми  полями  (например,  фамилиями  людей)  работать  нельзя  и  их  нужно 

сделать незначащими. 

Вопрос  о  том,  сколько  наблюдений  нужно  иметь  для  обучения  сети,  часто  оказывается 

непростым.  Известен  ряд  эвристических  правил,  увязывающих  число  необходимых  наблюдений  с 

размерами сети (простейшее из них гласит, что число наблюдений должно быть в десять раз больше 

числа связей в сети). На самом деле это число зависит также от (заранее неизвестной) сложности того 

отображения,  которое  нейронная  сеть  стремится  воспроизвести.  С  ростом  количества  переменных 

количество  требуемых  наблюдений  растет  нелинейно,  так  что  уже  при  довольно  небольшом 

(например,  пятьдесят)  числе  переменных  может  потребоваться  огромное  число  наблюдений.  Эта 

трудность известна как "проклятие размерности", и мы обсудим ее дальше в этой главе. 

Для большинства реальных задач бывает достаточно нескольких сотен или тысяч наблюдений. 

Для особо сложных задач может потребоваться еще большее количество, однако очень редко может 

встретиться  (даже  тривиальная)  задача,  где  хватило  бы  менее  сотни  наблюдений.  Если  данных 

меньше, чем здесь сказано, то на самом деле у Вас недостаточно информации для обучения сети, и 

лучшее, что Вы можете сделать - это попробовать подогнать к данным некоторую линейную модель. 

В пакете ST Neural Networks реализованы средства для подгонки линейных моделей (см. раздел про 

линейные сети, а также материал по модулю Множественная регрессия системы STATISTICA). 

Во  многих  реальных  задачах  приходится  иметь  дело  с  не  вполне  достоверными  данными. 

Значения некоторых переменных могут быть искажены шумом или частично отсутствовать. Пакет ST 

Neural Networks имеет специальные средства работы с пропущенными значениями (они могут быть 

заменены на среднее значение этой переменной или на другие ее статистики), так что если у Вас не 

так много данных, Вы можете включить в рассмотрение случаи с пропущенными значениями (хотя, 

конечно, лучше этого избегать). Кроме того, нейронные сети в целом устойчивы к шумам. Однако у 

этой устойчивости есть предел. Например, выбросы, т.е. значения, лежащие очень далеко от области 

нормальных  значений  некоторой  переменной,  могут  исказить  результат  обучения.  В  таких  случаях 

лучше  всего  постараться  обнаружить  и  удалить  эти  выбросы  (либо  удалив  соответствующие 

наблюдения, либо преобразовав выбросы в пропущенные значения). Если выбросы выявить трудно, 

то можно воспользоваться имеющимися в пакете ST Neural Networks возможностями сделать процесс 

обучения  устойчивым  к  выбросам  (с  помощью функции  ошибок  типа  "городских  кварталов";  см. 

Bishop, 1995), однако  такое  устойчивое  к  выбросам  обучение,  как  правило,  менее  эффективно,  чем 

стандартное. 

450 

 

ЛИТЕРАТУРА 

1. http://neuropro.ru/neu1.shtml 

2. http://www.statsoft.ru/home/textbook/modules/stneunet.html 

3. Панфилов П. "Введение в нейронные сети" 2001 г., № 2 

4. Вороненко Д.И., Нейросети – за и против, Харьков 2004. 

5. Тархов Д.А. Нейронные сети. Модели и алгоритмы. (Справочник.) М., Радиотехника, 2005. 

 

REFERENCES 

1. http://neuropro.ru/neu1.shtml 

2. http://www.statsoft.ru/home/textbook/modules/stneunet.html 

3. Panfilov P. "Vvedenie v neyronnye seti" 2001 g., № 2 

4. Voronenko D.I., Neyroseti – za i protiv, Khar'kov 2004. 

5. Tarkhov D.A. Neyronnye seti. Modeli i algoritmy. (Spravochnik.) M., Radiotekhnika, 2005. 

 

Хаджабергенова Н.А., Иржанова А.А., Қалижанова Ə.У 

Нейрондық желілерге кiрiспе 

Түйіндеме.  Бұл  мақалада  нейрондық  желілердің    шығу  тарихы  мен  дамуын  қысқаша  сипаттамасы 

берiлген, сонымен бірге заманауи тұрғысынан нейрондық желілерге кіріспе жазылған. Жұмыста биологиялық 

нейронның  негізгі  қағидалары  жəне оның    жасанды  есептеу  моделі,  жасанды  нейрондық  желінің  оқу  үдерісі 

қарастырылған.  Түрлі  есептерді  шешуде  жасанды  нейрондық  желілер  технологияларын  кеңінен  қолдану 

мысалдары келтірілген. 

Түйін сөздер. нейрондық желілер, нейрондық желінi оқыту,  нейрондық желінiң моделі. 

 

Khadzhabergenova N.A., Irzhanova A.A., Kalizhanova A.U. 

Introduction to neural networks 

Summary. This article gives a brief description of the history and development of neural networks, the 

introduction of the modern perspective of neural networks. This paper describes the basic principles of biological 

neuron and artificial computational model, the learning process of artificial neural network. The examples of the wide 

application of technology of artificial neural networks in solving various problems. 

Key words. neural networks, learning neural network, neural network model. 

 

 

УДК 517.958. 

 

Хайруллин Е.М., Халбаева Ж.А. магистрант 

Казахский национальный технический университет имени К.И.Сатпаева, 

г.Алматы, Республика  Казахстан  

khairullin_42_42@mail.ru, jan101093@mail.ru  

 

РЕШЕНИЕ ТРЕТЬЕЙ КРАЕВОЙ ЗАДАЧИ  

ДЛЯ УРАВНЕНИЯ ТЕПЛОПРОВОДНОСТИ С ПОДВИЖНЫМИ ГРАНИЦАМИ 

 

Аннотация.  Работа  посвящена  решению  третьей  краевой  задачи  для  уравнения  теплопроводности  с 

подвижными  границами.  Решение  ищется  в  виде  многочлена  относительно 

t

  и  функции  ошибок  с 

неизвестными  коэффициентами.  Доказано,  что  решение  удовлетворяет  уравнению  теплопроводности,  если 

имеет  место  дифференциальное  уравнение  второго  порядка    и  рекуррентная  формула  относительно  функции 

Хартри.  Найдены  предельные  соотношения  от  искомой  функции  и  ее  производной  на  границе  области. 

Подставляя  предельные  соотношения  в  граничные  условия  и  сравнивая  коэффициенты  при  одинаковых 

степенях 

t

 в левой и в правой частях уравнения получены системы алгебрических уравнений относительно 

неизвестных  коэффициентов.  Если  основной  определитель  системы  отличен  от  нуля,  то    неизвестные 

кэффициенты  находятся  в  явном  виде.  Аналитическое  решение  краевой  задачи  для  уравнения 

теплопроводности найдено в замкнутом виде.  

Ключевые  слова.  Уравнение  теплопроводности  с  подвижными  границами,  третья  краевая  задача, 

интегральная функция ошибок, аналитическое решение 

    

1.

 

Постановка задачи.

 Требуется найти решение уравнения теплопроводности 

 

451 

,

0

,

,

,

2

2

2



















t

t

x

t

x

u

a

t

u









 

                              (1) 

 

удовлетворяющее начальному условию  

 

 

,

0

0

,



x

u

 

        

   

 

              (2) 

и граничным условиям 

 

 

,

t

x

u

u

t

x































 

 

 

 

  (3) 

 

 

,

t

x

u

u

t

x































 

 

 

 

  (4) 

 

,

0

0

,

0



u

 

 

 

 

 

 

                   

 

где 















,

,

,

,

,

заданные  параметры, 

   

t

t





,

 - аналитические  функции,  которые  могут 

быть представлены в виде 

            

             

 

 

.

,

0

2

0

2













k

n

n

n

k

n

n

n

t

t

t

t









 

 

                          (5) 

 

В  работе [1] рассмотрена  некоторая  краевая  задача  с  подвижными  границами,  а  в    [2]  дано 

приближенное решение одной краевой задачи методом интегральной функции ошибок. 

 

жүктеу/скачать 19,96 Mb.

Достарыңызбен бөлісу: