В рамках решения задачи определения параметров сети ДПО [1] решается задача аппроксимации характеристической функции некоторым полиномом.
Решение задачи нахождения значений характеристик всех сущностей в функциональной модели предметной области, используя метод градиентного спуска [1], при определенных наборах узлов ΩK приводит к достаточно большой погрешности в узлах множеств ΩO и ΩR, либо к невозможности решения такой задачи за конечное число шагов с заданной точностью (правила, задающие эти множества описаны в [1]).
Предложено построение универсальных моделей детерминированной предметной области (ДПО) [1], не зависящих от набора узлов ΩK, в виде сетевой математической модели ДПО. Каждый узел модели организован как нейронная сеть (рисунок 1), где на вход подается некоторое значение x, на выходе сеть дает значение Y, аппроксимируя характеристическую функцию (1)
(1)
Для аппроксимации полинома аппаратом нейронных сетей предлагается использовать алгоритм обучения с обратным распространением ошибки [2], используя произвольные начальные значения весовых коэффициентов. В качестве ошибки используется среднеквадратичное отклонение для пар (x, Y) обучающей выборки.
Рисунок 1. Структура нейронной сети с 2-мя скрытыми слоями.
Опытным путем было показано, что такая инициализация весовых коэффициентов влечет за собой существенно разные результаты обучения сети. Действительно, так как каждое слагаемое полинома (1) линейно, изменение любого из них может привести к изменению ошибки, в частности к ее уменьшению. Данный факт может привести к постоянному изменению весовых коэффициентов одного из узлов сети в ущерб других.
Для устранения эффекта, описанного выше, предлагается каждый узел сети, представляющий одночлен полинома aixi, представлять двумя узлами ai¢ xi и ai¢¢ xi, причем ai¢>0, а ai¢¢<0. Такое представление узлов позволит организовать «конкуренцию» между парами узлов сети и изменять тот из них, для которого ошибка оказывается более существенной.
Для минимизации «лавинного» эффекта увеличения весовых коэффициентов, в рамках данной работы предлагается заменить положительные значения ai на функцию ai /(1+e—ai) (рисунок 2), а отрицательные – на ai /(1+eai) (рисунок 3) .
Рисунок 2. График функции для положительных коэффициентов.
Данное преобразование позволит определить гладкую функцию при корректировке коэффициентов.
Рисунок 3. График функции для отрицательных коэффициентов.
Серия экспериментов позволила выявить оптимальную на данном этапе структуру сети. Сеть имеет входной слой, 2 скрытых слоя и выходной слой. Элементы 1-го скрытого слоя определяют элементы и обозначены как Hi(1) (i=1…n), 2-го слоя – как Hj(2) (j=1…m), весовые коэффициенты связей между ними определены как и
0.
На вход нейронов второго скрытого слоя подается значение (2)
Для уменьшения количества нейронов в скрытом слое, воспользуемся свойством суперпозиции двух полиномов. При 2-х скрытых слоях, содержащих n и m нейронов соответственно, можно аппроксимировать полином степени n * m.
При аппроксимации одноместных функций вида
(3)
аппаратом нейронных сетей согласно предложенной модели удалось достичь приемлемой точности.
В процессе обучения нейронной сети с коэффициентом обучения для изменения весовых коэффициентов используются следующие соотношения:
Последовательно применяя формулы (4) — (8) для изменения весовых коэфициентов связей между нейронами, необходимо добиться уменьшения ошибки.
Результатом работы сети является полином вида
аппроксимирующий характеристичекую функцию.
После определения аппроксимирующего полинома коэффициенты aj(2), bj(2), aij(2), bij(2) фиксируются как параметры узла, и используются при работе сети.
Предложенная в данной работе модель нейронной сети позволяет искать аппроксимирующий полином произвольной степени при небольшом размере сети. Степень искомого полинома не превышает , где t – количество скрытых слоев сети, а nt – количество нейронов каждого скрытого слоя. Степень аппроксимирующего полинома и его свойства, прежде всего, зависят от топологии сети. Максимальная степень достигается в полносвязанных сетях. Например, для поиска полинома 25 степени достаточно иметь два слоя с пятью нейронами в каждом.
Анализ предложенной модели обучения функциональной сети выявил целесообразность обучения нейронных сетей с использованием методов генетических алгоритмов обучения[3]. На каждой итерации обучения система должна принимать решение какие значения параметров изменять. Для обеспечения данного свойства, необходимо ввести функции γ(), характеризующие возможность изменения αj(2), βj(2), αij(2), βij(2). Совокупность всех изменений параметров весовых на одной итерации назовем мгновенным описанием обучения. Мгновенные описания представляют собой нечеткие множества [4], и представляется интересным изучить влияние свойств этих множеств на скорость сходимости обучения. Анализ влияния свойств мгновенных описаний обучения (МОО) на характеристики обучения и его результатов выходит за рамки данной работы.
Каждая итерация обучения заключается в изменения весов согласно (4), (5), (6), (7), (8) и анализа изменения ошибки. Если ошибка не уменьшилась, то уменьшается коэффициент обучения µ. Процесс повторяется до тех пор, пока не будет достигнута заданная точность. Использование МОО позволит сделать попытку оптимизировать процесс обучения, за счет увеличения количества итераций до изменения µ. Если при очередной итерации ошибка не уменьшилась, то предлагается сделать попытку повторить процесс, но с другим МОО. Если после выполнения очередной итерации с каким-то набором изменяемых параметров привел к уменьшению ошибки, то данные изменения применяются и обучение продолжается без изменения коэффициента обучения µ. После очередной итерации ошибка на выходе сети не уменьшилась, система принимает решение сделать еще одну попытку с новым МОО или уменьшить µ. Таким образом, использование мгновенных описаний обучения позволяет говорить о том, что в процессе обучения система пытается «угадать» какие коэффициенты искомого полинома аппроксимации изменять, что является естественным для многопараметрической задачи в условиях неопределенности.
Список литературы:
- Уварова А.В., Подколзин В.В. Аппроксимация параметров сети на основе неполной информации о предметной области: Математические методы и информационно-технические средства: материалы XI Всероссийской научно-практической конференции, г. Краснодар Краснодарский университет МВД России, 2015. – с. 303-308.
- Хайкин С. Нейронные сети. Полный курс. М.: Вильямс, 2006. – 1104 с.
- Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия – Телеком, 2013. – 384 с.
- Яхъева Г. Нечеткие множества и нейронные сети. М.: Бином, 2008. – 320 с.[schema type=»book» name=»ПОЛИНОМИАЛЬНАЯ АППРОКСИМАЦИЯ ФУНКЦИИ ХАРАКТЕРИСТИКИ ДПО» description=»Определение аппроксимирующего полинома характеристической функции. Построение модели нейронной сети для аппроксимации одноместных функций. Применение нейронной сети к задаче определения значений характеристик ДПО.» author=»Подколзин Вадим Владиславович, Уварова Анастасия Викторовна» publisher=»Басаранович Екатерина» pubdate=»2016-12-07″ edition=»euroasia-science_30_22.09.2016″ ebook=»yes» ]