Получение примеров для обучающей и тестовой выборки является серьезной проблемой построения нейросетевых моделей. В большинстве случаев моделируемый объект неизвестен и требуется выполнение экспериментов для нахождения таких примеров.
Если есть возможность экспериментатору задавать значения входных переменных объекта, то возникает задача выбора этих значений, то есть точек, в которых измеряется выходная переменная. При этом обучающая выборка должна быть представительной, охватывать различные сочетания значений входных переменных, а сами значения должны равномерно распределяться в своих диапазонах. Обучающие примеры должны правильно характеризовать функцию
Необходимо заметить, что вся информация об объекте, который моделируется нейронной сетью, содержится в наборе примеров. Поэтому качество построенной нейросетевой модели непосредственно зависит от того, насколько полно эти примеры описывают объект.
На сегодняшний день не существует строгих рекомендаций по поводу размерности обучающей выборки. Приводятся примерные на оценки количества обучающих пар L обучающей выборки, например [3],
Размерность обучающей выборки определяется различными факторами и не должна быть избыточной. И главным ограничением здесь может являться сложность и высокая стоимость самих экспериментов. Недопустимо становится выполнение опытов в произвольно выбранных точках и в произвольном порядке. Ценность измерений может оказаться невысокой при значительных затратах на их проведение.
Поэтому предлагается использовать принципы теории планирования эксперимента для получения эффективных пар вход-выход как для обучающей, так и для тестовой выборки. Прежде всего, это следующие принципы [2]:
- Принцип последовательного эксперимента – размеры обучающей и тестовой выборок постепенно увеличиваются до тех пор, пока не будет достигнуто обучение заданного качества. Это позволит в случае неудачного обучения доработать обучающую выборку, а не создавать ее заново.
- Нормализация факторов, то есть преобразование натуральных значений факторов в безразмерные. Разные факторы имеют различную размерность и диапазоны изменения значений. Числовые значения этих факторов могут существенно различаться. Факторы с большими числовыми значениями могут в большей мере влиять на выходы и «забивать» остальные [3]. Это особенно заметно, когда нейроны сети имеют одинаковые функции активации. Использование безразмерных значений факторов при обучении уменьшает возможность появления «паралича» сети и приводит к более высокой скорости обучения.
- Точки проведения опытов определяются в соответствии с полными и дробными факторными экспериментами ПФЭ
и ДФЭ . Это позволяет избежать необходимости проведения избыточного количества опытов при большом числе факторов (7 и более) и гарантирует, что не будет пропущено ни одного возможного сочетания факторов и не будет повторения одинаковых опытов. А в случае недостаточности примеров полного факторного эксперимента можно переходить на тот же план, но с другими диапазонами варьирования факторов.
Для нейронной сети выбранной структуры и размерности сначала необходимо примерно оценить размер обучающей выборки (и, следовательно, количество необходимых опытов). Это позволит определить коэффициент дробности k плана ДФЭ
Для ДФЭ
Полученные примеры используются для обучения нейронной сети. По результатам обучения определяются дальнейшие действия.
- Заданная величина ошибки не достигается и сеть обучить не удается.
В этом случае план ДФЭ
- Обучение завершается успешно.
В случае успешного обучения необходима проверка, то есть тестирование сети, для чего создается тестовая выборка. Примеры тестовой выборки получаются также достраиванием плана ДФЭ
Общий алгоритм последовательного формирования обучающей и тестовой выборок при обучении нейронной сети представлен на рисунке 1.
Рисунок 1. Алгоритм последовательного формирования обучающей и тестовой выборок при обучении нейронной сети
Каждый раз после неудачного обучения или тестирования сети принимается решение о целесообразности продолжения обучения. В случае продолжения обучения осуществляется переход к плану с дробностью на единицу меньшей.
Такое постепенное уменьшение дробности плана приведет рано или поздно к тому, что коэффициент k станет равным нулю, а сам план – планом полного факторного эксперимента
В этом случае предлагается простое решение.
Факторный план
Рисунок 2. Возможные уровни варьирования для двух факторов
Такой подход позволяет экономно проводить эксперимент, в отличии, например, от перехода к планам
Экспериментальная проверка показала, что регрессионная модель в виде полинома первого порядка, построенная по результатам ДФЭ с пренебрежением некоторыми взаимодействиями факторов, и даже модель, построенная по результатам ПФЭ с учетом всех возможных сочетаний факторов, в большинстве случаев обладает меньшей точностью, чем нейронная сеть, обученная на том же экспериментальном материале.
Список литературы:
- Борисов В.В., Круглов В.В. Искусственные нейронные сети. Теория и практика. — М.: Горячая линия – Телеком, 2003. — 382 с.: ил.
- Сидняев Н.И. Теория планирования эксперимента и анализ статистических данных: учебное пособие для магистров. — М.: ИД Юрайт, 2012. — 399 с.
- Хайкин, С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. — М.: Издательский дом «Вильямс», 2006. — 1104 с.: ил.[schema type=»book» name=»ФОРМИРОВАНИЕ ПРИМЕРОВ ОБУЧАЮЩЕЙ И ТЕСТОВОЙ ВЫБОРКИ НЕЙРОННОЙ СЕТИ НА ПРИНЦИПАХ ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТОВ» description=»Получение примеров обучающей и тестовой выборки для нейронной сети во многих случаях связано с необходимостью выполнения сложных и дорогостоящих экспериментов. В статье предлагается совместить процесс нахождения обучающих и тестовых примеров на принципах планирования эксперимента (и проведение соответствующих измерений) с процессом обучения нейронной сети, что позволит получить размерность выборки, достаточную для качественного обучения и снизить затраты на эксперимент. » author=»Никишечкин Анатолий Петрович, Абдерразек Абдесселлем» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2016-12-21″ edition=»euroasian-science.ru_25-26.03.2016_3(24)» ebook=»yes» ]