Практическое применение нейросетевой технологии

метки: Технология, Нейросетевой, Нейрон, Данные, Нейронный, Затем, Преобразование, Выход

Одновременно с развитием теоретических подходов для создания адекватных моделей поведения рынка, в западных странах и США происходило активное внедрение новых интеллектуальных компьютерных технологий в практику принятия финансовых и инвестиционных решений: вначале в виде экспертных систем и баз знаний, а затем с конца 80-х — нейросетевых технологий.

Начало исследования методов обработки информации, называемых сегодня нейросетевыми, было положено несколько десятилетий назад. С течением времени интерес к нейросетевым технологиям то ослабевал, то вновь возрождался. Такое непостоянство напрямую связано с практическими результатами проводимых исследований.

На российском финансовом рынке нейросетевые компьютерные технологии появились всего несколько лет назад. Изучение литературы за этот период показало, что ни в одном из источников не содержится подробного описания (с указанием достигнутых результатов) эффективного применения нейросетевых компьютерных технологий для прогнозирования динамики фондового рынка в среднесрочной перспективе. Большинство публикаций (подавляющее большинство из них — в периодической печати) сводится к описанию возможностей нейронных сетей и их потенциальных преимуществ перед другими компьютерными технологиями. Причем большая часть выводов в этих работах сделана на основе результатов применения нейросетей на западных рынках.

Основной вклад в развитие теории нейрокомпьютинга и его применения в финансовой сфере внесли ученые стран Запада и США. Это прежде всего: В.-М. ван ден Берг, Д.-Э. Бэстенс, П. Вербос, Л. Вилентурф, Д. Вуд, В. МакКаллох, В. Пите, М. Редмиллер, Ф. Розенблат, Дж. Хопфилд и др. Необходимо отметить также работы отечественных ученых, занимающихся разработкой и внедрением нейросетевых технологий в области экономики, таких как: А. Ежов, Б. Одинцов, А. Романов, С. Шумский и др.

На сегодняшний день возможности нейросетевых технологий используются во многих отраслях науки, начиная от медицины и астрономии, заканчивая информатикой и экономикой. Между тем далеко не все потенциальные возможности нейросетевых методов изучены, но одними из их свойств являются возможности распознавания и классификации образов, работы с большими массивами зашумленных данных, аппроксимация и выявление неочевидных зависимостей в данных финансовых временных рядов. На основе этих свойств нейросетевых архитектур можно сделать вывод о значительном преимуществе их использования для анализа и прогнозирования динамик финансовых рядов, в частности фондового рынка.

Мировые рынки капитала

... Это движение финансовых активов принимает форму международного движения капитала. Подавляющая часть международного движения капитала проходит через мировой рынок (мировые рынки) капитала. Через этот же рынок проходит огромная часть международных расчетов, возникающих ...

Глава 1. Понятие нейросетевых технологий.

1.1 Нейросетевые технологии (НСТ)

Нейрон – элемент, имеющий множество входов, на которые поступают сигналы х1, х2, …, хn, суммирующий блок (cумматор), блок преобразования сигнала f (формирователь функции, он же функтор) и один выход y

Искусств. нейрон	Биолог. нейрон
Преобразование и передача сигнала	аксоны и синапсы
Веса связей	синапсы
Пороговая функция	сома

На нейронный элемент поступают входные сигналы q1, q2, … qi.

Взвешенные веса сигналов ci qi поступают на сумматор, на его выходе появляется уровень возбуждения S:

Уровень возбуждения S проходит через формирователь функции f , получается выходной сигнал y:

Функции преобразования f (S) бывают разные:

1. пороговая (ступенчатая) —

2. сигмоидная —

(е = 2,72 — число Эйлера)

Нейронные сети (НС) – параллельные вычислительные структуры, моделирующие биологические процессы обучения:

1. программно-аппаратные устройства;
2. в них используются алгоритмы живой нервной клетки;
3. их применяют для решения неформализуемых задач;
4. алгоритм предусматривает самообучение при работе;
5. Neural network technology (англ);

Нейрокомпьютер, используюший ИНС, способен оценивать состояние объекта наблюдения, а также, на основе опыта обучения в реальных ситуациях, принимать решения об управляющих воздействиях на систему.

Рисунок 2 — Нейросетевое ситуационное управление

Сигнал состояния наблюдаемого объекта (ситуация) поступает на вход ИНС, которая принимает решение о вмешательстве в процесс. ИНС в данном случае распознает образы.

1.Если распознанный образ (набор свойств и признаков) явл-ся разрешенным состоянием системы, БПН передает текущую ситуацию на дальнейшую обработку.

2. Если не явл-ся разрешенным состоянием, то описание текущей ситуации поступает на вход 2-ой ИНС, которая на основе заложенной в нее информации относит ситуацию к одному или нескольким классам. Эти классы в базе знаний соответствуют некоторым элементарным решениям (управляющим воздействиям).

3. Если ситуация все-таки не распознана и не классифицируется по имеющимся в памяти признакам то система формирует управляющее воздействие на основании опыта (знаний), а затем анализирует результат. Это ситуационное управление. Система обучается во время функционирования.

Преимущество: сталкиваясь в процессе работы с незнакомой ситуацией ИНС способна сопоставить ее с уже имеющимся образами, а затем отнести ее к определенному классу событий (сделать вывод) и сформировать адекватное управление МС.

Структура нейронных сетей

В наши дни возрастает необходимость в системах, которые способны не только выполнять однажды запрограммированную последовательность действий над заранее определенными данными, но и способны сами анализировать вновь поступающую информацию, находить в ней закономерности, производить прогнозирование и т.д. В этой области приложений самым лучшим образом зарекомендовали себя так называемые нейронные сети – самообучающиеся системы, имитирующие деятельность человеческого мозга. Рассмотрим подробнее структуру искусственных нейронных сетей (НС) и их применение в конкретных задачах.

Искусственный нейрон.

Несмотря на большое разнообразие вариантов нейронных сетей все они имеют общие черты. Так все они, также как и мозг человека, состоят из большого числа однотипных элементов – нейронов, которые имитируют нейроны головного мозга, связанных между собой. На рис.1 показана схема нейрона

Из рисунка видно, что искусственный нейрон, так же как и живой, состоит из синапсов, связывающих входы нейрона с ядром, ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет насколько соответствующий вход нейрона влияет на его состояние. Состояние нейрона определяется по формуле

(1)

где

n — число входов нейрона

xi – значение i-го входа нейрона

wi – вес i-го синапса

Затем определяется значение аксона нейрона по формуле

Y = f(S) (2)

Где f — некоторая функция ,которая называется активационной. Наиболее часто в качестве активационной функции используется так называемый сигмоид, который имеет

(3)

Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

(4)

сигмоид все больше приближается к функции единичного скачка.a=0. При увеличении aсигмоид становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при aПри уменьшении параметра

Нейронные сети обратного распространения.

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении, противоположном направлению распространения сигнала при нормальном функционировании сети.

Нейронная сеть обратного распространения состоит из нескольких слоев нейронов, причем каждый нейрон слоя i связан с каждым нейроном слоя i+1, т.е. речь идет о полносвязной НС.

В общем случае задача обучения НС сводится к нахождению некой функциональной зависимости Y=F(X) где X-вектор входной, а Y -выходной векторы. В общем случае такая задача, при ограниченном наборе входных данных имеет бесконечное множество решений. Для ограничения пространства поиска при обучении ставится задача минимизации целевой функции ошибки НС, которая находится по методу наименьших квадратов:

(5)

где

yj – значение j-го выхода нейросети

dj- целевое значение j-го выхода

p – число нейронов в выходном слое

Обучение нейросети производится методом градиентного спуска, т.е. на каждой итерации изменение веса производится по формуле

(6)

• параметр определяющий скорость обученияhгде

(7)

где

yj- значение выхода j-го нейрона

Sj – взвешенная сумма входных сигналов, определяемая по формуле (1).

При этом множитель

(8)

где xi – значение i-го входа нейрона

Далее рассмотрим определение первого множителя формулы (7)

(9)

где k – число нейронов в слое n+1.

Введем вспомогательную переменную

(10)

Тогда мы сможем определит рекурсивную формулу для определения n-ного слоя если нам известно

(11)

Нахождение же для последнего слоя НС не представляет трудности, так как нам известен целевой вектор, т.е. вектор тех значений, которые должна выдавать НС при данном наборе входных значений.

(12)

И наконец запишем формулу (6) в раскрытом виде

(13)

Рассмотрим теперь полный алгоритм обучения нейросети

подать на вход НС один из требуемых образов и определить значения выходов нейронов нейросети

рассчитать для выходного слоя НС по формуле (12) и рассчитать изменения весов выходного слоя N по формуле (13)

Рассчитать по формулам (11) и (13) соответственно и для остальных слоев НС, n=N-1..1

Скорректировать все веса НС (14)

Если ошибка существенна, то перейти на шаг 1

На этапе 2 сети поочередно в случайном порядке предъявляются вектора из обучающей последовательности.

Повышение эффективности обучения НС обратного распространения

Простейший метод градиентного спуска, рассмотренный выше, очень неэффективен в случае, когда производные по различным весам сильно отличаются. Это соответствует ситуации, когда значение функции S для некоторых нейронов близка по модулю к 1 или когда модуль некоторых весов много больше 1. В этом случае для плавного уменьшения ошибки надо выбирать очень маленькую скорость обучения, но при этом обучение может занять непозволительно много времени.

,когда влияние градиента на изменение весов изменяется со временем. Тогда формула (13) примет видmПростейшим методом усовершенствования градиентного спуска является введение момента

(13.1)

Дополнительным преимуществом от введения момента является способность алгоритма преодолевать мелкие локальные минимумы.

Представление входных данных

Основное отличие НС в том, что в них все входные и выходные параметры представлены в виде чисел с плавающей точкой обычно в диапазоне [0..1]. В тоже время данные предметной области часто имеют другое кодирование. Так это могут быть числа в произвольном диапазоне, даты, символьные строки. Таким образом данные о проблеме могут быть как количественными так и качественными. Рассмотрим сначала преобразование качественных данных в числовые, а затем рассмотрим способ преобразования входных данных в требуемый диапазон.

Качественные данные мы можем разделить на две группы: упорядоченные (ординальные) и неупорядоченные. Для рассмотрения способов кодирования этих данных мы рассмотрим задачу о прогнозировании успешности лечения какого-либо заболевания. Примером упорядоченных данных могут например являться данные, например, о дополнительных факторах риска при данном заболевании.