Содержание работы:

        Для обучения нейронных сетей использовалась одна из разновидностей алгоритма обратного распространения ошибки - метод Левенберга - Маркварта. Этот метод относится к методам  Ньютона, которые являются примером способа быстрой оптимизации обучения. Основным выражением  методов Ньютона является выражение для шага:

где  - матрица Хессайна (содержит вторые производные градиента) на шаге при текущем значении весов и смещений. Суть этих методов заключается в том, что на каждом шаге приращения вычисляется аппроксимирующая матрица Хессайна, и само приращение вычисляется как функция градиента. Этот метод более быстрый, чем метод градиентного спуска. Однако для случая нейронных сетей прямого распространения он требует больших вычислений.

          Избежать этого позволяет применение метода Левенберга-Маркварда. Он основан на том, что если представленная функция имеет форму суммы квадратов (как это обычно бывает при обучении нейросетей прямого распространения), то матрицу Хессайна можно аппроксимировать как

где градиент может быть вычислен как

где

J - Якобиан, который содержит первые производные невязок нейросети от весов и смещений,

e - вектор невязок нейросети.

          Якобиан может быть вычислен с помощью стандартной техники для метода обратного распространения ошибки, что значительно упрощает вычисления.

          Метод Левенберга - Маркварта использует аппроксимацию матрицы Хессайна подобно приращению в методе Ньютона:

Когда скаляр m равен нулю, эта формула вырождается в формулу приращения для метода Ньютона, использующего аппроксимированную матрицу Хессайна. Когда  m отлична от нуля, градиент начинает снижаться с малым шагом. Метод Левенберга - Маркварда быстрее и точнее в районе минимума ошибки, он также стремится увеличить скорость обучения настолько, насколько это возможно. Таким образом, m уменьшается после каждого удовлетворительного шага (уменьшение в представленной функции) и увеличивается только тогда, когда на предварительном шаге увеличивается минимизируемая функция. Таким образом, минимизируемая функция всегда будет уменьшаться с каждым шагом алгоритма.

Для повышения точности и скорости обучения решение уравнений инерциальной навигации по j и l  происходит не в радианах, а в угловых минутах. Это позволяет при обучении нейросети №2 добиться увеличения веса средне квадратичной ошибки по j и l по сравнению со средне квадратичной ошибкой по скоростям, что приводит к повышению точности обучения системы по координатам.

Во время обучения нейросетей на вход подается совокупность вектор - столбцов, каждый из которых содержит одну из возможных комбинаций навигационных параметров. При этом интервал изменения каждого параметра разбивается на  более мелкие интервалы. Тогда длина обучающего вектора для нейросети №2 будет равна m⁶ , где m - число интервалов каждого параметра, 6 - число параметров (v_xk-1, v_yk-1, j_k-1, l_k-1, n_xгеогр, n_yгеогр). В этом случае показания акселерометров содержат инструментальные погрешности. Для нейросети №1 длина обучающего вектора будет равна m³ , где m - число интервалов каждого параметра, 3 - число параметров (w_xk-1, w_yk-1, w_zk-1).

На выход нейросети №2 предъявляется последовательность, полученная решением дифференциальных уравнений навигации на шаге интегрирования при идеальных значениях показаний акселерометров.

На вход нейросети №1 предъявляется последовательность, полученная решением уравнений ориентации (дифференцированием или аппроксимацией параболой) на шаге интегрирования при идеальных значениях показаний гироскопов.

Таким образом, при работе нейросетей на их входы будут подаваться измерения с погрешностями, а на выходе будем получать идеальные значения параметров.

Back to Top

Last updated: ноября 16, 2000.