Градиентные методы
Градиентным методом называется метод, по которому на каждом шаге очередная точка определяется по формуле
(1)
т.е. направление спуска на каждой итерации - это антиградиент, вычисленный в текущей точке хк.
Рис. 4. Линии уровня и антиградиент
На рис. 4 текущему вектору хк соответствует точка А. Примем за единицу значение целевой функции в этой точке и рассмотрим линию уровня со значением 1-ε, где ε достаточно малая величина. При достаточно малом е эти линии уровня будем считать параллельными. Переход на линию уровня с меньшим значением при изменении только x1 дает точку С, а при изменении только х2 точку В. Обозначим расстояние АС через Δ1 ,а АВ через Δ2. Тогда для частных производных имеем приближенные равенства: дF/дх1 = - ε /Δ1 и дF/дх2 = -ε/ Δ2.
Градиентный метод, в котором на каждой итерации используется шаг до точки минимума в направлении антиградиента, называется методом наискорейшего спуска.
Название наискорейший спуск не должно вводить в заблуждение, так как оно вовсе не означает, что метод позволяет найти минимум за наименьшее число шагов по сравнению с другими методами.
Траектория спуска в этом методе носит зигзагообразный характер и градиенты в любых двух последовательных точках ортогональны (рис. 6).
Рис. 6. Зигзагообразная траектория наискорейшего спуска
Достарыңызбен бөлісу: |