Оглавление Предисловие 1
Основные обозначения и терминологические замечания 7
Введение. Постановка задачи оптимизации 9
Глава 1. Математические основы. Элементы функционального анализа 13
1.1. Множества 13
1.1.1. Операции над множествами и их свойства 14
1.1.2. Функции и отображения 15
1.1.3. Виды отображений 16
1.1.4. Семейства элементов 16
1.1.5. Счетные множества 17
1.2. Метрические пространства 18
1.2.1. Изометрия 19
1.2.2. Шары, сферы, диаметр, окрестности 20
1.2.3. Сепарабельные пространства, подпространства, непрерывные отображения 21
1.2.4. Гомеоморфизмы, пределы, полные пространства 22
1.2.5. Последовательности Коши, полные пространства 23
1.2.6. Принцип сжимающих отображений 24
1.2.7. Компактные пространства 26
1.3. Линейные пространства 27
1.3.1. Линейные функционалы 30
1.3.2. Выпуклые множества 30
1.3.3. Выпуклые функционалы 32
1.3.4. Отделимость выпуклых множеств в линейном пространстве 33
1.4. Нормированные пространства 34
1.4.1. Банаховы пространства 34
1.4.2. Евклидовы пространства 35
1.4.3. Ряд Фурье. Коэффициенты Фурье 40
1.4.4. Гильбертовы пространства 42
1.4.5. Ортогональное дополнение 44
1.5. Линейные операторы в нормированном пространстве 44
1.5.1. Непрерывность и ограниченность 45
1.5.2. Пространство ограниченных линейных операторов 47
1.5.3. Сопряженное пространство 47
1.5.4. Второе сопряженное пространство. Рефлексивность 49
1.5.5. Произведение операторов 50
1.5.6. Обратный оператор 51
1.5.7. Сопряженные операторы 52
1.5.8. Сопряженные операторы в гильбертовом пространстве. Самосопряженные операторы 53
1.5.9. Спектр оператора 54
1.6. Дифференциальное исчисление. Производная непрерывного отображения 55
1.6.1. Формальные правила дифференцирования 58
1.6.2. Частные производные 60
1.6.3. Производные функций одной переменной 61
1.6.4. Матрица Якоби 62
1.6.5. Производные высшего порядка 63
1.6.6. Формула Тейлора 65
1.7. Необходимые условия экстремума 65
1.7.1. Производная и градиент функционала 65
1.7.2. Теоремы о существовании и единственности минимума функционала 66
1.7.3. Уравнение Эйлера 68
1.8. Достаточные условия экстремума 71
1.8.1. Однородные полиномы 71
1.9. Минимизирующие последовательности 74
1.10. Дифференциалы Гато. Метод наискорейшего спуска 76
1.10.1. Дифференциалы Гато 76
1.10.2. Метод наискорейшего спуска 78
1.11. Метод Ритца 83
1.11.1. Решение уравнений методом Ритца 86
1.12. Метод Ньютона. Общая схема методов поиска минимума 89
1.12.1. Метод Ньютона 89
1.12.2. Общая схема методов минимизации 91
Глава 2. Задачи конечномерной оптимизации в теории управления 93
2.1. Основные понятия теории управления 93
2.2. Система управления сложным объектом 101
2.2.1. Идентификация объектов управления 103
2.2.2. Оценивание состояний объектов управления 106
2.2.3. Алгоритмы оптимизации объектов управления 107
2.3. Примеры задач конечномерной оптимизации в теории управления 108
2.3.1. Идентификация нелинейных детерминированных объектов 111
Определение оптимальных параметров модели, имеющей заданную структуру 111
Идентификация с использованием моделей Вольтерра 112
2.3.2. Идентификация стохастических объектов 114
Методы, основанные на процедурах сглаживания 114
Корреляционные методы идентификации 116
2.3.3. Идентификация нестационарных объектов 118
2.3.4. Экстремальное регулирование 119
2.3.5. Синтез адаптивных систем автоматического управления 121
Использование метрики в пространстве состояний 121
Использование метрики в пространстве параметров 122
2.3.6. Синтез статистически оптимальных систем автоматического управления 123
Задача определения оптимальной весовой функции линейной стационарной системы автоматического управления 123
Задача параметрической оптимизации стационарной линейной системы с заданной структурой 124
Задача синтеза оптимальной весовой функции линейной системы при нестационарных воздействиях 125
2.3.7. Оптимальное проектирование систем 126
2.4. Выводы 128
Глава 3. Математические модели теории конечномерной оптимизации 131
3.1. Задачи конечномерной оптимизации 131
3.2. Терминологические замечания. Классификация задач 133
3.2.1. Нелинейное программирование 133
3.2.2. Линейное программирование 133
3.2.3. Выпуклое программирование 134
3.3. Канонические задачи 135
3.4. Многокритериальные задачи 136
3.5. Парето-оптимальные решения 139
3.6. Методы исключения ограничений 145
3.7. Влияние неопределенных факторов на процесс оптимизации 148
3.8. Методы декомпозиции 151
3.8.1. Метод агрегирования 151
3.8.2. Метод вспомогательных частных критериев 153
3.9. Особенности оптимизационных задач 154
3.10. Некоторые стандартные схемы конечномерной оптимизации 156
3.10.1. Задачи аппроксимации 156
3.10.2. Системы неравенств 158
3.10.3. Решение систем неравенств в условиях неопределенности 161
3.10.4. Сигномиальная оптимизация 162
3.11. Основные результаты и выводы 163
Глава 4. Проблема плохой обусловленности 165
4.1. Явление жесткости (овражности) 165
4.2. Основные определения 169
4.3. Критерии жесткости 174
4.4. Источники плохо обусловленных оптимизационных задач 176
4.4.1. Естественная жесткость 176
4.4.2. Внесенная жесткость 182
Учет ограничений 182
Объединение конфликтных выходных параметров 184
4.5. Методы конечномерной оптимизации 187
4.5.1. Ньютоновские методы 187
Методы, основанные на спектральном разложении 188
Методы, основанные на модифицированной факторизации Холесского 189
4.5.2. Методы доверительной окрестности 189
4.5.3. Квазиньютоновские методы 191
4.5.4. Задачи высокой размерности 192
4.5.5. Глобальная оптимизация 194
4.5.6. Анализ сложившейся ситуации 195
4.6. Основные результаты и выводы 197
Глава 5. Покоординатные стратегии 199
5.1. Метод циклического покоординатного спуска 199
5.2. Методы обобщенного покоординатного спуска 203
5.3. Реализация методов обобщенного покоординатного спуска 211
5.3.1. Нормализация основных переменных задачи 212
Масштабирование управляемых параметров 212
Нормализация значений минимизируемого функционала 213
Специальные приемы нормализации 213
Нормализация ограничений 214
5.3.2. Методы диагонализации 214
5.3.3. Реализации на основе конечно-разностных аппроксимаций производных 216
5.3.4. Реализации на основе рекуррентных алгоритмов оценивания 220
5.4. Специальные реализации методов обобщенного покоординатного спуска 226
5.4.1. Задачи аппроксимации 226
5.4.2. Идентификация нелинейных детерминированных объектов на основе функциональных рядов Вольтерра 228
5.4.3. Корреляционные методы идентификации стохастических объектов 232
5.4.4. Синтез статистически оптимальных систем автоматического управления 233
5.4.5. Идентификация нелинейных динамических систем 233
5.4.6. Оценивание состояний динамических систем: задача о наблюдении 235
5.4.7. Идентификация возмущающих воздействий 236
5.4.8. Решение систем неравенств 237
5.4.9. Управление технологическим процессом серийного выпуска изделий 238
5.4.10. Обеспечение максимального запаса работоспособности оптимизируемой системы 240
5.4.11. Оптимизация систем по сигномиальным целевым функционалам 241
5.4.12. Оптимальное управление 242
5.5. Основные результаты и выводы 243
Глава 6. Градиентные стратегии 247
6.1. Общая схема градиентных методов. Понятие функции релаксации 247
6.2. Классические градиентные схемы 251
6.2.1. Простой градиентный спуск (ПГС) 251
6.2.2. Метод Ньютона 255
6.2.3. Метод Левенберга 255
6.3. Методы с экспоненциальной релаксацией 258
6.3.1. Реализация методов с экспоненциальной релаксацией 263
6.3.2. Области применения и анализ влияния погрешностей 267
6.4. Методы многопараметрической оптимизации 270
6.4.1. Методы с чебышевскими функциями релаксации 272
6.4.2. Характеристики сходимости и сравнение с методами сопряженных градиентов 277
6.5. Применение процедур RELEX и RELCH в прикладных задачах теории оптимизации 283
6.6. Тактика решения общей задачи конечномерной оптимизации 285
6.7. Основные результаты и выводы 286
.
Глава 7. Методы уменьшения размерности вектора аргументов минимизируемых функционалов 289
7.1. Методы теории жестких систем 289
7.1.1. Принцип квазистационарности производных для линейных систем с симметричными матрицами 290
7.1.2. Методы иерархической оптимизации: частный случай 295
7.1.3. Методы иерархической оптимизации: общий случай 298
7.1.4. Принцип повторных измерений 306
7.1.5. Алгоритмы иерархической оптимизации 315
7.2. Методы исключения переменных на основе спектрального разложения матрицы Гессе 318
7.2.1. Постановка задачи 318
7.2.2. Алгоритм исключения 322
7.2.3. Удаление переменных в задаче наименьших квадратов 327
7.3. Основные результаты и выводы 331
Глава 8. Примеры решения задач 333
8.1. Реализация оптимальной весовой функции линейной стационарной системы 334
8.2. Аппроксимация характеристик частотно-избирательных фильтров 337
8.3. Оптимизация параметров переключательных электронных схем 343
8.4. Управление химико-технологическими процессами производства высокомолекулярных соединений 346
8.4.1. Кинетическая модель процесса термоинициированной полимеризации стирола в массе 350
8.4.2. Методика воспроизведения моделей полимеризационных процессов 353
8.4.3. Параметрическая идентификация кинетических моделей полимеризационных процессов (полимеризация стирола) 356
8.5. Идентификация моделей теплообменников атомных реакторов 360
Литература 363
Предметный указатель
