Екатеринбург − 2018

Федеральное государственное автономное образовательное учреждение высшего

образования «Уральский федеральный университет имени первого Президента

России Б.Н. Ельцина»

На правах рукописи

Азарян Алексан Артурович

БЫСТРЫЕ АЛГОРИТМЫ МОДЕЛИРОВАНИЯ МНОГОМЕРНЫХ

ЛИНЕЙНЫХ РЕГРЕССИОННЫХ ЗАВИСИМОСТЕЙ НА ОСНОВЕ

МЕТОДА НАИМЕНЬШИХ МОДУЛЕЙ

05.13.18 – Математическое моделирование,

численные методы и комплексы программ

Диссертация на соискание ученой степени

кандидата физико-математических наук

Научный руководитель:

доктор технических наук, доцент

Тырсин Александр Николаевич

2

Оглавление

Введение ................................................................................................................................ 5

Глава 1. Обзор устойчивых методов моделирования линейных регрессионных

зависимостей ....................................................................................................................... 16

1.1. Проблема обеспечения устойчивости моделирования линейных зависимостей в

условиях стохастической неоднородности .................................................................. 16

1.2. Метод наименьших модулей .................................................................................. 25

1.2.1. Точные алгоритмы реализации метода наименьших модулей ..................... 26

1.2.2. Приближенные алгоритмы реализации метода наименьших модулей ........ 29

1.2.3. Анализ задачи моделирования линейных многомерных регрессионных

зависимостей на основе метода наименьших модулей ............................................ 31

1.3. Робастные методы и обобщенный метод наименьших модулей ........................ 34

1.4. Выводы по первой главе и постановка задач исследования ............................... 36

Глава 2. Метод устойчивого моделирования линейных многомерных регрессионных

зависимостей с помощью спуска по узловым прямым .................................................. 38

2.1. Спуск по узловым прямым как решение проблемы вычислительно

эффективного моделирования линейных регрессионных зависимостей на основе

метода наименьших модулей ......................................................................................... 38

2.2. Алгоритмы спуска по узловым прямым для метода наименьших модулей ...... 40

2.2.1. Описание алгоритмов спуска по узловым прямым для метода наименьших

модулей ......................................................................................................................... 42

2.2.2. Исследование вычислительных затрат алгоритмов спуска для МНМ ......... 47

2.3. Алгоритмы спуска по узловым прямым для обобщенного метода наименьших

модулей ............................................................................................................................ 61

3

2.3.1. Описание алгоритма реализации ОМНМ для линейных моделей на основе

спуска по узловым прямым ......................................................................................... 62

2.3.2. Исследование вычислительных затрат алгоритма реализации ОМНМ на

основе спуска по узловым прямым ............................................................................ 64

2.4. Оценивание нелинейных регрессионных моделей с помощью ОМНМ ............ 70

2.5. Выводы по второй главе .......................................................................................... 72

Глава 3. Программное обеспечение для вычислительно эффективного моделирования

линейных регрессионных зависимостей на основе спуска по узловым прямым ........ 74

3.1. Структура комплекса проблемно–ориентированных программ для проведения

вычислительных экспериментов для исследования эффективности алгоритмов

моделирования ................................................................................................................. 74

3.2. Сравнительный анализ алгоритмов спуска по узловым прямым с известными

точными и приближенными методами реализации метода наименьших модулей . 78

3.2.1. Сравнение с точными алгоритмами на основе полного перебора узловых

точек и сведения к задаче линейного программирования ....................................... 78

3.2.2. Сравнение с приближенными алгоритмами на основе вариационно–

взвешенных квадратических приближений и численных методов спуска нулевого

порядка .......................................................................................................................... 82

3.3. Сравнительный анализ алгоритма спуска по узловым прямым с известными

точными и приближенными методами реализации обобщенного метода

наименьших модулей ...................................................................................................... 88

3.4. Комплекс программ для моделирования и исследования линейных

регрессионных моделей с помощью спуска по узловым прямым ............................. 90

3.5. Выводы по третьей главе ........................................................................................ 92

Глава 4. Результаты решения прикладных задач ............................................................ 93

4.1. Примеры реализации и сравнения на модельных данных разработанных

алгоритмов на основе спуска по узловым прямым с известными алгоритмами ...... 94

4

4.1.1. Пример моделирования линейной регрессионной зависимости в условиях

стохастической неоднородности предложенным и известными алгоритмами

реализации МНМ ......................................................................................................... 94

4.1.2. Пример моделирования регрессионной зависимости в условиях

стохастической неоднородности предложенным и известными алгоритмами

реализации ОМНМ ...................................................................................................... 98

4.2. Примеры практического использования результатов работы ........................... 102

4.2.1. Моделирование условного среднего экономического ущерба

муниципальных образований Свердловской области от пожаров на основе метода

наименьших модулей ................................................................................................. 103

4.2.2. Прогнозирование относительной производительности центрального

процессора .................................................................................................................. 107

4.2.3. Оптимизация периода эксплуатации высоконагруженной техники на основе

анализа средних удельных затрат ............................................................................ 110

4.2.4. Оптимизация численности плательщиков страховых взносов в пенсионную

систему за счет легализации неформальной занятости в регионах ...................... 117

4.3. Выводы по четвертой главе .................................................................................. 125

Заключение ....................................................................................................................... 128

Список литературы .......................................................................................................... 131

Приложения ...................................................................................................................... 146

5

Введение

Актуальность темы исследования

Математическое моделирование регрессионных зависимостей по

экспериментальным данным выполняется с помощью статистических методов оценки

параметров моделей. Во многих случаях имеется достаточная информация об

изучаемых объектах, процессах и о свойствах, действующих на них возмущений. Это

позволяет воспользоваться эффективными методами оценивания неизвестных

параметров с использованием классических методов максимального правдоподобия

[27]. Для задачи оценивания линейных регрессионных моделей в предположении

нормального распределения случайных погрешностей измерений методом

максимального правдоподобия является метод наименьших квадратов (МНК) [17]. На

основе МНК создана целостная система статистической обработки. С учетом

простоты реализации он является наиболее распространенным статистическим

методом построения зависимостей [9, 23, 30, 49, 67, 72, 91, 99, 117] и др.

Однако при построении математических моделей по экспериментальным

данным, например, в задачах мониторинга и диагностики технических и

экономических систем, приходится сталкиваться со стохастической

неоднородностью. В математической статистике под однородной совокупностью

понимают выборку из одной генеральной совокупности [2]. Строгого определения

неоднородности нет. Приведем определение, предложенное С.А. Смоляком и Б.П.

Титаренко [55]: «Будем считать однородной такую совокупность, элементы которой

формируются под воздействием общих основных причин и условий, а их законы

распределения имеют простую структуру, и неоднородной – если разные ее элементы

формируются под влиянием разных причин и условий либо если она может быть

представлена в виде объединения некоторого числа однородных совокупностей с

более простой структурой законов распределения элементов».

6

Применительно к регрессионным моделям к основным признакам

стохастической неоднородности следует отнести [55, 63]: не полное соответствие

модели части наблюдений; возможное наличие в выборке резко выделяющихся

наблюдений, не обязательно обусловленных ошибками измерений; зачастую не

экспериментальный, не однородный характер данных; использование различных

группировок и округлений; возможная зависимость результатов наблюдений.

Данные особенности при использовании классических процедур оценивания

могут привести к грубым ошибкам. В этой ситуации используют устойчивые

(робастные и непараметрические) методы оценивания [8, 28, 33, 35, 38, 46, 47, 52, 55-

57, 68-71, 80, 82, 84, 89, 93, 95, 98, 105, 108, 114 и др.]. Однако эти методы

проигрывают МНК в быстродействии. Поэтому актуальным направлением

исследований является повышение вычислительной эффективности регрессионного

моделирования по экспериментальным данным в условиях стохастической

неоднородности.

Степень разработанности темы исследования

В основе устойчивого регрессионного моделирования лежит метод наименьших

модулей (МНМ) [36, 81, 109], также называемый l1–аппроксимацией. Важной

особенностью МНМ является его детерминированный характер, т.к. здесь не

требуется привлечения гипотез о вероятностных свойствах изучаемых явлений [4].

Первые упоминания о МНМ связываются с работами Р. Босковича (R.J.

Boscovich) [88] и П.С. Лапласа (P.–S. de Laplace) [96] второй половины XVIII века. Из

современных исследований в области l1–аппроксимации отметим работы М.В.

Болдина, Г.И. Симоновой и Ю.Н. Тюрина [8], В.И. Мудрова и В.Л. Кушко [36], А.В.

Панюкова [43], И.Б. Челпанова [47], П. Блумфилда (P. Bloomfield) и У. Стейгера (W.L.

Steiger) [81], Д. Биркеса (D. Birkes) и Я. Додже (Ya. Dodge) [86], Г. Бассета (G. Basset)

и Р. Коенкера (R. Koenker) [79], Д. Полларда (D. Pollard) [106] и др.

7

Вопросы алгоритмической реализации МНМ в линейном регрессионном

моделировании рассматривались в работах А.И. Матасова и П.А. Акимова [4, 5, 32],

С.И. Зуховицкого и Л.И. Авдеевой [21], В.И. Мудрова и В.Л. Кушко [36], А.Н.

Тырсина [62], Р. Армстронга (R.D. Armstrong) и Д. Кунга (D.S. Kung) [77], А.

Барродейла (I. Barrodale) и Ф. Робертса (F.D.K. Roberts) [78], Е. Вейсфельда (E.

Weiszfeld) [115], Г. Весоловски (G. O.Wesolowsky) [116], С. Нарула (S.C. Narula) и Дж.

Веллингтона (J.F. Wellington) [100], В. Фишера (W.D. Fisher) [90] и др.

Используемая при оценивании параметров регрессии функция потерь либо

является модулем, либо функцией от модуля [3, 13, 76, 94, 107]. При оценивании

пространственных линейных регрессионных моделей обычно удается ограничиться

МНМ–оценками или оценками, использующими выпуклые функции потерь. Однако

одностороннее засорение экспериментальных данных и включение в состав

независимых переменных временных лагов от выходной переменной приводит к

смещению и неустойчивости МНМ–оценок [8, 63]. С целью устранения этих

недостатков используют оценки с функциями потерь, имеющими горизонтальную

асимптоту [3]. Непосредственное использование выпукло–вогнутых функций потерь

приводит к появлению множества неизвестных локальных минимумов у целевой

функции, что затрудняет поиск глобального минимума. Этот недостаток можно

устранить за счет использования в качестве начального приближения вектора

параметров модели его МНМ–оценки или оценки, полученной с помощью

обобщенного метода наименьших модулей (ОМНМ) [63]. Отметим, что ОМНМ

можно непосредственно использовать для устойчивого оценивания моделей.

Известные точные алгоритмы реализации МНМ и ОМНМ являются достаточно

эффективными лишь для малых размерностей моделей и ограниченного объема

выборок, а приближенные алгоритмы имеют ограниченную точность, поскольку

требование увеличения точности приводит к резкому росту их вычислительных

затрат. Это существенно затрудняет использование данных методов в динамических

8

задачах мониторинга и диагностики. Поэтому в таких приложениях алгоритмы

моделирования за ограниченное время и с приемлемой для практического

использования точностью представляют значительный интерес. Отметим, что вопрос

о сходимости приближенных алгоритмов остается открытым [4].

Таким образом, актуальны разработка единого подхода к вычислительно

эффективному моделированию многомерных линейных регрессионных зависимостей

в условиях стохастической неоднородности на основе МНМ и ОМНМ, не имеющих

ограничений на порядок моделей и объем экспериментальных данных и проведение

исследований для его теоретического обоснования.

Цели и задачи исследования

Целью работы является разработка и теоретическое обоснование нового подхода

к вычислительно эффективному моделированию многомерных линейных

регрессионных зависимостей в условиях стохастической неоднородности, а также

создание на его основе комплекса алгоритмов и программ реализации метода

наименьших модулей и обобщенного метода наименьших модулей.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Предложить и исследовать новый подход для вычислительно эффективного

моделирования многомерных линейных регрессионных зависимостей на основе

методов наименьших модулей и обобщенных наименьших модулей.

2. Разработать и исследовать алгоритмы вычислительно эффективного

моделирования многомерных линейных регрессионных зависимостей на основе

методов наименьших модулей и обобщенных наименьших модулей.

3. Выполнить анализ вычислительной трудоемкости предложенных алгоритмов

и провести их сравнение с известными результатами.

4. Разработать комплекс проблемно–ориентированных программ для проведения

вычислительных экспериментов с целью исследования эффективности предложенных

алгоритмов моделирования многомерных линейных регрессионных зависимостей.

9

Научная новизна

В области математического моделирования:

1. Впервые установлена закономерность, позволяющая осуществлять

моделирование многомерных линейных регрессионных зависимостей методом

наименьших модулей локально – посредством спуска по узловым прямым. На основе

этого предложен новый подход к вычислительно эффективному математическому

моделированию многомерных линейных регрессионных зависимостей в условиях

стохастической неоднородности, основанный на спуске по узловым прямым.

2. Предложенный подход к моделированию многомерных линейных

регрессионных зависимостей, основанный на спуске по узловым прямым, реализован

для обобщенного метода наименьших модулей. Установлена закономерность

сокращения числа рассматриваемых возможных решений с увеличением размерности

данных и числа наблюдений, позволившая обеспечить вычислительную

эффективность моделирования линейных регрессионных зависимостей обобщенным

методом наименьших модулей.

3. Установлено, что обобщенный метод наименьших модулей при некоторых

ограничениях можно распространить и на случай моделирования многомерных

нелинейных регрессионных зависимостей.

В области численных методов:

1. Разработаны вычислительно эффективные алгоритмы для моделирования

многомерных линейных регрессионных зависимостей методом наименьших модулей.

2. Доказана сходимость предложенных алгоритмов оценивания параметров

многомерных линейных регрессионных моделей методом наименьших модулей к

точному решению за конечное число шагов.

3. Разработан вычислительно эффективный алгоритм моделирования линейных

зависимостей методом обобщенных наименьших модулей.

10

4. Выполнен анализ вычислительной трудоемкости разработанных алгоритмов

моделирования многомерных линейных регрессионных зависимостей.

В области комплексов программ:

1. Разработан программный комплекс, позволяющий: проводить

вычислительные эксперименты как на модельных, так и на реальных данных с целью

исследования эффективности предложенных алгоритмов оценивания многомерных

линейных регрессионных моделей; применять и строить линейные модели с помощью

разработанных алгоритмов для проведения вычислительных экспериментов; в

качестве платформы для реализации разработанных алгоритмов используется язык

программирования R.

2. С помощью разработанного комплекса программ решено несколько задач

моделирования в технике и экономике.

Теоретическая и практическая значимость работы

Значимость диссертационного исследования обусловлена решением актуальных

задач моделирования многомерных линейных регрессионных зависимостей в

условиях стохастической неоднородности с применением современного

математического аппарата. Полученные результаты развивают теорию

моделирования регрессионных зависимостей на основе метода наименьших модулей.

Разработанные алгоритмы моделирования реализуют общую идею спуска по узловым

прямым и превосходят по вычислительной эффективности все известные аналоги.

Алгоритмическая реализация в рамках предложенной идеи спуска по узловым

прямым обобщенного метода наименьших модулей позволяет моделировать

авторегрессионные зависимости. Наряду с высоким быстродействием они обладают

достаточно простой структурой.

Использование разработанных алгоритмов и программ позволит существенно

снизить вычислительные затраты при практическом моделировании реальных систем

и явлений в виде регрессионных зависимостей. Представленные результаты

11

вычислительных экспериментов свидетельствуют об адекватности проведенного

математического моделирования и эффективности подхода на основе спуска по

узловым прямым для дальнейшего его развития в технике и экономике в задачах

диагностики систем и объектов в различных предметных областях в режиме

реального времени.

Методология и методы диссертационного исследования

Объектом исследования являются многомерные линейные регрессионные

модели, параметры которых оцениваются в условиях стохастической неоднородности

экспериментальных данных.

Предметом исследования является единый подход к построению алгоритмов

моделирования многомерных линейных регрессионных зависимостей в условиях

стохастической неоднородности и его теоретическое обоснование.

Для решения поставленных задач в работе используются методы

математического моделирования, математической статистики, теории случайных

процессов, статистических испытаний Монте–Карло, матричной алгебры, численных

методов решения экстремальных задач, линейного программирования.

Для программной реализации предложенных методов и алгоритмов были

применены современные информационные технологии и средства

программирования. Был разработан программный комплекс в среде RStudio с

применением языка программирования R.

Положения, выносимые на защиту

На защиту выносятся результаты, соответствующие четырем пунктам паспорта

специальности 05.13.18 – «Математическое моделирование, численные методы и

комплексы программ» по физико-математическим наукам:

В части «Разработка новых математических методов моделирования объектов

и явлений»:

12

1. Разработан новый подход к математическому моделированию многомерных

линейных регрессионных зависимостей в условиях стохастической неоднородности

методом наименьших модулей, основанный на спуске по узловым прямым.

В части «Развитие качественных и приближенных аналитических методов

исследования математических моделей»:

1. Аналитически и с помощью метода статистических испытаний исследованы

методы моделирования многомерных линейных регрессионных зависимостей в

условиях стохастической неоднородности экспериментальных данных; установлена

закономерность, состоящая в вычислительно эффективном нахождении параметров

математических моделей с помощью спуска по узловым прямым.

2. Повышение вычислительной эффективности моделирования линейных

зависимостей на основе метода обобщенных наименьших модулей с помощью спуска

по узловым прямым за счет установленной закономерности сокращения числа

рассматриваемых возможных решений при использовании предложенного подхода.

3. Установлены классы многомерных нелинейных регрессионных зависимостей,

для которых можно применять обобщенный метод наименьших модулей для

вычислительно эффективного моделирования.

В части «Разработка, обоснование и тестирование эффективных

вычислительных методов с применением современных компьютерных технологий»:

1. Разработаны вычислительно эффективные алгоритмы оценивания параметров

линейных регрессионных моделей методом наименьших модулей на основе спуска по

узловым прямым.

2. Установлена сходимость разработанных алгоритмов оценивания параметров

многомерных линейных регрессионных моделей методом наименьших модулей к

точному решению за конечное число шагов.

13

3. Разработан вычислительный алгоритм оценивания параметров линейных

моделей методом обобщенных наименьших модулей на основе спуска по узловым

прямым.

4. Выполнен анализ вычислительной трудоемкости предложенных алгоритмов,

основанный на сочетании математических методов матричной алгебры и

комбинаторики с современными технологиями математического моделирования,

вычислительного эксперимента и статистических испытаний.

В части «Реализация эффективных численных методов и алгоритмов в виде

комплексов проблемно–ориентированных программ для проведения вычислительного

эксперимента»:

1. Разработан комплекс проблемно–ориентированных программ для проведения

вычислительных экспериментов с целью исследования эффективности предложенных

алгоритмов оценивания параметров многомерных линейных моделей, написанный на

языке программирования R.

2. Поведены вычислительные эксперименты, подтверждающие эффективность

предложенных алгоритмов по сравнению с известными решениями и адекватность

проведенного моделирования.

Степень достоверности результатов

Достоверность и обоснованность полученных результатов обеспечены

математической строгостью постановки задач, корректным использованием

математического аппарата и методов математического моделирования,

согласованием результатов вычислительных экспериментов с модельными

примерами, решением большого количества тестовых задач и практическим

применением разработанного комплекса программ. Адекватность математической

модели подтверждалась примерами ее использования. Полученные в работе

результаты и выводы согласуются с результатами других авторов. Все результаты,

выносимые на защиту, опубликованы.

14

Апробация результатов

Теоретические и практические результаты исследований диссертационной

работы докладывались на следующих конференциях: 2–я научно–техническая

конференция молодых ученых Уральского энергетического института (Екатеринбург,

2017), XI Международная школа–симпозиум «Анализ, моделирование, управление,

развитие социально–экономических систем» (Симферополь–Судак, 2017), XVIII

Всероссийский Симпозиум по прикладной и промышленной математике (Сочи, 2017),

XIX Всероссийский Симпозиум по прикладной и промышленной математике (Санкт–

Петербург, 2018), 12–я международная конференция «Новые информационные

технологии в исследовании сложных структур» (Алтайский край, пос. Катунь, 2018).

Также результаты работы обсуждались на научном семинаре Уральского

федерального университета имени первого Президента России Б.Н. Ельцина (УрФУ)

«Модели и методы оптимизации, оценивания данных и управления в технических и

экономических системах» под руководством д.ф.-м.н. А.Ф. Шорикова (Екатеринбург,

2018), научном семинаре отдела математического программирования Института

математики и механики им. Н.Н. Красовского УрО РАН под руководством д.ф.-м.н.

М.Ю. Хачая (Екатеринбург, 2018) и семинарах кафедры прикладной математики

УрФУ (Екатеринбург, 2016–2018).

Работа выполнялась в соответствии с планами научно–исследовательских работ

по грантам РФФИ 16–06–00048 и 17–01–00315.

Комплекс из трех программ, предназначенный для моделирования и

исследования регрессионных зависимостей с помощью МНМ и ОМНМ,

зарегистрирован в Федеральной службе по интеллектуальной собственности

(РОСПАТЕНТ).

Публикации. По теме диссертации опубликовано 18 работ [118-135], в том числе

6 статей в рецензируемых научных изданиях и журналах, рекомендованных ВАК

Минобрнауки РФ [124, 126, 132-135], из которых одна включена в наукометрические

15

базы MathSciNet и Zentralblatt MATH [135], одна – в Zentralblatt MATH [132] и одна –

в GeoRef и Chemical Abstracts [126], глава монографии [123] и 3 свидетельства о

государственной регистрации программ для ЭВМ [127, 129, 130].

Личное участие автора. Содержание диссертации и основные положения,

выносимые на защиту, отражают персональный вклад автора в опубликованные

работы. Из работ, выполненных в соавторстве, в диссертацию вошли только

результаты, полученные ее автором. Все результаты диссертационной работы, в том

числе разработка, исследование и обоснование математических моделей и методов их

исследования, разработка комплекса компьютерных моделей и экспериментальных

методик, доказательство всех утверждений, проведение численных расчетов и

моделирования, получены лично автором диссертации. Научным руководителем

предложены постановки задач.

Структура и объем работы. Диссертация состоит из введения, 4 глав,

заключения, списка литературы и приложений. Полный объем составляет 148

страниц, включая 21 рисунок, 27 таблиц, список литературы из 135 наименований и 3

приложения.

16

Глава 1. Обзор устойчивых методов моделирования

линейных регрессионных зависимостей

Первая глава посвящена обзору устойчивых методов математического

моделирования многомерных линейных регрессионных зависимостей в условиях

стохастической неоднородности.

1.1. Проблема обеспечения устойчивости моделирования линейных

зависимостей в условиях стохастической неоднородности

Одной из типовых задач при статистической обработке результатов

экспериментальных исследований является оценивание коэффициентов линейных

моделей вида [2, 31, 75, 101]:

𝑦𝑖 = 𝛼 + 𝐚𝒙𝑖 +∑𝐚(𝑙)𝐱𝑖−𝑙

𝑝

𝑙=1

+∑𝑏(𝑘)𝑦𝑖−𝑘

𝑞

𝑘=1

+ 휀𝑖 , (1.1)

где 𝐲 = (

𝑦1𝑦2…𝑦𝑛

) – вектор наблюдаемых значений зависимой переменной; 𝐗 =

𝑥𝑖𝑗𝑛×𝑚 = (

𝑥11 𝑥12 … 𝑥1𝑚𝑥21 𝑥22 … 𝑥2𝑚… … … …𝑥𝑛1 𝑥𝑛2 … 𝑥𝑛𝑚

) – матрица наблюдаемых значений объясняющих

(не случайных) переменных, 𝐱𝑖 = (

𝑥𝑖1𝑥𝑖2…𝑥𝑖𝑚

)

𝑇

, 𝑖 = 1, 𝑛; 𝛆 = (

휀1휀2…휀𝑛

) – вектор

ненаблюдаемых случайных погрешностей (ошибок) измерений; 𝛼, 𝑏(𝑘), 𝑘 = 1, 𝑞 –

17

неизвестные коэффициенты и 𝐚 = (

𝑎1𝑎2…𝑎𝑚

), 𝐚(𝑙) =

(

𝑎1(𝑙)

𝑎2(𝑙)

…

𝑎𝑚(𝑙))

, 𝑙 = 1, 𝑝 – неизвестные

векторы коэффициентов.

Выражение (1.1) – это модель авторегрессии и распределённого лага (ADL(p,q)–

модель, смешанная модель), в которой текущие значения 𝑦𝑖 временного ряда зависят

как от прошлых значений 𝑦𝑖−𝑘 этого ряда, так и от текущих 𝐱𝑖 и прошлых 𝐱𝑖−𝑙

значений других временных рядов.

Если p = 0, т.е. ADL(0,q), имеем частный случай (1.1) – модель авторегрессии

AR(q)

𝑦𝑖 = 𝛼 + 𝑏(1)𝑦𝑖−1 + 𝑏

(2)𝑦𝑖−2 +⋯+ 𝑏(𝑞)𝑦𝑖−𝑞 + 휀𝑖 , (1.2)

которая при введении линейной комбинации лагов случайной компоненты будет

моделью авторегрессии–скользящего среднего ARMA(𝑝, 𝑞)

𝑦𝑖 = 𝛼 +∑𝑏(𝑘)𝑦𝑖−𝑘

𝑝

𝑘=1

+ 휀𝑖 +∑𝑐(𝑗)𝑞

𝑗=1

휀𝑖−𝑗 , (1.3)

где 𝑐(𝑗), 𝑗 = 1, 𝑞 – коэффициенты скользящего среднего.

Частный случай (1.1), вариант ADL(p,0), представляет собой модель

распределённого лага DL(p)

𝑦𝑖 = 𝛼 + 𝐚𝒙𝑖 + 𝐚(1)𝐱𝑖−1 +⋯+ 𝐚

(𝑝)𝐱𝑖−𝑝 + 휀𝑖 . (1.4)

Частный случай ADL(0,0) является линейной многомерной регрессионной

моделью, которая имеет вид [3, 17, 51]

𝑦𝑖 = 𝑎1 + 𝑎2𝑥𝑖2 + 𝑎3𝑥𝑖3 +⋯+ 𝑎𝑚𝑥𝑖𝑚 + 휀𝑖 , 𝑖 = 1, 𝑛 , (1.5)

где 𝑦𝑖 , 𝑖 = 1, 𝑛 – наблюдаемые значения зависимой переменной; 𝑥𝑖𝑗 , 𝑗 = 1,𝑚 , 𝑖 =

1, 𝑛 – значения объясняющих (независимых) переменных; 휀𝑖 , 𝑖 = 1, 𝑛 – случайные

18

погрешности (ошибки) измерений; 𝑎𝑗 , 𝑗 = 1,𝑚 – искомые коэффициенты линейной

множественной регрессии. Модель (1.5) можно представить в матричной форме:

𝐲 = 𝐗𝐚 + 𝛆, (1.6)

где 𝐲 = (

𝑦1𝑦2…𝑦𝑛

) – вектор наблюдаемых значений зависимой переменной; 𝐗 =

= 𝑥𝑖𝑗𝑛×𝑚 = (

1 𝑥12 … 𝑥1𝑚1 𝑥22 … 𝑥2𝑚… … … …1 𝑥𝑛2 … 𝑥𝑛𝑚

) – матрица значений объясняющих (независимых)

переменных 𝐱(𝑗) = (

𝑥1𝑗𝑥2𝑗…𝑥𝑛𝑗

) , 𝑗 = 1,𝑚; 𝛆 = (

휀1휀2…휀𝑛

) – вектор случайных погрешностей

(ошибок) измерений; 𝐚 = (

𝑎1𝑎2…𝑎𝑚

) – искомый вектор коэффициентов регрессии.

Обозначив (𝐱(1), 𝐱(2), … , 𝐱(𝑚)) = 𝑎1 + 𝑎2𝐱(2) +⋯+ 𝑎𝑚𝐱

(𝑚), запишем (1.5) как

𝐲 = (𝐱(1), 𝐱(2), … , 𝐱(𝑚)) + .

Функция регрессии (𝐱(1), 𝐱(2), … , 𝐱(𝑚)) = E[𝐲/𝐗 = 𝐱] представляет собой

закономерную часть (условное математическое ожидание) одномерного отклика y, а

случайную часть отклика (остаток).

Отметим, что формально можно линейную модель (1.1) представить в матричной

форме (1.6). В дальнейшем будем рассматривать матричное представление линейной

многомерной регрессионной модели.

Построение конкретной математической модели по имеющимся наблюдениям

реализуется с помощью статистических методов оценки ее параметров. Многие

задачи, связанные с обработкой статистических данных, решаются в предположении

существования достаточной информации об изучаемых объектах, процессах,

19

явлениях и о свойствах, действующих на них возмущений. Для широкого класса задач

разработаны методы эффективного оценивания неизвестных параметров с

использованием классических методов максимального правдоподобия [24, 27].

В частности, в предположении, что случайные ошибки нормально распределены,

методом максимального правдоподобия является МНК [2]. На основе МНК создана

целостная система статистической обработки. С учетом простоты реализации он

является наиболее распространенным статистическим методом построения

зависимостей. Впервые МНК был использован Лежандром в 1806 г. для решения

задач небесной механики на основе экспериментальных данных астрономических

наблюдений. В 1809 г. Гаусс изложил статистическую интерпретацию МНК и тем

самым дал начало широкому применению статистических методов при решении задач

восстановления регрессионных зависимостей [28].

Рассмотрим основное уравнение линейного регрессионного анализа (1.5).

Использование МНК для оценивания неизвестных параметров модели (1.5) требует

выполнения ряда предпосылок, называемых условиями ГауссаМаркова [17]:

1°. Объясняющие переменные 𝐱(1), 𝐱(2),…, 𝐱(𝑚) неслучайные величины;

2°. ∀ 𝑖 𝐸[휀𝑖] = 0 (равенство нулю математического ожидания ошибок);

3°. ∀ 𝑖 𝐸[휀𝑖2] = 𝜎2 (гомоскедастичность ошибок);

4°. ∀ 𝑖 ≠ 𝑘 𝐸[휀𝑖 휀𝑘] = 0(т.е. компоненты 𝛆 попарно не коррелируют);

5°. Матрица 𝐗 имеет ранг 𝑅𝑔(𝐗) = 𝑚 < 𝑛 и определена в виде

𝐗 = (

1 𝑥12 … 𝑥1𝑚1 𝑥22 … 𝑥2𝑚… … … …1 𝑥𝑛2 … 𝑥𝑛𝑚

).

При их выполнении МНК–оценки параметров модели (1.5) являются

состоятельными и несмещенными [51]. Кроме того, в случае нормального закона

распределения погрешностей МНК–оценки являются эффективной в классе всех

несмещенных оценок. Однако на практике часто нормальность закона распределения

20

погрешностей будет нарушаться. Некоторые нарушения нормальности закона

распределения могут приводить к значительной потере эффективности МНК–оценок

и их отклонению от истинных значений искомых параметров [13, 55]. Подчеркнем,

что истинный закон распределения погрешностей измерений остается неизвестным.

Известно также, что МНК–оценки весьма чувствительны к наличию резко

выделяющихся наблюдений среди обрабатываемых данных, что привело к разработке

специальных методов исключения этих наблюдений из статистической совокупности.

Однако, как указывается в [20], 5–10% аномальных значений в общей массе данных

это скорее правило, а не исключение. При их учете реальное распределение ошибок

может оказаться отличным от нормального. Таким образом, принимая гипотезу

нормальности, мы автоматически предполагаем, что основная масса отклонений

сосредоточена на некотором интервале. Вероятность большого отклонения при этом

весьма мала. В реальной ситуации эта гипотеза является чересчур жесткой. Дело в

том, что предполагаемая модель редко является абсолютно точно

специфицированной; в частности, наблюдения могут быть засорены. Разумнее

поэтому предположить, что отклонения с большей вероятностью могут принимать и

большие значения [70]. Причины могут быть две – ошибка регистрации или

действительно наличие аномалии, характеризующей качественно иной признак. Это

можно формально трактовать как непостоянство дисперсии случайных ошибок.

В [36] показано, что в том случае, когда дисперсия каждого измерения известно

точно и не сообщено ничего другого о характере ошибки измерения, наиболее

естественным предположением о законе распределения ошибок является

предположение о нем, как о законе Гаусса, а наиболее правильным методом

обработки является обработка измерений по методу наименьших квадратов. Когда же

измерения имеют нормальную плотность распределения, а их среднеквадратическое

отклонение является случайной величиной с математическим ожиданием,

21

соответствующим некоторым «средним» окружающим условиям, то в результате

распределение ошибок станет Лапласовским.

Таким образом, случайность дисперсий ошибок приводит к невыполнению

центральной предельной теоремы [11]. Хвосты плотности распределения Лапласа

более тяжелые по сравнению с нормальным законом, и МНК уже не является

эффективным методом, значительно проигрывая МНМ [36].

Наряду с перечисленными выше отклонениями случайных ошибок от гауссовой

модели, в экспериментальных данных, в частности в задачах мониторинга и

диагностики технических и экономических систем, возникают и другие ситуации

стохастической неоднородности. Например, известно, что при развитии

деградационных процессов в механических системах изменяются законы

распределения вибросигналов [12, 18]. Это сопровождается засорением случайной

компоненты вибросигнала до 10-20% импульсными помехами, резкими изменениями

уровня или корреляционной структуры, приводящими к «утяжелению» хвостов

распределения относительно нормального закона [47, 16]. В экономике при

ухудшении функционирования систем у них проявляется нестабильность поведения

[1, 6, 37, 97].

В математической статистике под однородной совокупностью понимают

выборку из одной генеральной совокупности [2]. Строгого определения

неоднородности нет. Приведем определение, предложенное С.А. Смоляком и Б.П.

Титаренко [55]: «Будем считать однородной такую совокупность, элементы которой

формируются под воздействием общих основных причин и условий, а их законы

распределения имеют простую структуру, и неоднородной – если разные ее элементы

формируются под влиянием разных причин и условий либо если она может быть

представлена в виде объединения некоторого числа однородных совокупностей с

более простой структурой законов распределения элементов».

22

Примем данное определение за основу. Применительно к рассматриваемым в

работе математическим моделям регрессионного анализа к основным признакам

стохастической неоднородности следует отнести [55, 63]:

не полное соответствие модели части наблюдений,

возможное наличие в выборке резко выделяющихся наблюдений, не обязательно

обусловленных ошибками измерений,

зачастую не экспериментальный, не однородный характер данных,

использование различных группировок и округлений,

возможная зависимость результатов наблюдений.

Данные особенности при использовании классических процедур на основе МНК,

ориентированных на выполнение основных предпосылок математической статистики,

могут привести к грубым ошибкам оценивания параметров регрессионных моделей.

Особенно это проявляется, если в экспериментальных данных отдельные аномальные

наблюдения в виде выбросов, а также при нестационарности случайных ошибок.

С целью обеспечения устойчивости моделирования регрессионных зависимостей

в условиях стохастической неоднородности разработан ряд статистических методов.

Данные методы основаны на более общих предположениях относительно случайных

ошибок. Основное направление в теории робастного оценивания уделяется

устойчивости оценок к выбросам. При этом, чаще всего делается это постулируя

однородность (стационарность) основной части случайных ошибок измерений.

Однако реальные данные часто трудно отнести к каким–либо параметрическим

семействам, в рамках которых находится конкретное распределение ошибок. Причем

случайные ошибки во многих случаях не являются стационарными, в них могут

присутствовать отдельные выбросы.

Одной из наиболее распространенных моделей засорения является модель

Тьюки–Хьюбера, в которой исходная выборка «засоряется» малым числом выбросов,

23

имеющих принципиально иное распределение (часто с очень большой или

стремящейся к бесконечности дисперсией) [70, 111]

𝐹𝛾(𝑥) = (1 − 𝛾)𝐹(𝑥) + 𝛾𝐻(𝑥),

где F(x) функция распределения случайных ошибок i, обладающая «хорошими»

свойствами (обычно нормальностью); H(x) − функция распределения засорений,

имеющих вид выбросов, как по уровню, так и по дисперсии; вероятность

появления выброса.

Модель ТьюкиХьюбера показывает, что с близкой к 1 вероятностью, а именно,

с вероятностью (1 − 𝛾), наблюдения берутся из совокупности с функцией

распределения 𝐹(𝑥) которая предполагается обладающей «хорошими» свойствами.

Например, она имеет известный статистику вид (хотя бы с точностью до параметров),

у нее существуют все моменты, и т.д. Но с малой вероятностью 𝛾 появляются

наблюдения из совокупности с «плохим» распределением, например, взятые из

распределения Коши, не имеющего математического ожидания и дисперсии, резко

выделяющиеся аномальные наблюдения, выбросы.

Данная модель фактически означает, что распределение случайных ошибок

имеет вид смеси в виде устойчивой средней части распределения погрешностей

однократных измерений, характеризующих их обычные составляющие, и растянутые

хвосты, которые учитывают относительно редкие выбросы или промахи. То есть

делается вероятностное предположение об однородности гипотетической

генеральной совокупности, в которой допускается возможность появления

погрешностей высокого уровня.

Актуальность модели ТьюкиХьюбера не вызывает сомнений. Наличие

засорений (выбросов) может сильно исказить результаты статистического анализа

данных. Ясно, что если функция распределения элементов выборки имеет вид 𝐹𝛾(𝑥),

где первое слагаемое соответствует случайной величине с конечным математическим

24

ожиданием, а второе − такой, для которого математического ожидания не существует

(например, если H(x) функция распределения Коши), то для итоговой функций

распределения также не существует математическое ожидание. Исследователя

обычно интересуют характеристики первого слагаемого, но найти их, т.е.

освободиться от влияния засорения, не просто. Например, среднее арифметическое

результатов наблюдений не будет иметь никакого предела (это строгое

математическое утверждение, вытекающее из того, что математическое ожидание не

существует [38]).

Наиболее актуальным является обеспечение устойчивости оценок параметров

моделей временных рядов [131], поскольку они гораздо более чувствительны к

стохастической неоднородности данных, ввиду зависимости наблюдений. В

частности, вид модели авторегрессии (1.2) говорит о том, что процедура вычисления

ее коэффициентов менее устойчива к выбросам по сравнению с нахождением

коэффициентов линейной регрессии (1.5). Основная причина этого зависимость

данных, что означает не выполнение предпосылки 4° ГауссаМаркова. В результате

при расчете коэффициентов авторегрессии, неустойчивыми к выбросам оказываются

и МНМ–оценки. Несостоятельность МНМ–оценок для вычисления коэффициентов

авторегрессии доказана в [8]. В [104] показано, что уже при вероятности выброса 𝛾 =

0,0025 наблюдается смещение МНМ–оценок. Недостатком МНМ также является то,

что, он рассчитан на симметричный характер выбросов. В условиях стохастической

неоднородности данные не подчиняются каким–либо параметрическим семействам,

поэтому следует применять иные статистические методы. Одним из таких методов

является ОМНМ [33].

В [63] показано, что ОМНМ–оценки с конечной чувствительностью к большим

ошибкам обладают высокой устойчивостью к выбросам, в том числе и относительно

несимметричности засорений. При этом величина смещения оценки параметров

25

стремится к нулю при возрастании величины асимметрии засоряющего

распределения H(x).

1.2. Метод наименьших модулей

Одной из распространенных задач при статистической обработке результатов

экспериментальных исследований является оценивание неизвестных коэффициентов

линейной регрессионной модели (1.5). Оценки коэффициентов модели (1.5)

получают, решая задачу минимизации [3]

∑ 𝜌(|𝑒𝑖|)𝑛𝑖=1 → min

𝐚𝐑𝑚,

где 𝜌() − некоторая функция потерь [29]; 𝑒𝑖 = 𝑦𝑖 − (𝑎1 + 𝑎2𝑥𝑖2 + 𝑎3𝑥𝑖3 +⋯+

𝑎𝑚𝑥𝑖𝑚) невязка между наблюдаемым значением зависимой переменной и функцией

регрессии.

Среди прикладных статистических методов построения регрессионных

зависимостей наибольшее распространение получил МНК, для которой функция

потерь 𝜌МНК(𝑡) = 𝑡2. Однако использование МНК в условиях стохастической

неоднородности данных (при этом не выполняются условий ГауссаМаркова) может

привести к значительным ошибкам и даже несостоятельности оценок параметров

моделей [13].

С целью обеспечения устойчивости оценок относительно отклонений случайных

ошибок от гауссовой модели разработан ряд статистических методов. Данные методы

основаны на более общих предположениях относительно случайных ошибок.

Основное направление в теории робастного оценивания уделяется устойчивости

оценок к выбросам.

Наиболее распространенным устойчивым методом является МНМ, в котором

𝜌МНМ(𝑡) = |𝑡|. МНМ для модели (1.5) состоит в том, что разыскивается аргумент

минимизирующий сумму модулей невязок, то есть [36]

26

= arg min𝑎1,⋯,𝑎𝑚

∑|𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

|

𝑛

𝑖=1

, (1.7)

где = (𝑎1, 𝑎2, ⋯ , 𝑎) вектор оценок параметров модели (1.5).

Целевая функция задачи (1.7) является выпуклой, непрерывной, кусочно–

линейной функцией и имеет вид

𝑄(𝐚) =∑|𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

| =

𝑛

𝑖=1

∑|𝑦𝑖 − ⟨𝐱i, 𝐚⟩|

𝑛

𝑖=1

. (1.8)

В отличие от МНК для модели (1.5), МНМ не имеет аналитического способа

решения. Но кусочно–линейный вид целевой функции позволяет рассчитывать на

наличие быстрых и точных методов решения задачи (1.7). Поскольку во всех точках,

где у функции Q(a) существует производная, она линейна, то, следовательно, ее

локальные минимумы должны быть в особых точках. Поэтому для решения задачи

(1.7) понадобится использовать специальные алгоритмы. Известно несколько точных

и приближенных методов ее решения [5, 36, 62, 115]. Рассмотрим их далее.

1.2.1. Точные алгоритмы реализации метода наименьших модулей

Наибольшее распространение среди точных алгоритмов реализации МНМ

получил подход, основанный на сведении задачи (1.7) к задаче линейного

программирования (ЛП). Первый такой алгоритм нахождения MHM–оценок был

предложен в 1955 году [83].

Задача минимизации суммы модулей невязок представляет собой одну из самых

простых задач ЛП и эквивалентна следующей задаче [36]:

𝐹 =∑(𝑢𝑖 + 𝑣𝑖) → min,

𝑛

𝑖=1

27

𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

+ 𝑢𝑖 − 𝑣𝑖 = 0, (1.9)

𝑎𝑗 = 𝑎𝑗(1)− 𝑎𝑗

(2), 𝑗 = 1,2,… ,𝑚,

𝑢𝑖 , 𝑣𝑖 , 𝑎𝑗(1), 𝑎𝑗(2)≥ 0, 𝑖 = 1,2,… , 𝑛 , 𝑗 = 1,2,… ,𝑚.

Действительно, для каждой модули невязок рассмотрим следующее неравенство:

0 ≤ |𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

| ≤ 𝑧𝑖 , 𝑖 = 1,2,… , 𝑛.

Отсюда получим

𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

+ 𝑧𝑖 ≥ 0, 𝑖 = 1,2,… , 𝑛,

𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

− 𝑧𝑖 ≤ 0, 𝑖 = 1,2,… , 𝑛,

или

𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

+ 𝑧𝑖 − 2𝑣𝑖 = 0, 𝑖 = 1,2,… , 𝑛,

𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

− 𝑧𝑖 + 2𝑢𝑖 = 0, 𝑖 = 1,2,… , 𝑛,

𝑢𝑖 , 𝑣𝑖 ≥ 0, 𝑖 = 1,2,… , 𝑛.

(1.10)

Осуществляя несколько простых арифметических операций, из выражения (1.10)

получим, что для ∀ 𝑖 = 1,2,… , 𝑛

𝑧𝑖 = 𝑢𝑖 + 𝑣𝑖 и 𝑦𝑖 −∑𝑎𝑗𝑥𝑖𝑗

𝑚

𝑗=1

+ 𝑢𝑖 − 𝑣𝑖 = 0,

откуда и следует эквивалентность задач (1.7) и (1.9).

С 1955 года был предложен ряд алгоритмов, основанных на использовании

методологии линейного программирования для оценивания МНМ в линейных

28

моделях, как правило, без ограничений. Большинство из них были основаны на

симплекс–методе Данцига [85, 90, 100, 112, 113].

В 1973 году Барродейл и Робертс [78] представили алгоритм, который

объединяет несколько симплексных итераций в одну. В 1978 году Армстронг и Кунг

[77] предложили для простой линейной регрессионной модели решать двойственную

задачу задачи (1.9) и показали, что с вычислительной точки зрения это более

эффективно. Но решение задачи линейного программирования ограничено малым

объемом выборки и малым количеством переменных. Это вызвано накоплением

погрешностей из–за ошибок округлений. В результате этого процесс движения по

базисным решениям может не дать точного решения задачи (1.9) или даже

зациклиться. Кроме того, требуется хранить в оперативной памяти большой массив

данных в виде симплекс–таблиц. Предложенное в [44] использование массивно–

параллельных вычислений с применением дробно–рациональных вычислений без

округления устраняет проблему накопления вычислительных погрешностей, но

приводит к существенному усложнению реализации и росту вычислительных затрат,

затрудняющих широкое практическое применение данного подхода.

В [116] Весоловски предложил еще один алгоритм поиска точного решения

задачи (1.7), который на каждой итерации использует фундаментальную операцию

нахождения взвешенных медиан [92]. Данный алгоритм оказался достаточно

эффективным, как указал сам автор, лишь для случая не более 4 независимых

переменных. При этом вычислительная эффективность алгоритма Весоловски

сопоставима с алгоритмами, основанными на решении задачи линейного

программирования. Но нахождение взвешенных медиан операция довольно затратная

и поэтому как показывают результаты, приведенные в [116] алгоритм Весоловски при

числе переменных 𝑚 > 4 по быстродействию проигрывает алгоритму Армстронга и

Кунга [77], основанному на решении задачи ЛП.

29

Другим методом для нахождения точного решения задачи (1.7) является

алгоритм полного перебора, который осуществляет перебор всех особых точек, в

которых не существует производная функции Q(a) ни по одному из возможных

направлений пространства Rm, названных в [65] узловыми точками. Вычислительные

погрешности здесь не значительны. Однако с ростом объема выборки и количества

переменных наблюдается экспоненциальный рост вычислительных затрат.

Действительно, алгоритм полного перебора требует решения 𝐶𝑛𝑚 систем линейных

алгебраических уравнений (СЛАУ) порядка 𝑚 (для нахождения всех особых точек).

Для решения одной СЛАУ выполняются 𝑂(𝑚3) арифметических операций, а для

вычисления значения целевой функции в данной особой точке выполняются 𝑂(𝑚 ∙ 𝑛)

операций. Следовательно, вычислительная сложность алгоритма полного перебора,

для нахождения МНМ–оценок модели (1.5), равна

𝑀 = 𝑂(𝐶𝑛𝑚 ∙ (𝑚3 +𝑚 ∙ 𝑛)).

Использование современных вычислительных технологий, например,

параллельного программирования, лишь частично решает указанную проблему за

счет использования нескольких процессоров, приводя к значительному усложнению

реализации и удорожанию вычислительного процесса.

Однако отсутствие эффекта накопления вычислительных погрешностей делает

возможным использование данного метода при условии ограничения числа

перебираемых точек.

1.2.2. Приближенные алгоритмы реализации метода наименьших модулей

Одним из приближенных методов решения задачи (1.7) является метод

вариационно–взвешенных квадратических приближений (алгоритм Вейсфельда) [36,

115]. Данный метод состоит в том, что вместо минимизации негладкой функции 𝑄(𝐚)

30

производится последовательность итераций, на каждой из которых ищется вектор,

минимизирующий специальную квадратичную по 𝐚 форму

𝐹(𝐚, 𝐚(𝒌−𝟏)) =∑𝜔𝑖(𝑘−1)(|𝑦𝑖 − ⟨𝐱i, 𝐚⟩|)

2

𝑛

𝑖=1

,

где k номер итерации, 𝜔𝑖(𝑘−1)

= |𝑦𝑖 − ⟨𝐱i, 𝐚(𝒌−𝟏)⟩|

−1 весовой коэффициент,

соответствующий i–й компоненте вектора невязки на предыдущем шаге, 𝐚(𝒌−𝟏)

вектор, полученный на предыдущей (k – 1) итерации.

В качестве начального вектора 𝐚(𝟎) (при k = 0), берется некоторое априорное

(возможно, грубое) значение неизвестного параметра, которое требуется уточнить.

Для нахождения минимума функции 𝐹(𝐚, 𝐚(𝒌−𝟏)) во время каждой итерации решается

задача взвешенного метода наименьших квадратов, для которой существуют очень

простые и хорошо известные алгоритмы решения. Этим объясняется популярность

метода вариационно-взвешенных квадратических приближений на практике.

Однако получение квадратичной формы 𝐹(𝐚, 𝐚(𝒌−𝟏)) наталкивается на

вычислительные затруднения при малых значениях компонент вектора невязки. А

если одна из его компонент равняется нулю, то на данном шаге вычисление весового

коэффициента становится вовсе невозможным. Но известно, что в точке решения

задачи (1.7) m невязок равны нулю [61, 62]. Для решения этой проблемы используется

прием регуляризации [36]. Задается некоторое достаточно малое положительное

число 𝜆 и 𝑖-й весовой коэффициент выбирается следующим образом:

𝜔𝑖(𝑘)=

|𝑦𝑖 − ⟨𝐱i, 𝐚(𝒌)⟩|

−1, если |𝑦𝑖 − ⟨𝐱i, 𝐚

(𝒌)⟩| ≥ 𝜆,

1

𝜆, если |𝑦𝑖 − ⟨𝐱i, 𝐚

(𝒌)⟩| < 𝜆.

Тогда функция 𝐹(𝐚, 𝐚(𝒌−𝟏)) является квадратичной, весовые коэффициенты

которой могут зависеть как от 𝐚(𝒌−𝟏), так и от 𝜆. Таким образом в случае

31

регуляризации вопрос о сходимости метода вариационно-взвешенных

квадратических приближений остается открытым [4].

Поскольку целевая функция не всюду дифференцируема, то применение методов

поиска безусловного минимума первого и второго порядка не гарантирует сходимость

алгоритма. Исходя из этих соображений, для нахождения приближенного решения

задачи (1.7) в [62] предложено использовать метод покоординатного спуска,

являющийся численным методом нулевого порядка.

Методы нулевого порядка (метод покоординатного спуска, метод конфигураций,

методы случайного поиска и т.д.) [10, 42, 102] просты и эффективны с

вычислительной точки зрения, однако с ростом количества переменных оценки

становятся не состоятельными.

1.2.3. Анализ задачи моделирования линейных многомерных регрессионных

зависимостей на основе метода наименьших модулей

Эффективный алгоритм поиска минимума целевой функции должен учитывать

ее свойства и особенности геометрии. Исследования показали, что у функции (1.8),

несмотря на кусочно-линейный вид, «плохая» геометрия она имеет большое число

изломов в виде отрезков прямых, причем они вытянуты, скрещены, многие из них

почти параллельны и находятся на близком расстоянии друг от друга, образуя так

называемый «пучок». При этом минимум целевой функции находится внутри этого

«пучка». Стенки этих изломов представляют собой выпуклые линейные гиперграни,

которые при приближении к минимуму целевой функции постепенно также

становятся почти параллельными (рис. 1.1).

32

а) б)

Рис. 1.1 – График функции 𝑸(𝐚) для m=2 и n=28: а) вид сверху, б) вид сбоку

В качестве иллюстрации для случая 𝑚 = 2, 𝑛 = 128 и нормально

распределенных случайных ошибок на рис. 1.2 показаны прямые 𝑦𝑖 − 𝑎1 − 𝑎2𝑥𝑖 = 0,

𝑖 = 1, 2,… , 𝑛, на которых расположены все изломы функции 𝑄(𝐚).

Рис. 1.2 – Графики прямых, на которых расположены изломы целевой функции

𝑸(𝐚), m = 2 и n = 128

33

Указанная специфика геометрии целевой функции приводит ко многим

затруднениям при реализации разных алгоритмов нахождения точного решения

задачи (1.7) на основе идей линейного программирования [36, 77, 78, 90, 100]. Это

вызвано тем, что:

не учет особенностей целевой функции при переходе от одного к другому

базисному решению приводит к отклонениям от «пучка» изломов, что замедляет

сходимость к точному решению;

на каждом шаге алгоритмов преобразуются все данные. В результате этого

накапливаются вычислительные погрешности из-за ошибок округлений, что может

привести к не точному решению задачи (1.7). Кроме того, преобразование всех

данных для выпуклой целевой функции является вычислительно излишним и

можно обойтись локальными данными для перехода от одного базисного решения

к другому, при этом не происходит накопления вычислительных погрешностей.

требуется хранить большой массив данных в виде симплекс-таблиц.

Все эти проблемы существенно усиливаются с увеличением размерности

модели и объема выборки.

К «плохой» геометрии целевой функции оказались чувствительны и

приближенные численные методы нулевого порядка решения задачи (1.7). В процессе

перехода от одного приближенного решения к другому, происходит перескакивание

на другой «излом», который может проходить в стороне от точного решения, что с

учетом близости к нулю градиента целевой функции в точках дифференцируемости

часто приводит к несостоятельности оценок вектора a. Чтобы избежать этого,

необходимо значительно повысить точность алгоритма, а это приведет к быстрому

росту вычислительных затрат.

Анализ известных решений показал, что их основные недостатки состоят в том,

что они не учитывают «пучка» изломов целевой функции и близость к нулю ее

градиента в точках дифференцируемости в достаточно большой окрестности

34

минимума. Также известные алгоритмы недостаточно используют свойство ее

выпуклости.

Таким образом, несмотря на то, что спуск к точному решению можно

осуществлять по различным направлениям, необходимо выбирать такие направления

спуска, которые не позволяли бы отдаляться от «пучка» изломов.

1.3. Робастные методы и обобщенный метод наименьших модулей

Если выбросы в целом имеют симметричный вид, то для оценивания моделей

(1.4) и (1.5), не использующих в качестве входных переменных лагов выходной

величины, МНМ–оценки обеспечивают приемлемые результаты. Однако при

одностороннем характере выбросов наблюдается смещение оценок [64]. Для

оценивания моделей (1.1) (1.3) в условиях выбросов МНМ уже не обеспечивает

состоятельности оценок [8]. Известен также минимаксный подход, сочетающий

достоинства МНК и МНМ, ориентированный на ситуацию, наименее благоприятную

для задачи оценивания, т.е. обеспечивает получение некоторого гарантированного

решения [70]. Суть минимаксного подхода состоит в том, что, сохраняя высокую

устойчивость найденных решений, он позволяет избежать существенного снижения

точности оценивания в том случае, когда условия оценивания близки к

предполагаемым. Наиболее распространенной минимаксной оценкой является M–

оценка Хьюбера, функция потерь которой

𝜌Хьюб(𝑡) = 𝑡2, |𝑡| < 𝑐,

2𝑐|𝑡| − 𝑐2, |𝑡| ≥ 𝑐.

Но данный подход также рассчитан на симметричный характер распределения

засорений, кроме того, получение оценок на основе вышеуказанной функции потерь

даже в весьма простых задачах является трудоемкой процедурой, а также оценки не

имеют содержательной интерпретации [29].

35

Развитие подхода Хьюбера привело к появлению множества сниженных M–

оценок, специально рассчитанных на произвольное (несимметричное) засорение. Их

особенностью является то, что, начиная с некоторого 𝑡 > 𝑐, функция потерь 𝜌(𝑡) из

выпуклой превращается в вогнутую функцию или константу [33, 46, 76, 107].

Существенной проблемой данного подхода является нахождение оценок параметров,

поскольку в каждом случае имеется множество локальных минимумов целевой

функции. Численные итерационные алгоритмы поиска глобального минимума при

этом не гарантируют нахождения точного решения [63].

В качестве альтернативы в [65] предложен ОМНМ. ОМНМ–оценки с конечной

чувствительностью к большим ошибкам обладают высокой устойчивостью к

выбросам, в том числе и в случае их одностороннего характера. Рассмотрим далее

более подробно ОМНМ и известные алгоритмы нахождения ОМНМ–оценок. Без

потери общности для удобства будем рассматривать далее модель (1.5).

ОМНМ–оценки для модели (1.5) находят как решение задачи

𝑊(𝐚) =∑𝜌ОМНМ(|𝑦𝑖 − ⟨𝐱i, 𝐚⟩|) → min𝐚𝜖𝐑𝑚

,

𝑛

𝑖=1

(1.11)

где 𝜌ОМНМ(𝑡) некоторая монотонно возрастающая, дважды непрерывно–

дифференцируемая на положительной полуоси функция, причем 𝜌ОМНМ(0) = 0; ∀𝑡 >

0, 0 < 𝜌′ОМНМ(𝑡) < ∞ и − ∞ < 𝜌′′ОМНМ(𝑡) < 0.

Так же, как и в случае МНМ, для нахождения точного решения задачи (1.11)

можно применить переборный алгоритм по всем узловым точкам. Но опять-таки

перебор всех узловых точек требует решения 𝐶𝑛𝑚 СЛАУ порядка m и вычисления в

каждой узловой точке значения целевой функции. Это означает, что с ростом n и m

наблюдается экспоненциальный рост вычислительных затрат. Действительно

вычислительная сложность алгоритма полного перебора для нахождения ОМНМ-

оценок модели (1.5) равна

36

𝑀 = 𝑂(𝐶𝑛𝑚 ∙ (𝑚3 +𝑚 ∙ 𝑛)).

В [66] предложен итерационный алгоритм для нахождения решения задачи

(1.11), основанный на идеях линейного программирования. Но по тем же

соображениям, которые были изложены в параграфе 1.2, алгоритмы, основанные на

идеях линейного программирования, не гарантируют сходимости к точному решению

задачи (1.11).

В [67] для уменьшение вычислительных затрат предложен модифицированный

обобщенный метод наименьших модулей (МОМНМ) основанный на разбиение

исходной выборки на подвыборки и формирование множества оценок по всем

подвыборкам. Анализ данного метода показал, что найденные оценки редко

совпадают с точным решением.

Таким образом, повышение точности оценивания параметров модели

достигается за счёт осреднения полученных оценок и повторного случайного

формирования подвыборок, что приводит к временным издержкам и росту

вычислительных затрат.

1.4. Выводы по первой главе и постановка задач исследования

Анализ известных подходов к моделированию линейных регрессионных

зависимостей в условиях стохастической неоднородности показал, что

перспективными методами являются МНМ и ОМНМ. Данные два метода объединяет

общая закономерность, состоящая в том, что решения находятся в узловых точках.

Однако их широкое использование в практике математического моделирования в

настоящее время ограничено и затруднено. Причины этого следующие.

Известные алгоритмы моделирования многомерных линейных регрессионных

зависимостей на основе МНМ:

не учитывают «пучка» изломов целевой функции;

37

не учитывают близости к нулю градиента целевой функции в точках

дифференцируемости в достаточно большой окрестности ее минимума;

недостаточно используют свойство выпуклости целевой функции;

часто в процессе поиска минимума целевой функции отдаляются от «пучка»

изломов.

Известные алгоритмы моделирования многомерных линейных регрессионных

зависимостей на основе ОМНМ:

не учитывают «пучка» изломов целевой функции;

недостаточно используют особенности целевой функции;

часто в процессе поиска минимума целевой функции отдаляются от «пучка»

изломов.

Следовательно, необходимо предложить и исследовать:

новый подход к эффективному моделированию линейных регрессионных

зависимостей в условиях стохастической неоднородности на основе методов

наименьших модулей и обобщенных наименьших модулей, устраняющий

приведенные выше недостатки известных алгоритмов;

алгоритмы реализации данного подхода;

комплекс проблемно-ориентированных программ для реализации предложенных

алгоритмов и проведения вычислительных экспериментов для исследования их

эффективности.

38

Глава 2. Метод устойчивого моделирования линейных

многомерных регрессионных зависимостей с помощью спуска

по узловым прямым

Во второй главе описан и исследован новый подход к вычислительно

эффективному моделированию многомерных линейных регрессионных зависимостей

в условиях стохастической неоднородности на основе МНМ и ОМНМ. Он основан на

общей закономерности линейных моделей, найденных на основе МНМ и ОМНМ,

состоящей в том, что параметры моделей лежат в узловых точках.

2.1. Спуск по узловым прямым как решение проблемы

вычислительно эффективного моделирования линейных

регрессионных зависимостей на основе метода наименьших модулей

Введем некоторые определения [133].

Обозначим Ω = Ω1, Ω2, . . . , Ω𝑛 – множество всех гиперплоскостей вида

Ω𝑖 = Ω(𝐚, 𝐱𝑖 , 𝑦𝑖) = 𝑦𝑖 − ⟨𝐱𝑖 , 𝐚⟩ = 0, (𝑖 = 1, 2,… , 𝑛). (2.1)

Определение 1. Назовем узловой точкой, точку пересечения 𝑚 различных

гиперплоскостей вида (2.1):

𝐮 = ∩𝑠∈𝑀

Ω𝑠 , 𝑀 = 𝑘1, … , 𝑘𝑚, 𝑘1 < 𝑘2 < … < 𝑘𝑚, 𝑘𝑙 ∈ 1, 2,… , 𝑛. (2.2)

Обозначим 𝑈 – множество всех узловых точек (2.2).

Определение 2. Назовем узловой такую прямую, которая является пересечением

(𝑚 − 1) различных гиперплоскостей Ω𝑖:

𝑙(𝑘1,...,𝑘𝑚−1) : ⋂ Ω𝑖

𝑘𝑚−1

𝑖=𝑘1

, 𝑘𝑙 ∈ 1, 2,… , 𝑛.

39

Поскольку целевая функция выпуклая и имеет множество линейных изломов, то

спуск у нее функции наиболее эффективен по этим изломам. Но этими изломами

являются отрезки узловых прямых. Следовательно, оценивание коэффициентов

линейных моделей на основе МНМ будет более эффективным, если осуществить

спуск по узловым прямым. Поскольку, спускаясь по узловым прямым, мы устраняем

все указанные выше проблемы известных методов решения задачи (1.7).

Целевая функция задачи (1.11) также имеет изломы, расположенные вдоль

узловых прямых. Кроме того, она является вогнутой (выпуклой вверх) и имеет

множество локальных минимумов, расположенных в узловых точках, что

существенно затрудняет нахождение точного решения задачи (1.11). Поэтому

итерационный алгоритм [43], основанный на идеях линейного программирования,

весьма трудоемок и не гарантирует сходимости к точному решению задачи.

У целевой функции W(a) глобальный минимум также находится в узловой точке,

и она имеет вытянутые изломы, расположенные на узловых прямых. Поэтому поиск

глобального минимума функции W(a) также следует осуществлять по узловым

прямым.

Наша цель – разработать алгоритмы нахождения точного решения задачи (1.7)

(или близкого к точному решению задачи (1.11)), которые были бы оперативными,

быстрыми, и максимально учитывали бы особенности целевой функции. Эти

алгоритмы должны иметь алгебро–геометрическую интерпретацию. С одной

стороны, должна быть учтена геометрия, то есть надо осуществлять спуск по изломам

функции. А с другой стороны, когда мы осуществляем спуск по изломам, нужно

учитывать, что каждый излом лежит на узловой прямой, которая находится как

решение системы линейных алгебраических уравнений (СЛАУ) размерности (𝑚 −1).

Следовательно, вычислительная эффективность алгоритма спуска существенно

повысится, если для нахождения узловых точек, которые лежат на одной узловой

прямой мы найдем разреженную матрицу СЛАУ этой прямой и, используя ее, для

40

каждой узловой точки решим только соответствующее линейное уравнение. То есть

надо учитывать и алгебраические особенности целевых функций Q(a) и W(a).

2.2. Алгоритмы спуска по узловым прямым для метода наименьших

модулей

Для алгоритмов оценивания многомерных линейных регрессионных моделей

методом наименьших модулей основой служит следующая теорема [132].

Теорема 1. Рассмотрим модель (1.5), для которой имеется выборка наблюдений

(𝐱 𝑖 , 𝑦𝑖) = (𝑥𝑖1, 𝑥𝑖2, . .. , 𝑥𝑖𝑚, 𝑦𝑖), (𝑖 = 1, … , 𝑛), и пусть заданы функция Q(a) задачи

(1.7), гиперплоскости (2.1) и множество 𝑈 всех узловых точек (2.2). Тогда, функция

(1.8) всегда имеет точку глобального минимума, эта точка либо единственна и

принадлежит 𝑈, либо состоит из выпуклого линейного многогранника, вершины

которого являются точками из 𝑈.

Доказательство теоремы 1. Известно, что выпуклая, непрерывная, кусочно-

линейная функция либо имеет глобальный минимум, либо стремится к минус

бесконечности. А поскольку функция Q(a) является также ограниченной снизу

(𝑄(𝐚) ≥ 0, как сумма модулей) функцией, то она всегда имеет точку глобального

минимума.

Пусть 𝐚∗ = (𝑎1∗, 𝑎2

∗ , . . . , 𝑎𝑚∗ )𝑇 стационарная точка и является точкой минимума

функции Q(a). Тогда ее градиент в этой точке равен нулю. Поскольку Q(a) кусочно–

линейная функция, то из равенства grad𝑄(𝐚∗) = 𝟎 следует, что функция Q(a) является

постоянной функцией на выпуклом многограннике с вершинами 𝐚1, 𝐚2, . .. , 𝐚𝑙,

гранями которого являются гиперплоскости (2.1), имеющем вид [48]

𝐴 = 𝐚: 𝐚 = ∑λ𝑘2𝐚𝑘

𝒍

𝒌=𝟏

,∑ λ𝑘2 = 1

𝒍

𝒌=𝟏

.

41

Функция Q(a) является постоянной до граничных точек многогранника A,

лежащих на гиперплоскостях (2.1). Следовательно, вершины 𝐚1, 𝐚2, . .. , 𝐚𝑙 этого

многогранника являются узловыми точками и функция Q(a) достигает минимума и в

этих точках. А это означает, что если глобальный минимум функции Q(a) не

единственен, то среди них есть точки, принадлежащие множеству U.

Теперь рассмотрим случае, когда функция Q(a) имеет единственный глобальный

минимум. Все гиперплоскости (2.1), и только они, являются особыми точками

функции Q(a), поскольку только в них она не дифференцируема. Если взять (𝑚 − 1)

произвольных невырожденных соотношений вида 𝑦𝑖− ⟨𝐱i, 𝐚⟩= 0, то они в

совокупности определяют прямую

𝑙(𝑘1,… ,𝑘𝑚−1) : ⋂ Ω𝑖𝑖∈𝑘1,… ,𝑘𝑚−1

, 𝑘𝑙 ∈ 1, 2,… , 𝑛, 𝑙 = 1,𝑚 − 1 , (2.3)

в пространстве (𝑎1, 𝑎2, . . . , 𝑎𝑚) и вместе с тем плоскость 𝑃(𝑄,𝑙(𝑘1,… ,𝑘𝑚−1)

) проходящую

через эту прямую и параллельную оси Q в пространстве (𝑄, 𝑎1, 𝑎2, . . . , 𝑎𝑚).

Присоединяя к системе (2.3) выражение (1.8) и рассматривая их совместно, найдем

уравнение ломанной M, полученной в результате пересечения поверхности (1.8)

плоскостью 𝑃(𝑄,𝑙(𝑘1,… ,𝑘𝑚−1)

).

Если с помощью уравнений, входящих в систему (2.3) выразить (𝑚 1)

неизвестных 𝑎1, 𝑎2, . .. , 𝑎𝑚−1 через оставшееся неизвестное и подставить в выражение

(1.8), то получим уравнение проекции ломанной 𝑀 на плоскость (𝑄, 𝑎𝑚) (рис. 2.1).

Точки 𝑇𝑖1,𝑇𝑖2, . . . , 𝑇𝑖𝑛−𝑚+1 являются проекциями на эту плоскость точек пересечения

прямой 𝑙(𝑘1,… ,𝑘𝑚−1) гиперплоскостями (2.1), не вошедшими в (2.3).

42

Рис. 2.1 – Вид функции Q(am)

Функция Q(am) на плоскости (𝑄, 𝑎𝑚) – выпуклая и кусочно–линейная c особыми

точками 𝑇𝑖1 , 𝑇𝑖2 , . . . , 𝑇𝑖𝑛−𝑚+1, которые являются узловыми точками. Отсюда следует

что функция Q(a) достигает минимума в узловой точке. Теорема доказана.

2.2.1. Описание алгоритмов спуска по узловым прямым для метода

наименьших модулей

В данном пункте опишем эффективные алгоритмы нахождения точного решения

задачи (1.7) осуществляющие спуск по узловым прямым, приведем их подробнее

описание и пояснения.

Алгоритм спуска по узловым прямым.

В качестве начального приближения берется узловая точка, являющаяся

пересечением первых 𝑚 гиперплоскостей Ω1, . . . , Ω𝑚. В данной точке вычисляется

значение целевой функции. Исключив одну из гиперплоскостей, получим узловую

прямую 𝑙. В любой узловой точке можно построить 𝑚 таких узловых прямых. Для

каждой из этих 𝑚 узловых прямых, решив систему линейных алгебраических

43

уравнений, находим точки пересечения этой прямой и остальных (𝑛 −𝑚)

гиперплоскостей, то есть все узловые точки, которые лежат на данной прямой.

Вычисляем значение целевой функции во всех полученных узловых точках, и

выбираем ту, в которой целевая функция достигает наименьшего значения. Найдя эту

точку, продолжим движение из нее по тому же принципу. В результате будет найдена

узловая точка, спуск из которой невозможен. То есть во всех узловых точках, которые

лежат на узловых прямых проходящих через данную точку значение целевой функции

не меньше чем в этой точке. Эта узловая точка будет являться точным решением

задачи (1.7). На рис. 2.2 проиллюстрирован работа алгоритма для случая 𝑚 = 2 [121].

Рис 2.2 – Спуск по узловым прямым

Доказательством сходимость данного алгоритма служит следующая теорема

[124].

44

Теорема 2. Алгоритм спуска по узловых прямым сходится к точному решению

задачи (1.7) за конечное число шагов.

Доказательство теоремы 2. На каждом шаге алгоритма мы находим узловую

точку с все меньшим значением целевой функции, а поскольку количество узловых

точек конечно, то алгоритм выполняется за конечное число шагов.

Докажем, что алгоритм всегда будет достигать минимума целевой функции (т.е.

решения). Допустим, что мы находимся на k-м шаге алгоритма, в какой-то узловой

точке и пытаемся осуществить спуск вдоль одной из m узловых прямых, проходящих

через эту точку, к другой узловой точке с меньшим значением целевой функции.

Покажем, что-либо мы сможем найти такую точку, либо текущая узловая точка

является минимальной.

Целевая функция Q(a) является выпуклой функцией в пространстве Rm. Поэтому,

если взять произвольную точку и 𝑚 линейно независимых прямых 𝑙𝑗, (𝑗 = 1, 2, … ,

𝑚) , проходящих через нее, то либо найдется такая окрестность этой точки, в которой

целевая функция будет убывать хотя бы вдоль одного из направлений, либо в текущей

узловой точке достигается минимум целевой функции.

Поскольку вероятность того что случайная величина (случайные погрешности)

более одного раза примет одно и то же значение равна нулю, то узловые прямые,

проходящие через узловую точку, являются линейно независимыми. То есть вдоль

одной из них целевая функция убывает, причем она будет убывать вплоть до

следующей узловой точки на этой узловой прямой, поскольку между двумя

соседними узловыми точками, целевая функция (1.8) будет линейна, так как все ее

подмодульные выражения не будут менять знак. Действительно, смена знака означает

пересечение одной из образующих гиперплоскостей, что приведет к образованию

узловой точки, а мы рассматриваем часть узловой прямой между двумя соседними

узловыми точками.

45

На практике из-за конечной точности измерений гипотетически могут

возникнуть ситуации, когда узловые прямые окажутся параллельными. В этом случае

узловой точки не существует и переходим к рассмотрению другой узловой прямой.

Таким образом, либо произвольная узловая точка является минимумом целевой

функции, либо хотя бы по одной из проходящих через нее узловых прямых можно

сделать переход к узловой точке с меньшим значением целевой функции. Теорема

доказана.

Спуск по узловым прямым с использованием разреженных матриц.

Двигаясь вдоль прямой 𝑙(𝑘1,… ,𝑘𝑚−1), для нахождения узловых точек,

принадлежащих этой прямой, нужно для каждой точки решать СЛАУ порядка 𝑚:

𝑎1 + 𝑎2𝑥𝑘1,2 + 𝑎3𝑥𝑘1,3 +⋯+ 𝑎𝑚𝑥𝑘1,𝑚 = 𝑦𝑘1𝑎1 + 𝑎2𝑥𝑘2,2 + 𝑎3𝑥𝑘2,3 +⋯+ 𝑎𝑚𝑥𝑘2,𝑚 = 𝑦𝑘2⋯𝑎1 + 𝑎2𝑥𝑘𝑚−1,2 + 𝑎3𝑥𝑘𝑚−1,3 +⋯+ 𝑎𝑚𝑥𝑘𝑚−1,𝑚 = 𝑦𝑘𝑚−1𝑎1 + 𝑎2𝑥𝑖,2 + 𝑎3𝑥𝑖,3 +⋯+ 𝑎𝑚𝑥𝑖,𝑚 = 𝑦𝑖

, (2.4)

где 𝑘1 < 𝑘2 < … < 𝑘𝑚−1, 𝑖 ∈ 1, 2, … , 𝑛, 𝑖 ∉ 𝑘1, 𝑘2, … , 𝑘𝑚−1.

Очевидно, что СЛАУ двух различных узловых точек, принадлежащих этой

прямой, отличаются лишь одним (последним) уравнением. Следовательно,

вычислительная эффективность алгоритма спуска существенно повысится, если для

нахождения узловых точек, которые лежат на прямой 𝑙(𝑘1,… ,𝑘𝑚−1), первые (𝑚 1)

строк расширенной матрицы соответствующей СЛАУ (2.4), с помощью элементарных

преобразований, предварительно преобразуем к ступенчатому виду[122, 132].

Расширенная матрица СЛАУ прямой 𝑙(𝑘1,… ,𝑘𝑚−1) имеет вид

𝐀𝑙(𝑘1,… ,𝑘𝑚−1) =

(

1 𝑥𝑘1,2 𝑥𝑘1,3 … 𝑥𝑘1,𝑚−1 𝑥𝑘1,𝑚 𝑦𝑘11 𝑥𝑘2,2 𝑥𝑘2,3 … 𝑥𝑘2,𝑚−1 𝑥𝑘2,𝑚 𝑦𝑘21 𝑥𝑘3,2 𝑥𝑘3,3 … 𝑥𝑘3,𝑚−1 𝑥𝑘3,𝑚 𝑦𝑘3⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯1 𝑥𝑘𝑚−1,2 𝑥𝑘𝑚−1,3 … 𝑥𝑘𝑚−1,𝑚−1 𝑥𝑘𝑚−1,𝑚 𝑦𝑘𝑚−1)

.

46

Применив алгоритм прямого хода метода Гаусса, преобразуем матрицу

𝐀𝑙(𝑘1,… ,𝑘𝑚−1)

к ступенчатому виду

𝐀′𝑙(𝑘1,… ,𝑘𝑚−1) =

(

1 𝑥𝑘1,2 𝑥𝑘1,3 … 𝑥𝑘1,𝑚−1 𝑥𝑘1,𝑚 𝑦𝑘10 1 𝑥′𝑘2,3 … 𝑥′𝑘2,𝑚−1 𝑥′𝑘2,𝑚 𝑦′𝑘20 0 1 … 𝑥′𝑘3,𝑚−1 𝑥′𝑘3,𝑚 𝑦′𝑘3⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯0 0 0 … 1 𝑥′𝑘𝑚−1,𝑚 𝑦′𝑘𝑚−1)

.

Используя ступенчатую матрицу 𝐀′𝑙(𝑘1,… ,𝑘𝑚−1)

можно значительно сократить

вычислительные затраты на нахождение всех узловых точек, лежащих на прямой

𝑙(𝑘1,… ,𝑘𝑚−1). Действительно для каждой искомой узловой точки имеем расширенную

матрицу

𝐀𝑢(𝑘1,…,𝑘𝑚−1,𝑖) =

(

1 𝑥𝑘1,2 𝑥𝑘1,3 … 𝑥𝑘1,𝑚−1 𝑥𝑘1,𝑚 𝑦𝑘10 1 𝑥′𝑘2,3 … 𝑥′𝑘2,𝑚−1 𝑥′𝑘2,𝑚 𝑦′

𝑘2

0 0 1 … 𝑥′𝑘3,𝑚−1 𝑥′𝑘3,𝑚 𝑦′𝑘3

⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯0 0 0 … 1 𝑥′𝑘𝑚−1,𝑚 𝑦′

𝑘𝑚−1

1 𝑥𝑖,2 𝑥𝑖,3 … 𝑥𝑖,𝑚−1 𝑥𝑖,𝑚 𝑦𝑖 )

, (2.5)

где 𝑘1 < 𝑘2 < … < 𝑘𝑚−1, 𝑖 ∈ 1,2,… , 𝑛, 𝑖 ∉ 𝑘1, 𝑘2,… , 𝑘𝑚−1.

И для нахождения узловой точки остается выполнить только обратный ход

метода Гаусса. Варьируя номер i в (2.5), найдем все узловые точки, лежащие на

прямой 𝑙(𝑘1,… ,𝑘𝑚−1).

Спуск по узловым прямым с использованием разреженных матриц и с

учетом направления спуска.

Вычислительная эффективность алгоритма спуска можно повысить,

рассматривая направление спуска. Поясним это.

Используя ступенчатую матрицу 𝐀′𝑙(𝑘1,… ,𝑘𝑚−1)

, и решив СЛАУ, соответствующую

расширенной матрице (2.5), находим значение 𝑚 −го коэффициента 𝑎𝑚(𝑘1,𝑘2,...𝑘𝑚−1,𝑖)

47

(𝑘1 < 𝑘2 < … < 𝑘𝑚−1, 𝑖 ∈ 1, 2, … , 𝑛, 𝑖 ∉ 𝑘1, 𝑘2, … , 𝑘𝑚−1) для каждой узловой

точки. После чего по возрастанию 𝑎𝑚(𝑘1,𝑘2,...𝑘𝑚−1,𝑖) упорядочиваем все узловые точки,

которые лежат на прямой 𝑙(𝑘1,… ,𝑘𝑚−1), и выполняем описанный выше алгоритм спуска,

но с учетом направления [132]. Если при непосредственном переходе от одной

узловой точки к другой значение целевой функции увеличивается, то в этом

направлении значение целевой функции будет увеличиваться во всех узловых точках

(вытекает из выпуклости целевой функции). Следовательно, для всех остальных

узловых точек в этом направлении вычисление значения целевой функции и

коэффициентов 𝑎𝑗(𝑘1,𝑘2,...𝑘𝑚−1,𝑖), 𝑗 = 1, 2,… ,𝑚−1 являются вычислительно излишни и

не осуществляются. В следствии чего существенно повышается вычислительная

эффективность алгоритма.

2.2.2. Исследование вычислительных затрат алгоритмов спуска для МНМ

Исследуем вычислительные затраты алгоритмов спуска по узловым прямым. Для

этого приведем их детальную схему и проведем анализ вычислительной сложности

всех функций, заложенных в базис алгоритмов, а также среднего количества

повторений для его выполнения.

На рис. 2.3. приведена блок–схема алгоритма спуска по узловым прямым для

МНМ. На рис. 2.4. показана блок–схема процедуры obj, предназначенной для

вычисления значения целевой функции.

48

Начало

Ввод X,y

A

A=Система первых m

гиперплоскостей 1, 2, , m

p= Решение A

t=1:m

B= A \ i

X-матрица значений объясняющих

(независимых) переменных(n x m размерности)

y-вектор наблюдаемых значений зависимой

переменной(n размерности)

j= 1: (n-m)

C= B U ˚j (*)

coeffMatrix[j, ]=a

A

ans[1]<min

min=ans[1]

coeff=ans[3]

Index[t]=ans[2]

p=coeff

Вывод p

Конец

A=Система Index гиперплоскостей

Index[1], Index[2], , Index[m]

p=coeff

a= решение СЛАУ C методом Гаусса

(**)

Index=Вектор от 1 до m

i=Index[t]

˚= \ Index[1], Index[2], , Index[m]

j= 1: (n-m)

ans[2]= индекс гиперплоскости ˚j в

множестве

ans[3]=coeffMatrix[j, ]

ans[1]=min

Количество итерации среднее количество рассмотренных узловых прямых P

min = obj(X,y,p)

Да

Нет

Да

Нет

Да

Нет

ans[1]=obj(X,y,coeffMatrix[j, ])

obj(X,y,coeffMatrix[j, ])

<ans[1]

Рис. 2.3 – Блок–схема алгоритма спуска по узловым прямым для МНМ

49

Начало

Ввод X,y,p

i=1:n

res = res + |y[i] - <p,x[i, ]>|

res=0

Вывод res

Конец

Рис. 2.4 – Блок–схема процедуры obj

Необходимо оценить среднее количество переходов с одной узловой прямой на

другую (𝑃). Для этого воспользуемся методом статистических испытаний Монте –

Карло [34]. В табл. 2.1 для 1000 испытаний приведены средние значения общего

количества переходов с одной узловой прямой на другую, для некоторых значений 𝑛

и 𝑚.

Таблица 2.1

Среднее количество переходов с одной узловой прямой на другую в алгоритме

спуска по узловым прямым

𝑛 𝑃

𝑚 = 3 𝑚 = 4 𝑚 = 5 𝑚 = 6 𝑚 = 7

30 5.2 6.6 7.7 8.8 9.6

50 6.1 8.0 9.8 11.3 12.7

100 7.3 9.9 12.3 14.3 16.8

150 7.9 10.8 13.7 16.3 19.0

300 9.1 12.7 16.1 19.6 22.9

500 998 13.9 18.0 21.8 26.0

700 10.4 15.0 19.1 23.5 28.1

900 10.9 15.5 20.0 24.4 29.3

1000 11.0 15.7 20.3 25.0 30.1

50

1200 11.3 16.3 21.0 26.1 31.2

1500 11.8 16.8 21.7 26.9 32.4

1700 12.0 17.1 22.1 27.6 33.1

1850 12.1 17.4 22.5 28.0 33.5

2000 12.2 17.6 22.8 28.2 33.8

Также для 1000 испытаний и различных 𝑛 и 𝑚, были построены доверительные

интервалы для P, с доверительной вероятностью 0.95 и 0.99. Результаты приведены в

табл. 2.2.

Таблица 2.2

Доверительные интервалы для 𝑷

𝑛

𝑚 = 3 𝑚 = 5

𝑃

0.95 0.99

𝑃

0.95 0.99

левый

интер.

правый

интер.

левый

интер.

правый

интер.

левый

интер.

правый

интер.

левый

интер.

правый

интер.

32 5.4 5.31 5.5 5.28 5.53 8.12 7.99 8.25 7.95 8.29

64 6.6 6.48 6.72 6.45 6.75 10.67 10.51 10.83 10.45 10.88

128 7.67 7.54 7.79 7.5 7.83 13.1 12.92 13.28 12.86 13.33

256 8.78 8.64 8.92 8.6 8.96 15.46 15.25 15.67 15.18 15.73

512 10.81 10.56 11.08 10.46 11.17 22.1 21.31 22.88 21.07 23.12

Анализ полученных результатов для различных 𝑛 и 𝑚 показал, что количество

переходов с одной узловой прямой на другую имеет линейную зависимость от числа

коэффициентов регрессии 𝑚 и логарифмическую зависимость от объема выборки 𝑛.

То есть наилучшей аппроксимирующей функцией является функция 𝑓(𝑚, 𝑛) = 𝛼1 +

+𝛼2 ln 𝑛 + 𝛼3𝑚 + 𝛼4𝑚 ln𝑛. На рис. 2.5 приведены графики среднего количества

переходов и ее аппроксимирующей функции для а) 𝑚 = 3, б) 𝑚 = 4, в) 𝑚 = 5, г) 𝑚 = 6,

д) 𝑚 = 7.

51

а) 𝒎 = 3

б) 𝒎 = 4

52

в) 𝒎= 5

г) 𝒎 = 6

53

д) 𝒎 = 7

Рис 2.5 – Графики среднего количества переходов и функции 𝒇(𝒎,𝒏) для 𝒎 =

𝟑, 𝟒, 𝟓, 𝟔, 𝟕

Из данных графиков хорошо видно, что функция 𝑓(𝑚, 𝑛) проходит достаточно

близко ко всем заданным на графиках точкам. То есть достаточно хорошо описывает

функцию среднего количества переходов от одной узловой прямой к другому.

Следовательно, среднее количество P переходов с одной узловой прямой на

другую составляет 𝑃~𝑂(𝑚ln𝑛). Таким образом получается, что для нахождения

точного решения задачи (1.7), алгоритм спуска по узловым прямым рассматривает в

среднем 𝑚× 𝑃 узловых прямых, находит все узловые точки, которые лежат на этих

прямых (на каждой узловой прямой (𝑛 −𝑚) таких точек) и вычисляет значение

целевой функции в этих точках. Узловые точки находятся посредством решения

СЛАУ 𝑚–ого порядка методом Гаусса который имеет 𝑂(𝑚3) вычислительную

сложность [22]. Для вычисления значения целевой функции 𝑄(𝐚) выполняются

порядка 2𝑚𝑛 операций умножения и вычитания. Таким образом очевидно, что

алгоритм спуска по узловым прямым имеет среднюю вычислительную сложность

𝑂((𝑛 − 𝑚) ∙ 𝑚 ∙ 𝑚 ln𝑛 ∙ (𝑚3 +𝑚𝑛)) = 𝑂(𝑛𝑚5 ln 𝑛 + 𝑛2𝑚3 ln 𝑛).

54

Рассмотрим теперь как изменяется вычислительная сложность алгоритма спуска

по узловым прямым с использованием разреженных матриц.

Блок–схема алгоритма спуска по узловым прямым с использованием

разреженных матриц от вышеприведенной схемы алгоритма спуска по узловым

прямым отличается следующим образом։

- перед блоком (*) добавляется блок процедуры, которая для расширенной матрицы

B вызывает функцию trapezoidalMatrix (рис. 2.6), которая приводит матрицу B к

трапециевидному виду (TrapB);

- в блоке (*) вместо B берется TrapB;

- в блоке (**) для нахождения решения СЛАУ выполняется только обратный ход

метода Гаусса.

Начало

Ввод B

j=i:(m-1)

TrapB[ j, ] = TrapB[ j, ] - TrapB[ i-1, ]*TrapB[ j, i-1 ] Вывод TrapB

Конец

i=2:(m-1)

TrapB[ i, ] = TrapB[ i, ] /TrapB[ i , i ]

TrapB= B

Рис. 2.6 – Схема процедуры trapezoidalMatrix

Следовательно, использование разреженных матриц приводит к тому, что

вычислительная сложность нахождения узловых точек из 𝑂(𝑚3) превращается в

𝑂(𝑚2). В результате средняя вычислительная сложность алгоритма спуска по

55

узловым прямым уменьшается и становится равной 𝑂(𝑛𝑚4 ln 𝑛 + 𝑛2𝑚3 ln 𝑛).

Очевидно, что при увеличении количества переменных, использование разреженных

матриц вносит более ощутимую вклад в улучшение вычислительной эффективности

алгоритма спуска.

В итоге, проведем анализ вычислительных затрат алгоритма спуска по узловым

прямым с использованием разреженных матриц и с учетом направления спуска. Для

этого, необходимо оценить среднее количество рассмотренных узловых точек L. Как

и в случае оценивания среднего количества переходов, воспользуемся методом

статистических испытаний Монте–Карло. В табл. 2.3 для 1000 испытаний приведены

средние количества рассмотренных узловых точек L, для некоторых значений n и m.

Таблица 2.3

Среднее количество рассмотренных узловых точек в алгоритме спуска с

использованием разреженных матриц и с учетом направления спуска

n Количество узловых точек L

m = 3 m = 4 m = 5 m = 6 m = 7

30 56 91 127 168 211

50 85 136 197 262 334

100 148 235 348 459 604

150 214 337 490 655 847

300 397 618 895 1205 1529

500 644 1002 1441 1905 2477

700 881 1417 2008 2665 3390

900 1123 1752 2505 3330 4242

1000 1257 1946 2771 3676 4701

1200 1461 2341 3345 4400 5626

1500 1855 2928 4043 5413 6973

1700 2155 3294 4600 6165 7860

1850 2278 3520 5004 6763 8602

2000 2453 3867 5363 7215 9204

56

И также для 1000 испытаний и различных 𝑛 и 𝑚, были построены доверительные

интервалы для 𝐿, с доверительной вероятностью 0.95 и 0.99. Результаты приведены в

табл. 2.4.

Таблица 2.4

Доверительные интервалы для 𝑳

𝑛

𝑚 = 3 𝑚 = 5

𝐿

0.95 0.99

𝐿

0.95 0.99

левый

интер.

правый

интер.

левый

интер.

правый

интер.

левый

интер.

правый

интер.

левый

интер.

правый

интер.

32 59.36 58.23 60.48 57.88 60.83 134.74 132.42 137.05 131.7 137.78

64 102.8 100.6 104.9 100 105.6 241 236.96 245 235.7 246.26

128 184.1 180 188.3 178.6 189.6 431.86 424.35 439.37 422 441.73

256 344 336.5 351.6 334.1 354 784.1 769.9 798.2 765.5 802.6

512 727.45 704.7 750.6 697.45 757.85 1858.5 1787.3 1929.5 1766.2 1951.9

Анализ полученных результатов для различных 𝑛 и 𝑚 показал, что среднее

количество рассмотренных узловых точек имеет линейную зависимость от числа

коэффициентов регрессии 𝑚 и объема выборки 𝑛. Следовательно, 𝐿 имеет 𝑂(𝑚𝑛)

вычислительную сложность.

Теорема 3. Алгоритм спуска по узловым прямым с использованием разреженных

матриц и с учетом направления спуска имеет среднюю вычислительную сложность

𝑉 = 𝑂(𝑚2𝑛2 +𝑚4𝑛ln𝑛 +𝑚2𝑛ln2𝑛).

Доказательство теоремы 3. Оценим вычислительную сложность всех

основных функций, заложенных в базисе алгоритма спуска по узловым прямым с

использованием разреженных матриц и с учетом направления спуска. Его блок–схема

приведена на рис. 2.7.

Функция trapezoidalMatrix расширенную матрицу порядка (𝑚 − 1) × (𝑚 + 1)

приводит к трапециевидному виду за (𝑚 − 1) итераций. В ходе i–й итерации

выполняется (𝑚 + 2 − 𝑖) ∙ (2𝑚 − 1 − 2𝑖) операций умножения и вычитания.

Следовательно, общее количество выполненных операций

57

𝐼 = ∑(𝑚 + 2 − 𝑖)(2𝑚 − 1 − 2𝑖)

𝑚−1

𝑖=1

= 2 ∑(𝑚 + 2 − 𝑖)2𝑚−1

𝑖=1

− 5 ∑(𝑚 + 2 − 𝑖)

𝑚−1

𝑖=1

=

= [𝑗 = 𝑚 + 2 − 𝑖] = 2 ∑ 𝑗2𝑚+1

𝑗=3

− 5 ∑ 𝑗

𝑚+1

𝑗=3

.

Известно, что

∑𝑗2𝑚

𝑗=1

=𝑚(𝑚 + 1)(2𝑚 + 1)

6 и ∑𝑗

𝑚

𝑗=1

=𝑚(𝑚 + 1)

2.

Поэтому

𝐼 = 2 ⋅ ((𝑚 + 1)(𝑚 + 2)(2𝑚 + 3)

6− 5) − 5 ⋅ (

(𝑚 + 1)(𝑚 + 2)

2− 3) = 𝑂(𝑚3).

Функция getMCoeff к трапециевидной матрице порядка (𝑚 − 1) × (𝑚 + 1)

добавляет строку и вычисляет m–й коэффициент. Здесь выполняется (𝑚 − 1)

итераций. В ходе i–й итерации выполняется 2(𝑚 + 1 − 𝑖) операций умножения и

вычитания (кроме первой итерации, во время которой выполняется не 2m, а m

операций умножения и вычитания). Следовательно, общее количество выполненных

операций будет равно

2 ∑(𝑚 + 1 − 𝑖)

𝑚−1

𝑖=1

+𝑚 − 1 = 𝑚2 − 1 = 𝑂(𝑚2).

Функция obj функция вычисляет и возвращает значение целевой функции 𝑄(𝐚).

Очевидно, что функция obj имеет 𝑂(𝑚𝑛) вычислительную сложность.

Функция sort реализует сортировку полученного массива. Известно, что

сортировка Хоара в среднем имеет для входного массива из n элементов 𝑂(𝑛 ln 𝑛)

вычислительную сложность [25].

Функция descent (рис. 2.8), имея матрицу вида (2.2.5) и m–й коэффициент,

вычисляет остальные коэффициенты и вызывает функцию obj. Данные действия

58

выполняются циклически (количество итераций примерно равно 𝐿/𝑚 ∙ 𝑃 = 𝑂(𝑚𝑛)/

𝑚 ∙ 𝑂(𝑚 ln𝑛) = 𝑂(𝑛/𝑚 ln𝑛).

Для вычисления остальных коэффициентов выполняется (𝑚 − 1) итераций. В

ходе i–й итерации выполняется 2i операций умножения и вычитания. Следовательно,

общее количество выполненных операций 2 ∑ 𝑖

𝑚−1

𝑖=1

= 𝑚2 −𝑚 = 𝑂(𝑚2).

Поскольку функция obj имеет вычислительную сложность 𝑂(𝑚𝑛), то функция

descent имеет 𝑂(𝑛 ∙ (𝑚𝑛 +𝑚2)/𝑚 ln𝑛) вычислительную сложность.

Теперь из схемы работы алгоритма получим, что спуск по узловым прямым имеет

вычислительную сложность

𝑂 𝑚ln𝑛 ⋅ [𝑚 ⋅ (𝑚3 + (𝑛 −𝑚) ⋅ 𝑚2 + (𝑛 −𝑚) ⋅ ln(𝑛 −𝑚) +𝑛

𝑚ln𝑛⋅ (𝑚2 +𝑚𝑛))] =

= 𝑂(𝑚2𝑛2 +𝑚4𝑛ln𝑛 +𝑚2𝑛ln2𝑛 +𝑚3𝑛) = 𝑂(𝑚2𝑛2 +𝑚4𝑛ln𝑛 +𝑚2𝑛ln2𝑛).

Теорема доказана.

Отметим, что для 𝑛 > max( ln2𝑛; 𝑚2ln𝑛 ) вычислительная сложность спуска по

узловым прямым 𝑉 = 𝑂(𝑚2𝑛2).

На рис. 2.9 отражен вклад, который вносят в улучшение вычислительной

эффективности алгоритма спуска, использование разреженных матриц и

рассматривание направления спуска.

59

Начало

Ввод X,y

A

A=Система первых m

гиперплоскостей 1, 2, , m

p= Решение A

t=1:m

B= A \ i

j= 1: (n-m)

C= TrapB U ˚j

coeffMatrix[j,m]=am

A

ans[1]<min

min=ans[1]

Index[t]=ans[2]

p=coeff

Вывод p

Конец

A=Система Index гиперплоскостей

Index[1], Index[2], , Index[m]

p=coeff

Index=Вектор от 1 до m

i=Index[t]

˚= \ Index[1], Index[2], , Index[m]

Количество итерации среднее количество рассмотренных узловых прямых P

min = obj(X,y,p)

TrapB=trapezoidalMatrix(B)

coeffMatrix[n-m+1, m]=p[m]

coeffMatrix[n-m+1, m+1]=i

sort(coeffMatrix[ ,m])

ans= descent(X,y,coeffMatrix,p,TrapB, Index,mini,t)

coeffMatrix[j,m+1]=индекс

гиперплоскости ˚j в множестве

mini=minНет

Нет

Да

Да

coeff=ans[3]

am =getMCoeff :находится m-й

коэффициент вектора a.

Рис. 2.7 – Блок–схема спуска по узловым прямым для МНМ

60

Начало

Ввод X,y,coeffMatrix,p,

TrapB, Index, t

l=j, где j индекс строки матрицы

coeffMatrix для которой

coeffMatrix[ j,m]=p[m]

l1=n-m+1

l1=l, l2=l

i= (m-1):1

counter = 0

a[m]=coeffMatrix[l1 , m]

k = m:( i+1)

counter = counter + TrapB[ i , k ] * a[k]

a[i] = TrapB[ i , m+1 ] - counter

objValue=obj(X,y,a)

objValue<mini

mini=objValue

q[t]=coeffMatrix[ l1 ,m+1]

q=Index

A

Да

Да

Нет

Нет

A

l1=l1+1

l2=1

i= (m-1):1

counter = 0

a[m]=coeffMatrix[l2 , m]

k = m:( i+1)

counter = counter + TrapB[ i , k ] * a[k]

a[i] = TrapB[ i , m+1 ] - counter

objValue=obj(X,y,a)

objValue<mini

mini=objValue

q[t]=coeffMatrix[ l2 ,m+1]

Да

Да

Нет

Нет

l2=l2-1

Вывод mini,q[t],coeff

Конец

coeff=a

coeff=a

Рис. 2.8 – Блок–схема процедуры descent

61

Рис. 2.9 – Графики вычислительных сложностей алгоритмов спуска по узловым

прямым

Из табл. 2.2 и 2.4 становится очевидным, что получаемые доверительные

интервалы узкие, следовательно, можно говорить о 95%-й оценке вычислительной

трудоемкости.

2.3. Алгоритмы спуска по узловым прямым для обобщенного метода

наименьших модулей

Основным недостатком МНМ является то, что, он рассчитан на симметричный

характер выбросов. В условиях стохастической неоднородности данные не

подчиняются каким–либо параметрическим семействам, поэтому надо применять

иные статистические методы – непараметрические и робастные.

Наиболее актуальным является обеспечение устойчивости моделирования

временных рядов, поскольку они гораздо более чувствительны к стохастической

62

неоднородности данных ввиду зависимости наблюдений. В частности, вид модели

авторегрессии (1.2) говорит о том, что процедура вычисления ее коэффициентов

менее устойчива к выбросам по сравнению с нахождением коэффициентов линейной

регрессии (1.4). Основная причина – зависимость данных, что означает не выполнение

предпосылки 4° Гаусса–Маркова. В результате при расчете коэффициентов

авторегрессии неустойчивыми к выбросам оказываются и МНМ–оценки.

Одним из устойчивых методов оценивания коэффициентов модели (1.5) в случае

неоднородности данных и несимметричного характера выбросов является ОМНМ

[65]. ОМНМ–оценки обладают свойством высокой устойчивости к

гетероскедастичности ошибок. Причем выигрыш проявляется как в более высокой

устойчивости относительно выбросов, так и более низкой дисперсии оценок.

В [61] показано, что минимум целевой функции 𝑊(𝐚) всегда принадлежит

множеству узловых точек U. Поэтому точное решение 𝐚∗ задачи (1.11) может быть

получено путем перебора всех узловых точек и выбора в качестве решения той,

которая обеспечивает минимум целевой функции 𝑊(𝐚).

Перебор всех узловых точек требует решения 𝐶𝑛𝑚 СЛАУ порядка 𝑚 и

вычисления в каждой узловой точке 𝐚(𝑘1,...,𝑘𝑚) значения 𝑊(𝐚(𝑘1,...,𝑘𝑚)). Это означает,

что с ростом 𝑛 и 𝑚 наблюдается экспоненциальный рост вычислительных затрат

[125]. Фактически практическое применение переборного алгоритма ограничено

объемом выборки 𝑛 < 500 и числом коэффициентов регрессии 𝑚 < 4.

2.3.1. Описание алгоритма реализации ОМНМ для линейных моделей на основе

спуска по узловым прямым

Опишем эффективный точный вычислительный метод решения задачи (1.11),

осуществляющего неполный перебор узловых точек.

63

Для реализации идеи неполного перебора узловых точек необходима априорная

информация о примерном расположении точного решения 𝐚∗. Многочисленные

вычислительные эксперименты методом статистических испытаний Монте–Карло

[19] показали, что вектор 𝐚∗, как правило, мало отличается от решение задачи (1.7):

𝐚(0) = argmin𝐚∈𝐑𝑚

∑|𝑦𝑖 − ⟨𝐱𝑖 , 𝐚⟩|

𝑛

𝑖=1

. (2.6)

Алгоритм решения задачи (1.11) также основан на использовании узловых

прямых и состоит в следующем [118, 124].

Шаг 1. Используем в качестве начального приближения 𝐚(1) узловую точку

решение 𝐚(0) задачи (1.11), т.е. считаем 𝐚(1) = 𝐚(0).

Шаг 2. Уточняем решение путем спуска из узловой точки 𝐚(1), поочередно

двигаясь вдоль каждой из 𝑚 узловых прямых, проходящих через 𝐚(1). Выберем ту

узловую точку, в которой целевая функция 𝑊(𝐚) достигает наименьшего значения.

Найдя эту точку, продолжим движение из нее по тому же принципу. В результате

будет найдена узловая точка 𝐚(2), спуск из которой невозможен. При движении вдоль

узловой прямой используем, как и в случае решения задачи (1.7) ступенчатые

расширенные матрицы.

Шаг 3. Для найденной узловой точки 𝐚(2) определим множество гиперплоскостей

Ω(𝐚(2)) ⊂ Ω, состоящее из α ⋅ 100% гиперплоскостей, наименее удаленных от 𝐚(2).

Каждая из гиперплоскостей (2.1) включает в себя случайную ошибку. Ошибки

группируются относительно нуля, чем меньше ошибка, тем меньше гиперплоскости

отличаются друг от друга. Примерный вид графиков (2.1) для 𝑚 = 2, 𝑛 = 128 и

случайных ошибок, имеющих стандартное нормальное распределение приведен на

рис. 1.2. Решение обычно лежит в узловых точках, образованных гиперплоскостями с

малыми величинами ошибок. Все эти гиперплоскости будут располагаться в

пространстве очень «тесно».

64

Шаг 4. С помощью перебора среди всех узловых точек, получаемых в результате

пересечения гиперплоскостей из множества Ω(𝐚(2)) находим ту точку 𝐚(3), в которой

целевая функция принимает наименьшее значение.

Шаг 5. Найденную узловую точку 𝐚(3) сравниваем с 𝐚(2). Если они совпадают, то

работа алгоритма останавливается и в качестве решения задачи (2.6) берется

полученная узловая точка. В противном случае в качестве начального приближения

𝐚(1) берем полученную узловую точку 𝐚(3), переходим к Шагу 2 и повторяем

вышеописанные действия.

2.3.2. Исследование вычислительных затрат алгоритма реализации ОМНМ на

основе спуска по узловым прямым

Проведем анализ вычислительных затрат вышеописанного алгоритма спуска по

узловым прямым для ОМНМ [124].

Теорема 4. Алгоритм решения задачи оценивания параметров линейных

регрессионных моделей обобщенным методом наименьших модулей на основе спуска

по узловым прямым имеет среднюю вычислительную сложность

𝑉 = 𝑂(𝑛2𝑚3 𝑙𝑛 𝑛 + 𝐶𝛼⋅𝑛𝑚 ∙ (𝑚3 +𝑚𝑛)).

Доказательство теоремы 4. Оценим вычислительную сложность всех

основных функций, заложенных в базисе алгоритма. Блок–схемы алгоритма и его

базисных функций приведены на рис. 2.10 – 2.12.

65

Начало

Ввод X,y

X-матрица значений объясняющих

(независимых) переменных(n x m

размерности) y-вектор наблюдаемых значений

зависимой переменной(n размерности)

a(0) = LAD(X,y)a(0) -решение задачи (1) методом наименьших

модулей на основе спуска по узловым

прямым с использованием разреженных

матриц и с учетом направления спуска.

a(1) = a(0)

a(2) = Descent(X,y,a(1))

Осуществляется спуск по узловым прямым с

использованием разреженных матриц и

находится та узловая точка, в которой целевая

функция W(a) достигает наименьшего

значения.

a(3) = Brute-force search(X,y,α,a(2))

a(3)=a(2)

a(1) = a(3)

Нет

Вывод a(3)

Конец

Осуществляется перебор среди всех узловых

точек, получаемых в результате пересечения

гиперплоскостей из множества, состоящего из

наименее удаленных от данной точки α 100%

гиперплоскостей.

Да

Количество итераций = P2

Рис. 2.10 – Блок–схема алгоритма спуска по узловым прямым для ОМНМ

66

Начало

Ввод X,y,a(1)

A

A=Система гиперплоскостей

j1, j2, , jm точкой пересечения

которых является a(1)

t=1:m

B= A \ i

j= 1: (n-m)

C= TrapB U ˚j

coeffMatrix[j, ] = a

A

ans[1]<min

min=ans[1]

Index[t]=ans[2]

a(1) =coeff

Вывод a(1)

Конец

A=Система Index гиперплоскостей

Index[1], Index[2], , Index[m]

a(1)=coeff

a= решение СЛАУ C методом Гаусса

Index=( j1, j2, , jm )

i=Index[t]

˚= \ Index[1], Index[2], , Index[m]

min = obj(X,y,a(1))

TrapB=trapezoidalMatrix(B)

Нет

Нет

Да

Да

coeff=ans[3]

ans[1]=min

j= 1: (n-m)

obj(X,y,coeffMatrix[j, ])<ans[1]

ans[1]=obj(X,y,coeffMatrix[j, ])

ans[2]= индекс гиперплоскости ˚j в

множестве

ans[3]=coeffMatrix[j, ]

Да

Нет

Рис. 2.11 – Блок–схема процедуры Descent для ОМНМ

67

Начало

Ввод X,y,α,a(2)

Distance= (d1, d2, , dn), где di

расстояние от точки a(2) до

гиперплоскости i, i=1,2, ,n

sDistance=sort(Distance, index.Distance)

Index = ik, k = 1,2, ,l , / ik k-й

элеменнт массива sDistance[2]

l =[ n*α ]

˚= t, / t Index

Combin = Матрица, строки которой

являются сочетаниями из Index по m

A

A

j= 1: Сl m

A=Система гиперплоскостей

Combin[j,1], Combin[j,2], , Combin[j,m]

a= решение СЛАУ A методом Гаусса

ans<min

Да

Нет

min = obj(X,y,a(2))

ans = obj(X,y,a)

min = ans

a(2) = a

Вывод a(2)

Конец

Рис. 2.12 – Блок–схема процедуры Brute–force search для ОМНМ

68

Воспользуемся методом статистических испытаний Монте–Карло [34]. В

табл. 2.5 для 1000 испытаний приведены средние значения количества итераций 𝑃2

для некоторых значений 𝑛 и 𝑚.

Таблица 2.5

Среднее количество итераций 𝑷𝟐

𝑛 Количество итераций 𝑃2

𝑚 = 3 𝑚 = 4 𝑚 = 5 𝑚 = 6

32 1.07 1.05 1.02 1

64 1.1 1.11 1.15 1.14

128 1.21 1.27 1.28 1.52

256 1.24 1.34 1.39 1.65

Анализ полученных результатов для различных 𝑛 и 𝑚 показал, что среднее

количество итераций 𝑃2 не превышает 2 и не зависит от 𝑛 и 𝑚.

Функция LAD находит решение задачи (2.6) с помощью алгоритма спуска по

узловым прямым с использованием разреженных матриц и с учетом направления

спуска. Как показано в параграфе 2.2.2 он имеет 𝑂(𝑚2𝑛2 +𝑚4𝑛ln𝑛 +𝑚2𝑛ln2𝑛)

вычислительную сложность.

Функция Descent осуществляет спуск по узловым прямым с использованием

разреженных матриц и имеет 𝑂(𝑛𝑚4 ln 𝑛 + 𝑛2𝑚3 ln 𝑛) вычислительную сложность

(так же показано в параграфе 2.2.2).

Функция Brute–force search выполняет полный перебор среди всех узловых

точек, получаемых в результате пересечения гиперплоскостей из множества,

состоящего из α⋅100% всех гиперплоскостей. Следовательно функция Brute–force

search имеет 𝑂(𝐶α⋅𝑛𝑚 ∙ (𝑚3 +𝑚𝑛)) вычислительную сложность.

Теперь из схемы работы алгоритма (учитывая, что 𝑛 > 𝑚) получим, что он имеет

вычислительную сложность

𝑉 = 𝑂(𝑚2𝑛2 +𝑚4𝑛ln𝑛 +𝑚2𝑛ln2𝑛 + 𝑛𝑚4 ln 𝑛 + 𝑛2𝑚3 ln 𝑛 + 𝐶𝛼⋅𝑛𝑚 ∙ (𝑚3 +𝑚𝑛)) =

69

= 𝑂(𝑛2𝑚3 ln 𝑛 + 𝐶𝛼⋅𝑛𝑚 ∙ (𝑚3 +𝑚𝑛)).

Как и в случае алгоритма спуска по узловым прямым для МНМ, и в этом случае

речь идет о 95%-й оценке вычислительной трудоемкости.

Для оценивания зависимость оптимального выбора 𝛼 относительно количества

переменных и объема выборки, воспользуемся методом статистических испытаний

Монте–Карло. В табл. 2.6 для 100 испытаний приведены общие количества

расхождений решений задачи (1.11) методом спуска по узловым прямым и методом

полного перебора (точного решения), для некоторых значений 𝑛 и 𝑚 и нормально

распределенных случайных ошибок.

Таблица 2.6

Количество расхождений решения полученного методом спуска по узловым

прямым от точного решения

𝑛 𝛼

𝑚 = 3 𝑚 = 4

количество

расхождений

количество

расхождений

64

0.33 0 0

0.25 2 2

0.2 5 3

0.15 12 7

128

0.33 0 0

0.25 0 0

0.15 1 0

0.075 2 1

256

0.33 0 0

0.25 0 0

0.2 0 0

0.15 0 0

0.075 0 0

0.05 4 3

70

512

0.33 0 0

0.25 0 0

0.2 0 0

0.15 0 0

0.075 0 0

0.0375 0 0

0.02 1 1

Результаты статистических испытаний показали, что с увеличением объема

выборки, оптимальное значение параметра 𝛼 уменьшается обратно пропорционально.

А именно, анализ данных приведенных в табл. 2.6 показало, что 𝛼 ≈ 20/𝑛 в случае

нормального закона распределения погрешностей [119]. А когда ошибки имеют

функцию распределение (3.1) результаты статистических испытаний показали, что и

в данном случае 𝛼 обратно пропорционально объему выборки и 𝛼 ≈ 45/𝑛.

2.4. Оценивание нелинейных регрессионных моделей с помощью

ОМНМ

Рассмотрим задачу оценивания параметров некоторых нелинейных

регрессионных зависимостей вида

𝑦𝑖 = 𝑓(𝐱𝑖) + 휀𝑖 , (2.7)

где 𝑓(𝐱𝑖) = 𝑓(𝑥1, 𝑥2, … , 𝑥𝑚) − некоторая действительная, в общем случае нелинейная

функция от 𝑚 объясняющих переменных; ε − случайные остатки.

Данную задачу можно решить с помощью линеаризации. В [63] доказано, что

нелинейные преобразования данных, которые используют для линеаризации

исходной нелинейной регрессионной модели, приводят к гетероскедастичности

ошибок. Следовательно, для устойчивого оценивания параметров нелинейных

регрессионных моделей целесообразно применять ОМНМ [128]

71

𝑊(𝐚) =∑𝜌ОМНМ(|𝑦𝑖 − 𝑓(𝐱𝑖 , 𝐚)|)

𝑛

𝑖=1

→ min𝐚∈𝐑𝑚

, (2.8)

Пусть имеем задачу (2.8) где 𝑓(𝐱𝑖 , 𝑎1, … , 𝑎𝑚) – определенная на 𝐑2𝑚

действительная функция, дважды непрерывно-дифференцируемая по параметрам 𝑎𝑗

на области определения вектора 𝐱, и функция 𝜌ОМНМ(|𝑦𝑖 − 𝑓(𝐱𝑖 , 𝑎1, … , 𝑎𝑚)|) строго

вогнутая.

Тогда все локальные минимумы задачи (2.9) могут находиться только в узловых

точках, которые являются решениями систем уравнений

𝑓(𝐱𝑖1 , 𝑎1, … , 𝑎𝑚) = 𝑦𝑖1

… 𝑓(𝐱𝑖𝑚 , 𝑎1, … , 𝑎𝑚) = 𝑦𝑖𝑚

,

где 𝑖1, … , 𝑖𝑚 – набор индексов, заданный на множестве 1,… , 𝑛, такой что ∀𝑘 ≠

𝑗 𝑖𝑘 ≠ 𝑖𝑗 .

Покажем это. Обозначим

𝑄(𝐚) =∑𝜌ОМНМ(|𝑦𝑖 − 𝑓(𝐱𝑖 , 𝑎1, … , 𝑎𝑚)|) .

𝑛

𝑖=1

(2.9)

Рассмотрим произвольную стационарную точку 𝐚˚ = (𝑎1˚ , … , 𝑎𝑚

˚ ), для которой

𝛻𝑄(𝐚˚) = 0. Предположим, что 𝐚˚ является точкой локального минимума. Поскольку

эта точка не является особой, то функция (2.10) в ней дважды дифференцируема.

Тогда матрица Гессе 𝐻(𝐚˚) должна быть неотрицательно определенной, т.е. все ее

угловые миноры ∆1≥ 0, ∆2≥ 0,… , ∆𝑚+1≥ 0. Определим знак первого углового

минора ∆1. В силу строгой вогнутости функции 𝜌ОМНМ для всех неособых точек

∆1=𝜕2𝑄(𝐚˚)

𝜕(𝑎1˚ )2

=∑𝜌′′ОМНМ(|𝑦𝑖 − 𝑓(𝐱𝑖 , 𝑎1˚ , … , 𝑎𝑚

˚ )|) < 0 .

𝑛

𝑖=1

72

Получено противоречие, следовательно, все стационарные точки функции 𝑄(𝐚)

не являются локальными минимумами. Таким образом, локальные минимумы, если

они существуют, могут находиться только в особых точках. Применив рассуждения,

аналогичные рассуждениям при доказательстве теоремы 1 в [61], получаем, что

локальные минимумы не могут находиться в неузловых особых точках.

2.5. Выводы по второй главе

1. В данной главе описан новый подход для моделирования многомерных

линейных регрессионных зависимостей методами наименьших модулей и

обобщенных наименьших модулей. Подход основан на идее спуска по узловым

прямым.

2. Предложены вычислительно эффективные алгоритмы реализации метода

наименьших модулей и обобщенного метода наименьших модулей при оценивании

параметров линейных моделей, основанные на спуске по узловым прямым.

Вычислительная эффективность обеспечивается за счет того, что каждый шаг

алгоритмов реализуется локально – используются только узловые точки, лежащие на

данной узловой прямой. Наряду с этим преимуществом при локальной реализации не

накапливаются вычислительные погрешности.

3. Доказана сходимость предложенных алгоритмов оценивания многомерных

линейных регрессионных моделей методом наименьших модулей к точному решению

за конечное число шагов.

4. Получены оценки средней вычислительной сложности разработанных

алгоритмов. Так как получаемые доверительные интервалы для этих оценок довольно

узкие, следовательно, можно говорить о 95%-й оценке вычислительной трудоемкости.

73

5. Вычислительная сложность спуска по узловым прямым позволяет на

практике реализовать предложенные алгоритмы для моделирования многомерных

регрессионных зависимостей по экспериментальных данных.

6. Рассмотрены вопросы моделирования нелинейных регрессионных

зависимостей с помощью ОМНМ, сформулированы условия, при которых возможно

получение решения.

74

Глава 3. Программное обеспечение для вычислительно

эффективного моделирования линейных регрессионных

зависимостей на основе спуска по узловым прямым

В настоящей главе обсуждаются идеологические и архитектурные предпосылки

комплекса программ, реализованного в ходе диссертационной работы; его структуру

и взаимосвязь его частей.

3.1. Структура комплекса проблемно–ориентированных программ

для проведения вычислительных экспериментов для исследования

эффективности алгоритмов моделирования

Для реализации алгоритмов моделирования многомерных линейных

регрессионных зависимостей с помощью спуска по узловым прямым, анализа

вычислительной трудоемкости предложенных алгоритмов и проведения

вычислительных экспериментов с целью исследования их эффективности на языке R

был разработан комплекс проблемно–ориентированных программ [120].

R – язык программирования для статистической обработки данных и работы с

графикой, а также свободная программная среда вычислений с открытым исходным

кодом1. R поддерживает широкий спектр статистических и численных методов и

обладает хорошей расширяемостью с помощью пакетов. В базовых пакетах R

содержится множество очень полезных функций, которые делают программирование

действительно быстрым и лаконичным. Как среда разработки для программирования

1 Официальный веб-сайт R-Projec [Электронный ресурс]. ‒ Режим доступа: https://www.r-project.org/about.html (дата

обращения: 11.06.2018).

75

на R используется RStudio2. RStudio – свободная среда разработки программного

обеспечения с открытым исходным кодом. RStudio доступна в двух версиях: RStudio

Desktop, в которой программа выполняется на локальной машине как обычное

приложение; и RStudio Server, в которой предоставляется доступ через браузер к

RStudio установленной на удаленном Linux–сервере. Дистрибутивы RStudio Desktop

доступны для всех современных операционных систем – для Linux, OS X и Windows.

Общая архитектура программного комплекса представлена на рис. 3.1).

Модуль реализации алгоритма полного перебора

Модуль решения задачи

оценивания

коэффициентов линейной

регрессионной модели на

основе МНМ

Модуль преобразования матриц к разреженному виду

Модуль решения задачи

оценивания

коэффициентов линейной

модели на основе ОМНМ

Модуль генерации

тестовых данных

Модуль выполнения

регрессионного

анализа

Модуль оценивания вычислительных сложностей

алгоритмов спуска по узловым прямым

Модуль решения задачи

оценивания

коэффициентов

линейной регрессионной

модели на основе МНК

Модуль реализации метода

вариационно-взвешенных

квадратических

приближений

Модуль реализации

методов спуска нулевого

порядка

Модуль выполнения сравнительного анализа

алгоритмов реализации метода наименьших модулей

Модуль реализации

алгоритма для

модифицированного

ОМНМ

Модуль выполнения сравнительного анализа

алгоритмов реализации обобщенного метода

наименьших модулей

Рис. 3.1 – Общая структура программного комплекса

2 Официальный веб-сайт RStudio [Электронный ресурс]. ‒ Режим доступа: https://www.rstudio.com/ (дата обращения:

11.06.2018).

76

Опишем каждую модуль, его назначение и функциональность.

Модуль преобразования матриц к разреженному виду – реализует алгоритм

решения системы линейных алгебраических уравнений СЛАУ методом Гаусса.

Данный модуль осуществляет как, так называемый прямой ход метода Гаусса для

приведения расширенной матрицы СЛАУ к разреженному виду, так и обратный ход.

Модуль реализации алгоритма полного перебора – осуществляет перебор

всех узловых точек и вычисляет в них значение целевой функции.

Модуль решения задачи оценивания коэффициентов линейной

регрессионной модели на основе МНМ – данный модуль, используя разреженные

матрицы, полученные с помощью модуля преобразования матриц к разреженному

виду, реализует алгоритм спуска по узловым прямым с использованием разреженных

матриц и с учетом направления спуска для МНМ.

Модуль генерации тестовых данных – содержит в себе как реализацию

генератора случайных чисел, так и функции выборки из различных законов

распределения, и другие необходимые статистические процедуры.

Модуль выполнения регрессионного анализа – был разработан для

оценивания среднего количества переходов с одной узловой прямой на другую и

среднего количества рассмотренных узловых точек при реализации алгоритмов

спуска по узловым прямым. Для этого применяется метод статистических испытаний

Монте–Карло, строится линейная регрессионная модель коэффициенты которой

оцениваются с помощью модуля решения задачи оценивания коэффициентов

линейной регрессионной модели на основе МНМ, а также строятся графики

аппроксимации.

Модуль решения задачи оценивания коэффициентов линейной модели на

основе ОМНМ – данный модуль, используя разреженные матрицы, полученные с

помощью модуля преобразования матриц к разреженному виду, и применяя

77

Модуль реализации алгоритма полного перебора, реализует алгоритм спуска по

узловым прямым для обобщенного метода наименьших модулей.

Модуль оценивания вычислительных сложностей алгоритмов спуска по

узловым прямым – опираясь на результаты, полученные с помощью модуля

выполнения регрессионного анализа, выполняет анализ вычислительной

трудоемкости предложенных алгоритмов, основанный на сочетании математических

методов матричной алгебры и комбинаторики с современными технологиями

математического моделирования, вычислительного эксперимента и статистических

испытаний.

Модуль реализации метода вариационно–взвешенных квадратических

приближений – производит последовательную итерацию, на каждой из которых

ищется вектор, минимизирующий специальную квадратичную форму. Начальное

приближение находится с помощью модуля решения задачи оценивания

коэффициентов линейной регрессионной модели на основе МНК.

Модуль реализации методов спуска нулевого порядка – в данном модуле

реализованы такие численные методы поиск безусловного экстремума как метод

конфигураций (метод Хука–Дживса) и адаптивный метод случайного поиска.

Модуль реализации алгоритма для модифицированного ОМНМ –

осуществляет поиск решения задачи оценивания коэффициентов линейной модели на

основе модифицированного обобщенного метода наименьших модулей.

Сравнительный анализ алгоритмов спуска по узловым прямым с известными

точными и приближенными методами реализации МНМ и ОМНМ выполняется

соответственно в модуле выполнения сравнительного анализа алгоритмов

реализации метода наименьших модулей и в модуле выполнения сравнительного

анализа алгоритмов реализации обобщенного метода наименьших модулей.

78

3.2. Сравнительный анализ алгоритмов спуска по узловым прямым с

известными точными и приближенными методами реализации

метода наименьших модулей

В данном параграфе проведем детальный сравнительный анализ алгоритма

спуска по узловым прямым с использованием разреженных матриц и с учетом

направления, с точными алгоритмами на основе полного перебора узловых точек и

сведения к задаче линейного программирования. А также с приближенными

алгоритмами на основе вариационно–взвешенных квадратических приближений и

численных методов спуска нулевого порядка. Основные сравнения с точными

алгоритмами будут проводится по быстродействию, а с приближенными алгоритмами

по точности и быстродействию.

3.2.1. Сравнение с точными алгоритмами на основе полного перебора узловых

точек и сведения к задаче линейного программирования

Известно, что алгоритм полного перебора узловых точек для решения задачи

(1.7) имеет вычислительную сложность

𝑂(𝐶𝑛𝑚 (𝑚3 +𝑚𝑛)),

а алгоритм спуска по узловым прямым с использованием разреженных матриц и с

учетом направления 𝑂(𝑚2𝑛2 +𝑚4𝑛ln𝑛 +𝑚2𝑛ln2𝑛). Следовательно, когда 𝑛 ≫ 𝑚,

вычислительная сложность алгоритма полного перебора превышает вычислительную

сложность алгоритма спуска по узловым прямым в 𝑇 ≈𝐶𝑛𝑚

𝑛 ≈ 𝑛𝑚−1 раз.

На рис. 3.2. приведены зависимости от объема выборки вычислительной

сложности решения задачи (1.7) алгоритмами полного перебора (𝑀1) и спуска по

узловым прямым(𝑀2) [120, 135] .

79

Рис. 3.2 – Функции вычислительных сложностей решения задачи (1.7)

алгоритмами полного перебора и спуска по узловым прямым, для 𝒎 = 𝟓

Рассмотрим теперь задачу (1.9). Известно, что при решении задачи (1.7) с

помощью эквивалентной задачи линейного программирования на основе симплекс–

метода, минимальное количество выполняемых итераций равно 𝑂(𝑛 ln(𝑚 + 𝑛)) а

максимальное 𝑂((𝑚 + 𝑛)2) [73, 74, 103, 110]. Во время каждой итерации выполняется

𝑂((𝑚 + 𝑛)2) арифметических операций. Следовательно, вычислительная сложность

решения задачи линейного программирования симплекс–методом находится в

интервале (𝑂((𝑚 + 𝑛)2𝑛 ln(𝑚 + 𝑛)); 𝑂((𝑚 + 𝑛)4)).

В случае когда 𝑛 ≫ 𝑚, этим диапазоном станет (𝑂(𝑛3 ln 𝑛); 𝑂(𝑛4)). Это

означает, что вычислительная сложность решения задачи (1.7) в случае ее сведения к

задаче линейного программирования, в наилучшем случае, превышает

вычислительную затрату ее решения методом спуска по узловым прямым с

80

использованием разреженных матриц и с учетом направления спуска (когда 𝑛 ≫ 𝑚)

в 𝑇 = 𝑛3 ∙ ln 𝑛

𝑚2 ∙ 𝑛2=

𝑛 ∙ ln 𝑛

𝑚2 раз, а в наихудшем случае – в 𝑇 =

𝑛4

𝑚2 ∙ 𝑛2= (

𝑛

𝑚)2 раз.

На рис. 3.3 приведены графики функции вычислительных сложностей решения

задачи (1.7) с помощью алгоритма полного перебора (𝑀1), симплекс–метода (𝑀2 −

наихудший случай; 𝑀3 − наилучший случай) и алгоритма спуска по узловым

прямым(𝑀4) [135].

Рис. 3.3 – Графики функции вычислительных сложностей решения задачи (1.7)

симплекс–методом и методом спуска по узловым прямым для 𝒎 = 𝟓

Также методом статистических испытаний проведен ряд вычислительных

экспериментов для построения доверительных интервалов для оценки средней

вычислительной сложности алгоритма спуска по узловым прямым и эквивалентной

задачи линейного программирования. В табл. 3.1, 3.2 приведены результаты для

решения задачи (1.7) для числа испытаний 𝑁 = 1000 и количества параметров модели

𝑚 = 5, где случайные ошибки имеют распределение вида

81

𝐹(𝑥) = (1 − 𝛾)𝑁(0, 𝜎2) + 𝛾 (1

𝜋arctg (

𝑥 − 𝑎𝐻𝛾𝐻

) +1

2) (3.1)

где 𝜎 = 1; 𝑎𝐻 = 0; 𝛾𝐻 = 1; 𝛾 = 0.1.

Таблица 3.1

Результаты решений задачи (1.7) с помощью симплекс-алгоритма

n

Среднее

число

итераций

99%-й

доверительный

интервал числа

итераций lg

99%-й

доверительный

интервал lgM

Число

расхождений

от точного

решения, % Левая

граница

Правая

граница

Левая

граница

Правая

граница

32 20.72 20.25 21.18 4.390 4.380 4.399 5.5

64 40.26 39.45 41.05 5.250 5.241 5.258 7.9

128 75.67 74.18 77.15 6.110 6.101 6.118 8.4

256 143.34 140.65 146.02 6.981 6.973 6.989 9.0

512 343.14 326.40 359.00 7.958 7.937 7.978 10.1

Таблица 3.2

Результаты решений задачи (1.7) с помощью спуска по узловым прямым

n

Среднее число

рассмотренных

узловых точек

99%-й

доверительный

интервал

рассмотренных

узловых точек lg

99%-й

доверительный

интервал lgM

Число

расхождений

от точного

решения, % Левая

граница

Правая

граница

Левая

граница

Правая

граница

32 134.74 131.70 137.78 4.334 4.324 4.343 0

64 241.00 235.70 246.26 4.887 4.877 4.897 0

128 431.86 422.00 441.73 5.442 5.431 5.451 0

256 784.07 765.48 802.65 6.002 5.991 6.012 0

512 1858.45 1766.14 1951.92 6.677 6.655 6.699 0

В табл. 3.1, 3.2 𝑀 – число вычислительных операций, – среднее число

вычислительных операций. Все доверительные интервалы числа вычислительных

операций для алгоритма спуска по узловым прямым лежат левее интервалов

82

симплекс-алгоритма. Кроме того, симплекс-алгоритм не всегда находит точное

решение задачи (1.7).

Таким образом, можно констатировать, что вычислительные затраты

предложенного алгоритма спуска по узловым прямым существенно меньше по

сравнению с другими известными точными методами решения задачи (1.7) и в

отличие от симплекс-метода, всегда находится точное решение.

3.2.2. Сравнение с приближенными алгоритмами на основе вариационно–

взвешенных квадратических приближений и численных методов спуска

нулевого порядка

Проведем анализ дисперсии МНМ–оценок, полученных методом вариационно–

взвешенных квадратических приближений (алгоритм Вейсфельда), при разных

значениях вычислительной точности (𝛿 > 0). А также проанализируем во сколько раз

по времени реализация алгоритма Вейсфельда превышает реализацию алгоритма

спуска по узловым прямым. Используем метод Монте–Карло. Рассмотрим модель

(1.6), где ошибки 휀𝑖 имеют (3.1) распределение. Зададим: 𝜎 = 1; 𝑎𝐻 = 0; 𝛾𝐻 = 1; 𝛾 =

0.1; 𝑁 = 1000 − число испытаний. Результаты сравнения приведены в табл. 3.3–3.5.

Здесь обозначено: 𝑠𝑣(𝑛,𝑚) – среднее квадратическое отклонение вектора 𝐚

выборочных оценок параметров модели множественной линейной регрессии

относительно вектора 𝐚∗ точного решения задачи (1.8) для алгоритма Вейсфельда,

𝑡𝑣(𝑛,𝑚) – среднее время вычислений для алгоритма Вейсфельда, 𝑡𝑢(𝑛,𝑚) –для

алгоритма спуска по узловым прямым

𝑠𝑣(𝑛,𝑚) = √1

𝑚 ∙ 𝑁∑∑(𝑎𝑗

(𝑖) − 𝑎𝑗∗)2

𝑁

𝑖=1

𝑚

𝑗=1

,

83

где 𝑎𝑗∗, 𝑗 = 1,𝑚 элементы вектора 𝐚∗, 𝑎𝑗

(𝑖), 𝑗 = 1,𝑚 элементы вектора 𝐚 во время

𝑖 −ого испытания, 𝑖 = 1,𝑁 .

Таблица 3.3

Результаты сравнения алгоритмов Вейсфельда и спуска по узловым прямым

для n = 32

𝛿 𝑠𝑣(𝑛,𝑚) 𝑡(𝑛,𝑚) = 𝑡𝑣(𝑛,𝑚)/𝑡𝑢(𝑛,𝑚)

m = 3 m = 5 m = 7 m = 3 m = 5 m = 7

10−1 3.1410−1 8.1910−1 5.4810−1 0.3 0.27 0.2

10−2 1.7110−1 4.0610−1 2.7610−1 0.7 0.67 0.53

10−3 8.7210−2 2.3610−1 1.8610−1 1.52 1.5 1.15

10−4 5.8910−2 1.1710−1 8.6410−2 3 2.8 2.33

10−5 3.3110−2 6.4210−2 4.8210−2 6.2 3.8 3.8

10−6 2.1310−2 3.3210−2 3.210−2 8.7 5.2 4.4

Таблица 3.4

Результаты сравнения алгоритмов Вейсфельда и спуска по узловым прямым

для n = 64

𝛿 𝑠𝑣(𝑛,𝑚) 𝑡(𝑛,𝑚) = 𝑡𝑣(𝑛,𝑚)/𝑡𝑢(𝑛,𝑚)

m = 3 m = 5 m = 7 m = 3 m = 5 m = 7

10−1 2.5410−1 6.3210−1 4.2210−1 0.28 0.3 0.11

10−2 1.2610−1 3.5210−1 2.310−1 0.7 0.72 0.46

10−3 7.2610−2 1.9210−1 1.4510−1 1.52 1.56 1.1

10−4 3.510−2 1.2710−1 7.5510−2 3 3 1.72

10−5 2.8110−2 6.4110−2 7.0910−2 6.7 4.4 2.9

10−6 1.5610−2 4.1410−2 2.7410−2 8.1 5.6 4.1

Таблица 3.5

Результаты сравнения алгоритмов Вейсфельда и спуска по узловым прямым

для n = 256

𝛿 𝑠𝑣(𝑛,𝑚) 𝑡(𝑛,𝑚) = 𝑡𝑣(𝑛,𝑚)/𝑡𝑢(𝑛,𝑚)

m = 3 m = 5 m = 7 m = 3 m = 5 m = 7

10−1 2.2610−1 4.0310−1 3.4210−1 0.5 0.34 0.17

84

10−2 1.0110−1 1.9710−1 1.3610−1 1.6 0.95 0.44

10−3 3.7210−2 1.0610−1 6.3410−2 3.7 2 1.04

10−4 1.8910−2 8.6210−2 3.3110−2 7.9 3.8 1.82

10−5 1.1110−2 5.0610−2 2.210−2 12.5 7.1 3.4

10−6 9.3810−3 3.1510−2 1.3810−2 20.6 10.1 3.9

Согласно приведенным в табл. 3.3–3.5 результатам для достижения приемлемого

среднеквадратического отклонения, нужно значительно увеличить вычислительную

точность (𝛿 > 0) алгоритма Вейсфельда. Как видно из приведенных выше таблиц, это

приводит к увеличению вычислительных затрат и данный алгоритм по

быстродействию начинает проигрывать алгоритму спуска по узловым прямым

(𝑡(𝑛,𝑚) > 1) [135].

Метод конфигураций (метод Хука–Дживса).

Метод конфигураций (метод Хука–Дживса) представляет собой комбинацию

исследующего поиска с циклическим изменением переменных и ускоряющего поиска

по образцу [42]. Поиск решения начинаем в некоторой начальной точке 𝐚0,

называемой старым базисом. В качестве множества направлений поиска выбирается

множество координатных направлений. Обозначим через 𝑑1, 𝑑2, … , 𝑑𝑚 координатные

направления

𝑑1 = (1, 0,… ,0)𝑇; , 𝑑2 = (0, 1,… ,0)

𝑇; … ; 𝑑𝑚 = (0, 0,… ,1)𝑇 .

При поиске по направлению di меняется только переменная 𝑎𝑖, а остальные

переменные остаются зафиксированными. Задается величина шага, которая мажет

быть различной для разных координатных направлений и переменной в процессе

поиска (Δ1, Δ2, … , Δ𝑚 ≥ 𝜇, где 𝜇 > 0 – параметр для остановки алгоритма).

Фиксируется первое координатное направление и делается шаг в сторону увеличения

соответствующей переменной. Если значение функции в пробной точке меньше

значения функции в исходной точке, шаг считается удачным. В противном случае

необходимо вернуться в предыдущую точку н сделать шаг в противоположном

85

направлении с последующей проверкой поведения функции. После перебора всех

координат исследующий поиск завершается. Полученная точка называется новым

базисом. Если исследующий поиск с данной величиной шага неудачен, то она

уменьшается, и процедура продолжается. Поиск заканчивается, когда текущая

величина шага станет меньше некоторой величины.

Поиск по образцу заключается в движении по направлению от старого базиса к

новому. Величина ускоряющего шага задается ускоряющим множителем 𝜆 > 1.

Успех поиска по образцу определяется с помощью исследующего поиска из

полученной точки. Если при этом значение в наилучшей точке меньше, чем в точке

предыдущего базиса, то поиск по образцу удачен. Если поиск по образцу неудачен,

происходит возврат в новый базис, где продолжается исследующий поиск с

уменьшенным шагом (коэффициент уменьшения шага 𝛼 > 1).

Проведем анализ дисперсии МНМ–оценок, полученных методом конфигураций.

Используем метод Монте–Карло. Для этого рассмотрим модель (1.6), где ошибки 휀𝑖

имеют (3.1) распределение. Зададим: 𝜎 = 1; 𝑎𝐻 = 0; 𝛾𝐻 = 1; 𝛾 = 0.1; Δ1 = Δ2 = ⋯ =

Δ𝑚 = 1, 𝜇 = 10−6, 𝜆 = 1.5, 𝛼 = 2, 𝑁 = 1000 − число испытаний. Начальная точка 𝐚0

была сгенерирована случайным образом. Результаты сравнения приведены в табл. 3.6.

Здесь обозначено: 𝑠𝑝(𝑛,𝑚) – среднее квадратическое отклонение вектора 𝐚

выборочных оценок параметров модели множественной линейной регрессии

относительно вектора 𝐚∗ точного решения задачи (1.7) для метода конфигураций.

Таблица 3.6

Результаты сравнения алгоритма спуска по узловым прямым и метода

конфигураций по точности

n 𝑠𝑝(𝑛,𝑚)

m = 3 m = 5 m = 7

32 4.05 41.32 14.52

64 3.36 43.99 12.19

128 2.87 46.91 14.27

86

256 2.55 47.96 13.81

512 2.18 51.38 14.98

1024 1.82 53.11 12.82

Стоит отметить, что когда в качестве начальной точки в методе конфигураций

берется МНК–оценка модели, то значительно ухудшается точность алгоритма.

Действительно в этом можно убедится, если проанализировать результаты,

приведенные в табл. 3.7. Что еще раз доказывает несостоятельность оценок

полученные методом конфигураций, причиной которой является «плохая» геометрия

целевой функции.

Таблица 3.7

Результаты сравнения алгоритма спуска по узловым прямым и метода

конфигураций по точности (в качестве начальной точки 𝐚𝟎 берется МНК–

оценка задачи (1.7))

n 𝑠𝑝(𝑛,𝑚)

m = 3 m = 5 m = 7

32 33.54 275.68 68.67

64 104.79 200.01 173.21

128 94.94 125.69 18.89

256 18.08 591.61 37.79

512 55.12 128.99 36.74

1024 114.04 137.11 166.48

Адаптивный метод случайного поиска

Задается начальная точка 𝐚0. Каждая последующая точка находится по формуле

𝐚𝑘+1 = 𝐚𝑘 + 𝑡𝑘𝜉𝑘 ,

где 𝑡𝑘 > 0 – величина шага; 𝜉𝑘– случайный вектор единичной длины, определяющий

направление поиска; 𝑘 – номер итерации. На текущей итерации при помощи

генерирования случайных векторов 𝜉𝑘 получаются точки, лежащие на гиперсфере

радиуса 𝑡𝑘 с центром в точке 𝐚𝑘. Если значение функции в полученной точке не

меньше, чем в центре, шаг считается неудачным. Если число неудачных шагов из

87

текущей точки достигает некоторого числа 𝑀 , дальнейший поиск продолжается из

той же точки, но с меньшим шагом до тех пор, пока он не станет меньше заранее

заданной величины 𝑇 . Если же значение функции в полученной точке меньше, чем в

центре, шаг считается удачным, и в найденном направлении делается увеличенный

шаг, играющий роль ускоряющего шага (как при поиске по образцу в методе

конфигураций). Если при этом значение функции снова меньше, чем в центре,

направление считается удачным и дальнейший поиск продолжается из этой точки.

Если же значение функции не стало меньше, чем в центре, направление считается

неудачным и поиск продолжается из старого центра.

Как и в случае метода конфигураций, рассмотрим модель (1.6) с (3.1) ошибками

и проведем анализ дисперсии МНМ–оценок, полученных посредством адаптивного

метода случайного поиска. Зададим: 𝜎 = 1; 𝑎𝐻 = 0; 𝛾𝐻 = 1; 𝛾 = 0.1; 𝜇 = 10−6;

коэффициенты расширения 𝛼 = 1.618 и сжатия 𝛽 = 0.618; 𝑀 = 4𝑚 – максимальное

число неудачно выполненных испытаний на текущей итерации, 𝑡0 = 1 – начальную

величину шага, 𝑇 = 10−6 – минимальную величину шага. 𝑁 = 1000 − число

испытаний. Так же, как в случае решения задачи (1.7) методом конфигураций были

проанализированы два варианта выбора начальной точки 𝐚0։ сгенерировать

случайным образом, либо взять как МНК−оценку задачи (1.7). Результаты приведены

в табл. 3.8, 3.9. Здесь обозначено: 𝑠𝑟(𝑛,𝑚) – среднее квадратическое отклонение

вектора 𝐚 выборочных оценок параметров модели множественной линейной

регрессии относительно вектора 𝐚∗ точного решения задачи (1.7) для адаптивного

метода случайного поиска.

Таблица 3.8

Результаты сравнения алгоритма спуска по узловым прямым и адаптивного

метода случайного поиска по точности

n 𝑠𝑟(𝑛,𝑚)

m = 3 m = 5 m = 7

32 3.89 38.27 11.78

88

64 3.73 41.21 10.21

128 3.63 42.89 13.12

256 3.59 44.57 11.85

512 3.37 48.36 12.98

1024 2.32 50.22 10.56

Таблица 3.9

Результаты сравнения алгоритма спуска по узловым прямым и адаптивного

метода случайного поиска по точности (в качестве начальной точки 𝐚𝟎 берется

МНК–оценка задачи (1.7))

n 𝑠𝑟(𝑛,𝑚)

m = 3 m = 5 m = 7

32 7.17 154.15 21.69

64 7.31 114.54 102.12

128 36.54 77.87 11.74

256 26.79 324.12 21.46

512 5.65 81.56 15.42

1024 3.32 92.99 51.45

3.3. Сравнительный анализ алгоритма спуска по узловым прямым с

известными точными и приближенными методами реализации

обобщенного метода наименьших модулей

Известно, что алгоритм полного перебора узловых точек для решения задачи

(1.11) имеет вычислительную сложность 𝑂(𝐶𝑛𝑚 (𝑚3 +𝑚𝑛)), а у алгоритма спуска по

узловым прямым вычислительную сложность 𝑂(𝑛2𝑚3 ln 𝑛 + 𝐶α⋅𝑛𝑚 (𝑚3 +𝑚𝑛)).

Следовательно, при оптимальном выборе 𝛼 (и когда 𝑛 ≫ 𝑚), вычислительная

сложность алгоритма полного перебора превышает вычислительную сложность

алгоритма спуска по узловым прямым в

89

𝑇 ≈Cnm

𝑛 ∙ ln 𝑛 раз.

Одним из известных методов нахождения приближенного решения задачи (1.11)

является алгоритм модифицированного ОМНМ (МОМНМ) [67], состоящего в

следующем. Вся выборка (𝐗, 𝐲) разбивается на q подвыборок (𝐗𝑙 , 𝐲𝑙) случайным

образом:

𝐲𝑙 = 𝑦𝑘𝑙 , 𝐗𝑙 = 𝑥𝑗𝑘

𝑙 , 𝑙 = 1,2,… , 𝑞, 𝑗 = 1,2,… ,𝑚.

На каждой подвыборке, с помощью алгоритма полного перебора находим вектор

оценок коэффициентов 𝐚𝑙 = (𝑎1𝑙 , 𝑎2

𝑙 , … , 𝑎𝑚𝑙 ), 𝑙 = 1,2,… , 𝑞. В результате имеем q оценок

вектора коэффициентов и в качестве решения выбираем ту при которой целевая

функция принимает наименьшее значение.

Таким образом, вместо решения 𝐶𝑛𝑚 СЛАУ необходимо решить 𝑞𝐶𝑟

𝑚 СЛАУ, 𝑟 =

[𝑛/𝑞], что, очевидно, значительно меньше при больших значениях 𝑚 и 𝑛.

Проведем исследование описанного алгоритма спуска по узловым прямым для

ОМНМ и алгоритма МОМНМ. Проведем также сравнительный анализ

вычислительных затрат вышеперечисленных алгоритмов и алгоритма полного

перебора. Воспользуемся методом статистических испытаний Монте–Карло.

Рассмотрим модель (1.6) с (3.1) ошибками. Зададим: 𝜎 = 1; 𝑎𝐻 = 0; 𝛾𝐻 = 1; 𝑞 = 2; 𝑛 =

100 − объем выборки и 𝑁 = 1000 − число испытаний. В качестве функции потерь

используем 𝜌ОМНМ(|𝑥|) = arctg|𝑥|.

Результаты сравнения приведены в табл. 3.10–3.11. Здесь обозначено: 𝑝′(𝑛,𝑚) –

процент совпадения вектора выборочных оценок коэффициентов модели

множественной линейной регрессии относительно вектора точного решения задачи

(1.11) для алгоритма спуска по узловым прямым, 𝑝′′(𝑛,𝑚) – для алгоритма

модифицированного ОМНМ, 𝑡′(𝑛,𝑚) и 𝑡′′(𝑛,𝑚) – среднее время вычислений для

алгоритма спуска по узловым прямым и алгоритма модифицированного ОМНМ

соответственно, 𝑡(𝑛,𝑚)– время вычислений для алгоритма полного перебора.

90

Таблица 3.10

Результаты сравнения алгоритмов МОМНМ и спуска по узловым прямым по

точности и быстродействию для m=3

𝛾 𝑝′(𝑛,𝑚) 𝑡(𝑛,𝑚)/𝑡′(𝑛,𝑚) 𝑝′′(𝑛,𝑚) 𝑡(𝑛,𝑚)/𝑡′′(𝑛,𝑚) 0.05 100 27.3 25 10.92

0.1 99.9 27.3 24.4 10.92

0.2 99.9 27.3 24 10.92

Таблица 3.11

Результаты сравнения алгоритмов МОМНМ и спуска по узловым прямым по

точности и быстродействию для m = 4

𝛾 𝑝′(𝑛,𝑚) 𝑡(𝑛,𝑚)/𝑡′(𝑛,𝑚) 𝑝′′(𝑛,𝑚) 𝑡(𝑛,𝑚)/𝑡′′(𝑛,𝑚) 0.05 100 49.3 22.3 20.6

0.1 100 49.3 22 20.6

0.2 99.9 49.3 21.5 20.6

Результаты, приведенные в табл. 3.10–3.11 показывают, что алгоритм спуска по

узловым прямым имеет высокую точность при относительно малых вычислительных

затратах по сравнению с алгоритмами полного перебора и МОМНМ.

3.4. Комплекс программ для моделирования и исследования

линейных регрессионных моделей с помощью спуска по узловым

прямым

Программный комплекс для моделирования и исследования многомерных

линейных регрессионных зависимостей состоит из трех программ.

Первая программа предназначена для вычисления точного решения задачи

оценивания параметров линейных регрессионных моделей методом наименьших

91

модулей. В программу из CVS, Stata, SPSS, SAS либо Excel файла импортируется

выборка наблюдений и выполняется эффективный алгоритм нахождения точного

решения вышеуказанной задачи, основанный на спуске по узловым прямым.

Реализуются также алгоритмы спуска с использованием разреженных матриц и с

рассматриванием направления спуска. Данная программа всегда позволяет найти

точное решение задачи оценивания параметров линейных регрессионных моделей

методом наименьших модулей при существенно низких вычислительных затратах.

Вторая программа предназначена для эффективно вычисления решения задачи

оценивания параметров линейных регрессионных моделей обобщенным методом

наименьших модулей. Она реализует эффективный алгоритм нахождения решения

задачи (1.11), основанный на спуске по узловым прямым, который позволяет

значительно снизить вычислительные затраты, при этом обычно удается найти точное

решение.

Третья программа для заданного коэффициента замещения определяет

оптимальные численности легализованных работников из неформального сектора по

всем регионам РФ. В программу из Excel файла импортируются следующие данные:

весовые коэффициенты; отношение среднегодовой численности занятых в

неформальном секторе к среднегодовой численности занятых в экономике (легальный

сектор) в 𝑖 −м регионе; отношение среднемесячной номинальной начисленной

заработной платы работающих в экономике (легальный сектор) в 𝑖 −м регионе к

среднемесячной номинальной начисленной заработной плате по РФ в целом;

среднегодовая численность занятых в неформальном секторе в 𝑖 −м регионе, млн.

чел.; среднегодовая численность занятых в экономике (легальный сектор) е в 𝑖 −м

регионе, млн. чел.; среднемесячная номинальная начисленная заработная плата

работающих в экономике (легальный сектор) в 𝑖 −м регионе, тыс. руб.;

среднемесячная номинальная начисленная заработная плата работающих в экономике

(легальный сектор) по РФ, тыс. руб.; требуемая дополнительная номинальная

92

начисленная заработная плата за счет легализации работников неформального сектора

по всем регионам РФ в целом для обеспечения заданного коэффициента замещения,

млрд. руб. И для заданного коэффициента замещения, в разрезе видов экономической

деятельности, с использованием алгоритма ОМНМ-оценивания, реализуется

оптимизационная задача.

3.5. Выводы по третьей главе

1. Описан программный комплекс для моделирования многомерных линейных

регрессионных зависимостей на основе спуска по узловым прямым, а также для

проведения вычислительных экспериментов с целью исследования эффективности

предложенных алгоритмов оценивания параметров моделей.

2. Сравнительный анализ, проведенный в данной главе показал, что

предложенный алгоритм спуска по узловым прямым с использованием разреженных

матриц и с учетом направления спуска, выигрывает по сравнению с известными

точными и приближенными методами реализации МНМ и может эффективно

использоваться на практике.

3. Сравнительный анализ методом статистических испытаний Монте–Карло

показал, что разработанный новый вычислительный алгоритм оценивания параметров

линейных моделей методом обобщенных наименьших модулей по быстродействию

превосходит известные решения.

93

Глава 4. Результаты решения прикладных задач

В этой главе рассмотрены примеры реализации и практического использования

разработанного программного комплекса.

В параграфе 4.1 на конкретных модельных примерах с симметричным и

несимметричным засорением выполнено сравнение разработанных алгоритмов

оценивания параметров линейных регрессионных моделей на основе спуска по

узловым прямым с известными алгоритмами.

В параграфе 4.2 приведены четыре примера применения разработанного

программного комплекса при решении практически важных задач в технике и

экономике.

В первых двух примерах для фактических данных был проведен сравнительный

анализ результатов регрессионного моделирования на основе МНМ, выполненный с

помощью предложенного алгоритмов спуска по узловым прямым и известных

алгоритмов МНМ-оценивания. В первом примере рассматривалась задача

моделирования условного среднего экономического ущерба муниципальных

образований Свердловской области от пожаров. Во втором примере строилась

математическая модель для прогнозирования относительной производительности

центрального процессора.

В третьем примере описаны результаты решения задачи оптимизации периода

эксплуатации высоконагруженной техники на основе анализа средних удельных

затрат. Для устойчивости к выбросам оценки средних ежемесячных затрат на

эксплуатацию автомобиля вычислялись методом наименьших модулей. МНМ-оценки

находятся с помощью алгоритма спуска по узловым прямым.

В последнем примере рассмотрена задача оптимизация численности

плательщиков страховых взносов в пенсионную систему за счет легализации

неформальной занятости в регионах. С целью определения оптимального значения

94

численности занятого населения в неформальном секторе, которое требуется

легализовать для заданного коэффициента замещения, в разрезе видов экономической

деятельности была решена оптимизационная задача с использованием алгоритма

ОМНМ-оценивания.

4.1. Примеры реализации и сравнения на модельных данных

разработанных алгоритмов на основе спуска по узловым прямым с

известными алгоритмами

В первом примере для случая оценивания параметров линейной регрессионной

модели с симметричным засорением приведено сравнение алгоритма реализации

МНМ на основе спуска по узловым прямым с известными алгоритмами.

Во втором примере для случая оценивания параметров линейной регрессионной

модели с несимметричным засорением приведено сравнение алгоритма реализации

ОМНМ на основе спуска по узловым прямым с известными алгоритмами.

4.1.1. Пример моделирования линейной регрессионной зависимости в условиях

стохастической неоднородности предложенным и известными алгоритмами

реализации МНМ

Пример 4.1. Рассмотрим пример решения задачи (1.7) с помощью

предложенного алгоритма спуска по узловым прямым с использованием разреженных

матриц и с учетом направления спуска, а также с помощью известных алгоритмов ее

решения. Зададим математическую модель множественной линейной регрессии как

𝐘 = 3𝐗𝟏 + 2𝐗𝟐 + 8𝐗𝟑 + 5𝐗𝟒 + 7𝐗𝟓 + , (4.1)

95

где X1 = 1; ошибки 휀𝑖 в модели (4.1) имеют распределение (3.1), моделирующее

стохастическую неоднородность экспериментальных данных, где 𝜎 = 1; 𝑎𝐻 = 0; 𝛾𝐻 =

1; 𝛾 = 0.1.

Воспользовавшись методом статистических испытаний Монте–Карло, были

сгенерированы модельные данные (𝑚 = 5; 𝑛 = 64). Полученная в результате

моделирования выборка приведена в табл. 4.1.

Таблица 4.1

Выборка наблюдений для модели (1.5)

𝐱𝟏 𝐱𝟐 𝐱𝟑 𝐱𝟒 𝐱𝟓 y

1 5.712 27.19 41.61 47.26 770.44

1 12.26 23.65 39.72 52.27 782.59

1 12.59 29.32 43.24 56.94 877.53

1 9.31 22.44 37.95 49.61 738.21

1 13.62 24.02 37.65 50.47 764.61

1 9.47 21.72 42.69 48.81 751.89

1 3.48 24.02 35.49 55.03 765.11

1 12.19 23.23 37.59 51.85 764.07

1 13.39 24.63 39.20 51.79 786.69

1 7.89 27.01 43.04 50.16 801.05

1 7.41 20.56 42.91 57.29 798.27

1 5.75 20.05 42.51 52.87 757.54

1 5.54 26.71 36.01 57.79 811.23

1 7.53 24.81 43.41 54.29 813.87

1 9.64 27.89 38.57 58.61 849.43

1 13.01 25.18 39.52 57.91 832.45

1 9.31 26.50 42.45 52.37 813.63

1 10.18 24.38 41.82 56.95 826.86

1 12.49 29.39 43.37 52.00 843.71

1 14.52 28.44 38.57 57.51 854.51

1 11.26 27.21 37.52 57.66 835.02

1 6.53 21.79 41.07 58.92 808.84

1 12.92 26.53 37.39 50.98 784.32

1 7.95 21.29 43.43 55.82 797.15

1 12.22 20.58 42.52 47.68 738.02

96

1 14.83 20.20 39.05 51.06 748.06

1 8.41 28.96 39.29 49.02 792.12

1 4.45 28.92 38.60 58.89 848.03

1 3.84 28.54 35.83 51.65 779.75

1 12.05 29.81 36.53 48.30 787.09

1 3.87 29.77 40.23 52.89 820.01

1 11.23 21.84 37.49 55.46 774.85

1 8.21 29.33 42.63 55.89 858.87

1 7.38 28.06 42.70 58.75 865.85

1 8.86 29.80 41.79 52.62 837.00

1 5.35 23.65 43.59 49.62 768.09

1 3.80 24.59 39.68 52.43 773.91

1 6.52 26.47 38.21 55.69 808.37

1 12.72 29.65 39.501 56.95 864.12

1 6.39 20.93 41.03 50.76 742.85

1 14.39 27.05 37.39 51.35 795.03

1 11.13 23.11 42.85 50.18 774.85

1 10.52 28.94 39.67 58.23 861.27

1 11.14 23.00 36.09 52.95 759.94

1 7.03 25.52 42.24 52.99 806.82

1 14.59 24.69 36.35 48.47 751.75

1 14.95 24.97 37.01 47.82 750.43

1 4.91 29.13 41.51 53.57 828.54

1 14.18 22.85 42.52 48.28 762.71

1 13.48 20.78 36.79 58.58 790.98

1 4.13 28.88 36.91 47.79 761.911

1 13.76 23.88 39.69 53.10 790.71

1 7.51 23.23 41.29 52.82 779.33

1 11.59 20.15 36.77 56.38 765.91

1 14.03 29.69 37.09 48.77 795.17

1 9.54 25.68 43.79 57.61 848.19

1 12.70 22.39 39.47 54.73 786.80

1 9.67 20.97 36.98 57.69 779.65

1 10.89 23.93 41.55 47.87 759.42

1 7.48 21.78 36.85 56.30 770.14

1 3.21 29.77 42.23 49.52 804.86

1 3.12 23.08 35.51 47.28 702.72

1 3.54 21.48 35.55 50.29 711.54

1 12.07 28.41 40.64 53.38 831.96

97

На основе имеющейся выборки наблюдений, с помощью разработанного

комплекса проблемно-ориентированных программ [130] задача (1.7) была решена

алгоритмом спуска по узловым прямым с использованием разреженных матриц и с

учетом направления спуска, симплекс методом, методом вариационно-взвешенных

квадратических приближений, методом конфигураций (метод Хука-Дживса) и

адаптивным методом случайного поиска. Полученные решения приведены в табл. 4.2.

Таблица 4.2

МНМ-оценки коэффициентов модели (4.1), полученные разными алгоритмами

Алгоритм 𝑎1 𝑎2 𝑎3 𝑎4 𝑎5 𝑄(𝐚) Алгоритм полного перебора 3.11 2.00 8.00 4.97 7.02 45.14

Алгоритм спуска по узловым прямым 3.11 2.00 8.00 4.97 7.02 45.14

Симплекс-метод 2.85 2.00 8.00 4.97 7.02 47.79

Метод вариационно-взвешенных

квадратических приближений 3.30 1.99 8.02 4.98 7.00 45.32

Метод конфигураций 6.82 2.03 7.98 4.95 6.97 45.85

Адаптивный метод случайного поиска 6.63 2.02 7.97 4.94 6.99 45.76

Здесь в случае метода вариационно−взвешенных квадратических приближений

вычислительная точность была 𝛿 = 10−5, а для методов спуска нулевого порядка:

Δ1 = Δ2 = ⋯ = Δ𝑚 = 1 − начальные величины шагов по координатным

направлениям; 𝜇 = 10−5 − параметр для остановки алгоритма; 𝜆 = 1.5 − ускоряющий

множитель; 𝛼 = 2 − коэффициент уменьшения шага; 𝜏 = 1.618 − коэффициент

расширения; 𝛽 = 0.618 − коэффициент сжатия; 𝑀 = 4 ∙ 𝑚 – максимальное число

неудачно выполненных испытаний на текущей итерации, 𝑡0 = 1 − начальная

величина шага, 𝑇 = 10−6 −минимальная величина шага.

Проанализируем полученные результаты по отдельности, а также решение,

полученное предложенным нами алгоритмом, сравним с остальными.

98

Отметим, что решение, найденное с помощью алгоритма спуска по узловым

прямым с использованием разреженных матриц и с учетом направления спуска,

совпала с решением, найденным с помощью алгоритма полного перебора, то есть с

точным решением. При этом потребовалось выполнить 155,388 тыс. арифметических

операций, в случае же полного перебора 3392,907840 млн. операций.

Как видно из табл. 4.2 симплекс метод не обеспечил нахождение точного

решения, при этом потребовалось выполнить 195,201 тыс. арифметических операций.

Метод вариационно-взвешенных квадратических приближений при

вычислительной точности равной 𝛿 = 10−5 проигрывает по быстродействию

предложенному алгоритму нахождения точного решения, при этом не обеспечивая

нахождение точного решения.

Использование же методов нулевого порядка привело к большой ошибке при

оценивании свободного члена a1, а значит, и вектора a в целом. Чтобы избежать этого,

необходимо значительно повысить точность алгоритма, а это приведет к

значительному росту вычислительных затрат.

Таким образом, данный пример еще раз показывает, что предложенный алгоритм

спуска по узловым прямым с использованием разреженных матриц и с учетом

направления спуска, по точности и по быстродействию выигрывает по сравнению с

остальными известными алгоритмами решения задачи (1.7).

4.1.2. Пример моделирования регрессионной зависимости в условиях

стохастической неоднородности предложенным и известными алгоритмами

реализации ОМНМ

Пример 4.2. Рассмотрим теперь пример решения задачи (1.11) с помощью

предложенного алгоритма спуска по узловым прямым для ОМНМ (для 𝛼 = 45/𝑛),

алгоритма полного перебора, алгоритма спуска по узловым прямым для МНМ и

99

МОМНМ (для количества подвыборок 𝑞 = 2 ). В качестве функции потерь при

реализации ОМНМ и МОМНМ используем 𝜌ОМНМ(|𝑥|) = arctg|𝑥|.

Пусть математическая модель множественной линейной регрессии имеет вид

𝐘 = 5𝐗𝟏 + 2𝐗𝟐 + 8𝐗𝟑 + 5𝐗𝟒 + , (4.2)

где X1 = 1; ошибки 휀𝑖 в модели (4.2) имеют распределение (3.1), где 𝜎 = 1; 𝑎𝐻 =

5; 𝛾𝐻 = 1; 𝛾 = 0.1, т.е. в данном случае, в отличие от (4.1) имеем случай

несимметричного засорения (смещение медианы 𝑎𝐻 = 5 относительно нуля).

И в данном случае с помощью метода статистических испытаний Монте–Карло

были сгенерированы модельные данные (𝑚 = 4; 𝑛 = 64), приведенные в табл. 4.3.

Таблица 4.3

Выборка наблюдений для модели (1.5)

𝐱𝟏 𝐱𝟐 𝐱𝟑 𝐱𝟒 y 1 12.57 38.12 56.84 616.73

1 22.79 36.12 52.76 601.42

1 13.91 33.84 51.79 560.30

1 20.55 33.78 45.73 543.12

1 23.96 39.32 52.38 627.28

1 15.17 36.24 46.37 560.63

1 10.05 30.39 45.47 494.44

1 12.67 34.30 46.27 535.06

1 12.34 35.74 54.94 588.02

1 16.06 34.00 48.07 547.29

1 13.62 34.71 51.99 568.54

1 23.19 32.19 49.52 554.45

1 22.70 32.08 51.95 565.94

1 15.25 31.99 47.31 526.02

1 13.65 35.95 47.16 551.61

1 15.48 35.85 52.07 580.44

1 16.59 30.20 48.44 521.38

1 21.13 36.39 45.13 562.67

1 23.59 30.44 46.29 531.35

1 15.75 32.65 50.28 548.36

1 10.48 37.08 52.27 583.85

1 18.45 34.97 52.81 583.35

100

1 23.88 30.67 46.52 528.30

1 20.54 32.47 49.71 552.09

1 20.14 36.48 48.49 576.24

1 19.46 35.79 51.75 588.08

1 20.59 35.33 53.62 594.64

1 21.36 30.59 48.49 532.15

1 24.67 37.66 48.41 603.10

1 15.41 37.93 46.09 568.15

1 16.61 31.00 47.50 521.48

1 12.77 34.50 52.31 566.12

1 16.95 33.87 50.49 561.07

1 16.49 37.14 52.79 596.43

1 18.76 37.43 51.94 597.65

1 14.87 33.87 54.88 577.89

1 15.91 32.21 45.12 518.59

1 17.47 35.72 52.57 586.36

1 12.46 38.89 47.35 576.09

1 11.81 39.71 45.26 570.75

1 24.02 35.01 50.49 583.89

1 12.23 36.64 46.82 554.67

1 21.56 31.28 53.81 565.12

1 18.23 37.91 51.54 601.26

1 23.97 34.14 55.45 606.70

1 22.52 36.01 46.90 571.55

1 16.58 36.60 55.81 606.34

1 19.44 33.99 52.61 581.26

1 14.73 31.84 56.92 573.28

1 12.23 31.20 55.01 550.87

1 16.85 31.82 56.69 575.62

1 17.71 35.46 52.26 589.31

1 19.36 35.53 54.64 597.53

1 20.25 34.41 47.10 556.21

1 21.01 39.83 45.74 593.00

1 10.49 33.98 51.74 554.22

1 10.29 39.02 53.24 606.99

1 21.60 36.23 56.72 621.41

1 13.29 34.86 51.88 567.30

1 10.97 34.69 45.94 532.14

1 23.17 37.58 51.12 605.79

1 17.18 39.08 46.56 582.01

1 12.61 36.47 51.71 578.31

1 19.19 32.19 47.23 536.09

101

На основе имеющейся выборки наблюдений, с помощью разработанного

комплекса проблемно-ориентированных программ [129] задача (1.11) была решена с

помощью вышеуказанных алгоритмов.

Полученные решения (МНМ-, ОМНМ- и МОМНМ-оценки параметров модели

(4.2)) приведены в табл. 4.4.

Таблица 4.4

МНМ- и ОМНМ-оценки коэффициентов модели (4.2), полученные разными

алгоритмами

Алгоритм 𝑎1 𝑎2 𝑎3 𝑎4 𝑄(𝐚) Алгоритм полного перебора 4.88 2.03 8.03 4.93 36.79

Алгоритм спуска по узловым прямым для ОМНМ 4.88 2.03 8.03 4.93 36.79

Алгоритм спуска по узловым прямым для МНМ 7.04 2.03 7.96 4.93 37.72

Модифицированный ОМНМ 5.77 2.03 8.03 4.92 36.82

Отметим, что и в данном случае решение, найденное с помощью алгоритма

спуска по узловым прямым для ОМНМ, совпала с решением, найденным с помощью

алгоритма полного перебора, то есть с точным решением. При этом потребовалось

выполнить 72,080989 млн. арифметических операций, в случае же полного перебора

1819,448400 млн. операций.

Данный пример наглядно показывает, что в случае одностороннего характера

засорений, неустойчивыми к выбросам оказываются и МНМ-оценки.

Как видно из табл. 4.4, модифицированный ОМНМ не обеспечил нахождение

точного решения, при этом потребовалось выполнить 213,718400 млн.

арифметических операций.

Данный пример так же показывает выигрыш предложенного алгоритма спуска

для ОМНМ, по точности и по вычислительной эффективности, по сравнению с

известными методами решения задачи (1.11).

102

4.2. Примеры практического использования результатов работы

В данном параграфе рассмотрим четыре примера практического использования

результатов работы.

В первых двух примерах для фактических данных был проведен сравнительный

анализ результатов регрессионного моделирования на основе МНМ. В первом

примере рассматривалась задача моделирования условного среднего экономического

ущерба муниципальных образований Свердловской области от пожаров за 2012 год

по данным, приведенным в [59]. Во втором примере строилась математическая модель

для прогнозирования относительной производительности центрального процессора

по данным, приведенным в [87]. Были рассмотрены разработанный алгоритм спуска

по узловым прямым, а также известные точные (алгоритм полного перебора узловых

точек и алгоритм на основе симплекс-метода) и приближенные (метод вариационно-

взвешенных квадратических приближений и численные алгоритмы нулевого порядка

поиска безусловного экстремума – метод конфигураций и адаптивный случайный

поиск).

В третьем примере решалась задача нахождения оптимального периода

эксплуатации высоконагруженной техники на основе анализа средних удельных

затрат [126]. Здесь для оценки параметров модели средних затрат из–за

неоднородности статистических данных по текущим затратам на ремонт техники для

обеспечения устойчивости решения использовалась алгоритм реализации МНМ на

основе спуска по узловым прямым [130].

В четвертом примере рассматривалась задача исследования возможностей

повышения поступлений в пенсионную систему России за счет легализации

неформальной занятости [123, 134]. Исходные статистические данные также являются

неоднородными из-за значительного разброса значений показателей по регионам. Для

103

обеспечения устойчивости оценивания нелинейных регрессионных зависимостей при

исследовании различных оптимизационных моделей из-за большого числа регионов

был использован алгоритм ОМНМ–оценивания на основе спуска по узловым прямым

[127].

4.2.1. Моделирование условного среднего экономического ущерба

муниципальных образований Свердловской области от пожаров на основе

метода наименьших модулей

Пример 4.3. Рассмотрим задачу моделирования условного среднего

экономического ущерба в муниципальных образованиях (МО) Свердловской области

от пожаров за 2012 год по данным, приведенным в [59]. Условный средний

экономический ущерб описывается уравнением

𝐘(𝐗) = 𝑎1𝐗𝟏 + 𝑎2𝐗𝟐 + 𝑎3𝐗𝟑 + 𝑎4𝐗𝟒, (4.3)

где 𝐘(𝐗) – условный средний прогноз общего ущерба от пожаров в 2012 году, млн.

руб.; X1 =1; X2 – количество зданий и сооружений на территории МО, тыс. шт.; X3 –

общая протяженность автодорог на территории МО, км.; X4 – годовые потери от

пожаров в 2011 году, млн. руб; 𝐚 – вектор искомых параметров модели.

Исходные данные для моделирования, взятые из [59], приведены в табл. 4.5, здесь

Y – годовые потери от пожаров в 2012 году, млн. руб.

Таблица 4.5

Данные по пожарам на территории Свердловской области

Наименование МО X1 X2 X3 X4 Y

Арамильский 1 1.78 120.00 29.23 38.67

Артемовский 1 7.35 156.00 41.51 53.77

Асбестовский 1 5.09 90.00 49.90 98.40

Ачитский 1 10.79 188.00 28.75 24.40

104

Белоярский 1 4.56 100.00 92.53 71.51

Березовский 1 4.28 70.00 42.14 53.83

Бисертский 1 2.06 134.00 23.11 10.50

Богданович 1 1.36 50.00 60.05 70.18

Верхнее Дуброво 1 2.69 184.00 40.24 0.30

Верх-Нейвинский 1 0.63 10.00 23.28 10.78

Верхняя Пышма 1 3.50 198.00 32.93 21.36

Верхнесалдинский 1 1.77 100.00 42.45 37.93

Верхний Тагил 1 2.08 20.00 19.28 14.01

Верхняя Тура 1 1.22 10.00 22.91 0.84

Верхотурский 1 4.70 30.00 27.50 22.59

Волчанский 1 1.44 10.00 17.77 11.92

Гаринский 1 0.79 10.00 29.84 22.05

Горноуральский 1 5.40 140.00 44.88 48.15

Дегтярск 1 4.67 80.00 21.47 16.05

Заречный 1 4.00 148.00 23.45 12.24

Ивдельский 1 4.88 120.00 25.97 19.46

Каменский 1 4.90 130.00 28.02 44.25

Камышловский 1 4.01 145.00 24.64 11.82

Карпинск 1 5.11 168.00 42.86 38.15

Качканарский 1 7.51 180.00 26.48 6.83

Кировоградский 1 3.90 100.00 29.81 13.24

Краснотурьинск 1 8.09 192.00 68.20 54.43

Красноуральск 1 4.88 120.00 38.41 26.77

Красноуфимск 1 6.48 140.00 50.06 32.27

Кушвинский 1 6.40 136.00 49.93 55.46

Малышевский 1 2.33 78.00 23.90 6.10

Махневское МО 1 1.33 40.00 42.11 25.90

Невьянский 1 7.67 180.00 52.36 12.77

Нижняя Салда 1 2.56 100.00 28.59 10.20

Нижнетуринский 1 4.02 120.00 20.99 12.71

Новолялинский 1 3.80 108.00 32.80 24.59

Пелым 1 0.99 20.00 22.33 0.47

Первоуральск 1 23.76 240.00 107.58 145.32

Полевской 1 11.11 164.00 83.75 66.47

Пышминский 1 4.33 120.00 23.56 12.20

Ревда 1 12.99 165.00 45.22 29.19

Режевской 1 8.70 100.00 64.50 88.88

Рефтинский 1 3.28 203.00 34.99 2.27

105

Североуральский 1 7.76 148.00 39.99 23.56

Серовский 1 15.18 220.00 79.58 50.69

Сосьвинский 1 3.50 80.00 23.06 32.43

Среднеуральск 1 4.93 120.00 17.52 6.08

Староуткинск 1 0.74 80.00 37.48 6.15

Сухой Лог 1 8.66 148.00 48.94 28.31

Сысертский 1 11.04 154.00 66.16 47.51

Тавдинский 1 6.90 120.00 40.03 39.66

Талицкий 1 7.21 128.00 87.80 55.56

Тугулымский 1 5.09 80.00 71.58 51.05

Туринский 1 5.70 108.00 35.36 31.42

Шалинский 1 4.67 110.00 62.01 68.60

МО Алапаевское 1 5.11 110.00 40.20 21.68

Ирбитское МО 1 6.20 120.00 36.80 28.58

МО Красноуфимский округ 1 5.31 122.00 27.04 21.77

Екатеринбург 1 13.66 1327.00 369.77 567.66

Нижний Тагил 1 6.77 634.00 103.29 158.58

Исходные данный являются стохастически неоднородными по нескольким

причинам. Во-первых, в них присутствуют два аномальных наблюдения,

характеризующих данные по большим городам – Екатеринбургу и Нижнему Тагилу.

Во-вторых, переменная X2 не учитывает неоднородность зданий и сооружений по

площади и числу проживающих или работающих в них людей. И, в-третьих, в модели

присутствует временной лаг – переменная X4 является значением выходной

переменной Y в прошлый период времени. В [59] в качестве метода построения

регрессионной модели был использован МНК, поэтому для обеспечения

устойчивости оценивания модели (4.3) не рассматривались данные для Екатеринбурга

и Нижнего Тагила.

Ниже построим математическую модель (4.3) по всем данным табл. 4.5 на основе

МНМ. Реализуем различные алгоритмы: алгоритм спуска по узловым прямым, а

также известные точные (алгоритм полного перебора узловых точек и алгоритм на

основе симплекс-метода) и приближенные (метод вариационно-взвешенных

106

квадратических приближений и численные алгоритмы нулевого порядка поиска

безусловного экстремума – метод конфигураций и адаптивный случайный поиск)

алгоритмы.

Полученные решения приведены в табл. 4.6.

Таблица 4.6

МНМ-оценки коэффициентов модели (4.3), полученные разными алгоритмами

Алгоритм 𝑎1 𝑎2 𝑎3 𝑎4 𝑄(𝐚) Алгоритм полного перебора -25.25 -1.62 0.09 1.35 811.60

Алгоритм спуска по узловым прямым -25.25 -1.62 0.09 1.35 811.60

Симплекс метод -25.25 0.00 0.09 1.35 919.37

Метод вариационно-взвешенных

квадратических приближений -25.12 -1.27 0.09 1.34 812.93

Метод конфигураций -25.37 -0.94 0.05 1.47 825.26

Адаптивный метод случайного поиска -1.95 1.28 -0.03 0.77 1073.49

Здесь задавались: Δ1 = Δ2 = ⋯ = Δ𝑚 = 1 − начальные величины шагов по

координатным направлениям; 𝜇 = 10−5 − параметр для остановки алгоритма; 𝜆 =

1.5 − ускоряющий множитель; 𝛼 = 2 − коэффициент уменьшения шага; 𝜏 = 1.618 −

коэффициент расширения; 𝛽 = 0.618 − коэффициент сжатия; 𝑀 = 4 ∙ 𝑚 –

максимальное число неудачно выполненных испытаний на текущей итерации, 𝑡0 =

1 − начальная величина шага, 𝑇 = 10−6 −минимальная величина шага.

Проанализируем полученные результаты по отдельности, а также решение,

полученное предложенным нами алгоритмом, сравним с остальными.

Отметим, что решение, найденное с помощью алгоритма спуска по узловым

прямым с использованием разреженных матриц и с учетом направления спуска,

совпала с решением, найденным с помощью алгоритма полного перебора, то есть с

точным решением. При этом потребовалось выполнить 76,200 тыс. арифметических

операций, в случае же полного перебора 148,241040 млн. операций.

107

Как видно из табл. 4.6 симплекс-метод не обеспечил нахождение точного

решения, при этом потребовалось выполнить 159,744 тыс. арифметических операций.

Найденное симплекс-методом решение с помощью полного перебора было сравнено

со всеми узловыми точками. В результате оказалось, что данное решение не совпало

ни с одной узловой точкой, т.е. из-за вычислительных погрешностей оно не является

даже базисным решением.

Метод вариационно-взвешенных квадратических приближений при

вычислительной точности равной 𝛿 = 10−3 проигрывает по быстродействию

предложенному алгоритму нахождения точного решения, при этом не обеспечивая

нахождение точного решения.

Использование же методов нулевого порядка привело к большой ошибке при

оценивании коэффициентов. Чтобы избежать этого, необходимо значительно

повысить точность алгоритма, а это приведет к резкому увеличению вычислительных

затрат.

Таким образом, данный пример показывает, что предложенный алгоритм спуска

по узловым прямым с использованием разреженных матриц и с учетом направления

спуска, и по быстродействию, и по точности выигрывает по сравнению с остальными

известными алгоритмами решения задачи (1.7).

4.2.2. Прогнозирование относительной производительности центрального

процессора

Пример 4.4. Существует несколько ситуаций, когда оценка относительной

производительности центральных процессоров (ЦП) становится очень важной,

например, при выборе компьютерной системы как для первоначальной сборки, так и

для обновлений, конфигурации компьютерной системы и проектировании

компьютерной системы. Для его оценивания в [87] были собраны и приведены данные

108

о характеристиках и относительной производительности большого количества ЦП.

Данные были собраны для 209 процессоров. Машины представляли широкий спектр

производительностей и производителей. Относительная производительность для

изучаемых машин составляла от 6 до 1150. Было представлено более 30 ведущих

производителей компьютерной индустрии.

В дополнение к информации об относительной производительности, для каждого

ЦП, были собраны данные о машинном времени цикла, минимальном размере

основной памяти, максимальном размере основной памяти, минимальном количестве

каналов, максимальном количестве каналов и размере кэш-памяти.

Линейная регрессионная модель для прогнозирования относительной

производительности ЦП выглядит следующим образом:

𝑦 = 𝑎1 + 𝑎2𝑥2𝑖 + 𝑎3𝑥3𝑖 + 𝑎4𝑥4𝑖 , (4.4)

где 𝑦 – оценка относительной производительности ЦП для 𝑖 −ого компьютера; 𝑥2𝑖 −

размер основной памяти = (минимальный размер основной памяти + максимальный

размер основной памяти)/2; 𝑥2𝑖 − размер кэш−памяти; 𝑥3𝑖 − пропускная способность

канала = (минимальное количество каналов + максимальное количество каналов)/

(2 ∗ машинное временя цикла) ; 𝐚 – вектор искомых параметров модели.

В результате с помощью различных алгоритмов реализации МНМ как решения

задачи (1.7), получили оценки регрессионной модели (4.4) для прогнозирования

относительной производительности ЦП. Полученные решения приведены в табл. 4.7.

Параметры для алгоритмов спуска здесь задавались точно так, как в предыдущем

примере (п. 4.2.1).

Таблица 4.7

МНМ-оценки коэффициентов модели (4.4), полученные разными алгоритмами

Алгоритм 𝑎1 𝑎2 𝑎3 𝑎4 𝑄(𝐚) Алгоритм полного перебора 3.93 0.42 0.35 0.29 253.09

Алгоритм спуска по узловым прямым 3.93 0.42 0.35 0.29 253.09

Симплекс метод 3.93 0.42 0.35 0.88 377.66

109

Метод вариационно-взвешенных

квадратических приближений 4.07 0.41 0.35 0.31 254.86

Метод конфигураций 3.35 0.51 0.40 0.19 261.40

Адаптивный метод случайного поиска 4.08 0.40 0.36 0.30 253.41

На основе результатов, приведенных в табл. 4.7, отметим следующее.

1. Отметим, что решение, найденное с помощью алгоритма спуска по узловым

прямым с использованием разреженных матриц и с учетом направления спуска, и в

данном случае совпала с решением, найденным с помощью алгоритма полного

перебора, т.е. с точным решением. Здесь потребовалось выполнить 720,133 тыс.

арифметических операций, в случае же полного перебора 6,9514988400 млрд.

операций.

2. Решение задачи (1.7) с помощью симплекс-метода не позволило найти точное

решение по имеющимся исходным данным, при этом потребовалось выполнить

5,943339 млн. арифметических операций. Сравнение данного решения с полным

перебором всех узловых точек показало, что оно не совпало ни с одной узловой

точкой. Таким образом, здесь, как и в примере в п.4.2.1, из-за вычислительных

погрешностей решение задачи (1.7) на основе симплекс-метода не является базисным

решением. Сравнение расчетного значения целевой функции для симплекс-метода

(𝑄(𝐚) = 377.66) со значением для точного решения (𝑄(𝐚) = 253.09) свидетельствует

о неудовлетворительном результате оценивания симплекс-методом параметра a4 у

модели (4.4).

3. Метод вариационно-взвешенных квадратических приближений при

вычислительной точности, равной 𝛿 = 10−3, проигрывает по быстродействию

предложенному алгоритму нахождения точного решения, при этом не обеспечивая

нахождение точного решения.

4. Использование методов нулевого порядка также, как и в п. 4.2.1, привело к

большой ошибке при оценивании коэффициентов. Чтобы избежать этого, необходимо

110

значительно повысить точность алгоритма, а это приведет к росту вычислительных

затрат, которые могут стать сравнимыми с алгоритмом полного перебора.

5. Таким образом, данный пример еще раз показывает преимущества

предложенного алгоритма спуска по узловым прямым с использованием разреженных

матриц и с учетом направления спуска, как по быстродействию, так и по точности по

сравнению с остальными известными алгоритмами решения задачи (1.7).

4.2.3. Оптимизация периода эксплуатации высоконагруженной техники на

основе анализа средних удельных затрат

Автотранспорт и другая высоконагруженная техника обычно интенсивно

эксплуатируются и, как правило, изнашивается раньше нормативного срока

эксплуатации. С учетом высокой стоимости автотранспорта это приводит к тому, что

предприятия несут значительные материальные издержки на поддержание

работоспособного состояния. Одновременно из–за поломок и ремонтов

увеличиваются простои машин. Использование методов технической диагностики

[14, 26, 50, 58] в данной ситуации малоэффективно, т.к. они рассчитаны на

применение в условиях, когда техника не выработала ресурс. Поэтому желательно

прекращать эксплуатацию машин до момента, когда потребуется дорогостоящий и

длительный ремонт. С другой стороны, преждевременное списание дорогой техники

ведет к неэффективному использованию капитала предприятия и росту

инвестиционных затрат.

Таким образом, актуальной проблемой является создание экономически

обоснованного критерия оценки целесообразности эксплуатации техники. Известно

несколько подходов [7, 39, 40, 54] к выбору такого критерия. В этих решениях

основное внимание уделяется непосредственно оценке стоимости машин, в то время

как нужно рассматривать не саму стоимость, а экономическую целесообразность

111

дальнейшей эксплуатации техники с учетом затрат на ее эксплуатацию, включающую

в себя ремонт техники.

В [60] предложено в качестве критерия использовать минимум средних расходов

на приобретение и эксплуатацию техники. Этот критерий представляется

объективной оценкой эффективности функционирования автотранспорта.

Действительно, уменьшение средних расходов на приобретение и эксплуатацию

техники напрямую повышает рентабельность производства. На основе этого критерия

была разработана и апробирована описана математическая модель оптимального

срока эксплуатации высоконагруженной техники [126]. Суть ее состоит в следующем.

Пусть данные о расходах формируются дискретно по периодам времени

(ежедневно, еженедельно, ежемесячно). Тогда средние расходы на покупку и

эксплуатацию автомобиля r(n) в n–й период равны

n

zZ

nr

n

kk

10

)( ,

где Z0 – капитальные вложения на покупку и ввод в эксплуатацию единицы техники;

zk – расходы на эксплуатацию единицы техники в k–й период.

Конечная разность первого порядка средних расходов на покупку и

эксплуатацию автомобиля составит

1)1()()(

0

n

zn

Zz

nrnrnrnn

,

где

n

kn kz

nz

1

)(1

– средние затраты на эксплуатацию автомобиля за k периодов.

Конечную разность можно считать приближенной оценкой производной.

Поэтому условием оптимального периода эксплуатации будет переход конечных

112

разностей )(nr в положительную область, что будет соответствовать началу

возрастания средних расходов на покупку и эксплуатацию автомобиля.

Взятие разностей увеличивает дисперсию случайной составляющей. Для

обеспечения достоверности результатов выполним текущее усреднение оценок

конечных разностей

1

0

)(1

)(~L

i

inrL

nr .

Для устойчивости к выбросам (из–за возможных больших расходов на ремонт из

крупных аварий или, наоборот, вынужденных простоев) оценку nz вычислим методом

наименьших модулей.

Рассмотрим второй случай, когда расходы на эксплуатацию автомобиля

привязаны к его пробегу. Тогда средние затраты на покупку и эксплуатацию

автомобиля r(n) в n–й период равны средним расходам на один километр пробега

n

n

kk

nT

zZ

tr

10

)( ,

где tk – пробег автомобиля в k–й период;

n

kkn tT

1

.

Для обеспечения большей достоверности обнаружения момента начала

возрастания средних расходов на покупку и эксплуатацию автомобиля целесообразно

строить локальные парные линейные динамические регрессионные зависимости

средних расходов на покупку и эксплуатацию автомобиля r(n) или r(tn) от времени

эксплуатации.

Данная методика была апробирована на реальных статистических данных,

результаты которых приведены ниже. Реализация МНМ была выполнена с помощью

разработанной программы [130].

Пример 4.5. Проведем расчет 𝑇∗ − оптимального срока эксплуатации на примере

четырех одинаковых машин БелАЗ–7548, купленных одной партией по цене 20 млн.

113

рублей за штуку, эксплуатация которых началась одновременно с января 1999 г., и

происходила синхронно в идентичных условиях (в одном карьере). Имеются данные

ежемесячных расходов 𝑧𝑘, по этим четырем машинам с 02.1999 по 11.2006,

предоставленные сотрудником НИИОГР В.Н. Лапаевым. На 11.2006 машины

продолжали эксплуатироваться. В качестве иллюстрации для одной из машин

приведены: в табл. 4.8 – ежемесячные расходы на эксплуатацию автомашины; на

рис. 4.1 – график средних расходов на покупку и эксплуатацию; на рис. 4.2 –

сглаженные ежемесячные значения конечных разностей средних расходов на покупку

и эксплуатацию.

Для всех четырех автомашин получены следующие оптимальные значения 𝑇∗

окончания эксплуатации: для первого автомобиля – февраль 2006 г.; для второго –

февраль 2006 г.; для третьего – декабрь 2005 г.; для четвертого – март 2006 г. На март

2006 г. продолжение эксплуатации всех автомашин не целесообразно.

Таблица 4.8

Ежемесячные расходы на эксплуатацию и ремонт автомашины (в тыс. руб.)

Месяц Затраты Месяц Затраты Месяц Затраты Месяц Затраты

02.1999 920 02.2001 1129 02.2003 1268 02.2005 1459

03.1999 1043 03.2001 1134 03.2003 1272 03.2005 1383

04.1999 1002 04.2001 1219 04.2003 1268 04.2005 1418

05.1999 985 05.2001 1087 05.2003 1291 05.2005 1492

06.1999 961 06.2001 1151 06.2003 1315 06.2005 1524

07.1999 1079 07.2001 1174 07.2003 1371 07.2005 1423

08.1999 1027 08.2001 1203 08.2003 1313 08.2005 1488

09.1999 978 09.2001 1186 09.2003 1310 09.2005 1449

10.1999 1011 10.2001 1124 10.2003 1294 10.2005 1477

11.1999 1064 11.2001 1123 11.2003 1317 11.2005 1553

12.1999 1110 12.2001 1170 12.2003 1332 12.2005 1471

01.2000 1066 01.2002 1245 01.2004 1338 01.2006 1459

02.2000 1026 02.2002 1159 02.2004 1278 02.2006 1540

03.2000 1126 03.2002 1204 03.2004 1344 03.2006 1508

04.2000 1082 04.2002 1277 04.2004 1348 04.2006 1555

114

05.2000 1104 05.2002 1233 05.2004 1362 05.2006 1549

06.2000 1077 06.2002 1259 06.2004 1395 06.2006 1587

07.2000 1060 07.2002 1235 07.2004 1369 07.2006 1531

08.2000 1148 08.2002 1162 08.2004 1391 08.2006 1636

09.2000 1125 09.2002 1299 09.2004 1326 09.2006 1577

10.2000 1092 10.2002 1241 10.2004 1382 10.2006 1496

11.2000 1064 11.2002 1203 11.2004 1450 11.2006 1642

12.2000 1070 12.2002 1257 12.2004 1457

01.2001 1099 01.2003 1193 01.2005 1444

Рис. 4.1 – Средние расходы на покупку и эксплуатацию машины БелАЗ-7548.

Рис. 4.2 – Сглаженные ежемесячные значения ∆𝒓 (𝒏) конечных разностей

средних расходов на покупку и эксплуатацию машины БелАЗ-7548.

115

Пример 4.6. Проведем расчет оптимального срока эксплуатации на примере

трех одинаковых машин КамАЗ–653600, купленных одной партией по цене 2,4 млн.

руб. за штуку, эксплуатация которых началась одновременно, и происходила

синхронно в идентичных условиях. Расходы на эксплуатацию автомобилей в этом

случае привязаны к их пробегам. На рис. 4.3 приведены графики средних расходов на

покупку и эксплуатацию на 1 км. пробега для всех трех машин. На рис. 4.4 показаны

графики сглаженных значений конечных разностей средних расходов на покупку и

эксплуатацию на 1 км. пробега.

Из графиков можно сделать следующие выводы. Первая и вторая машины уже

превысили оптимальные сроки эксплуатации. Согласно предложенному критерию

оптимальный пробег для первой машины составил примерно 500 тыс. км., а для

второй – примерно 430 тыс. км. Дальнейшая эксплуатация этих машин не

целесообразна, так как растет стоимость расходов на 1 км пути.

Третья машина практически подошла к границе ее эффективной эксплуатации.

Эти результаты коррелируют с суммарными расходами на эксплуатацию машин –

расходы на первую машину составили 4,5 млн. руб., на вторую – 6,4 млн. руб. (самые

большие среди трех машин), на третью – 3,9 млн. руб. (наименьшие из трех машин).

Рис. 4.3 – Средние расходы на покупку и эксплуатацию на 1 км. пробега:

а) для машины 1; б) для машины 2; в) для машины 3.

116

Рис. 4.4 – Сглаженные значения конечных разностей средних расходов на

покупку и эксплуатацию: а) для машины 1; б) для машины 2; в) для машины 3.

Отметим, что если предположить, что первая и вторая машины сняты с

эксплуатации при пробеге 572,4 и 591,7 тыс. км., то экономический эффект от

применения предложенной методики составил бы: для первой машины

11,98 – 9,60 = 2,38 руб. на км (или в целом, 2,38 572,4 = 1363,0 тыс. руб.); для второй

машины 14,79 – 11,47 = 3,32 руб. на км (или в целом, 3,32 591,7 = 1982,3 тыс. руб.).

Экономический эффект от своевременного прекращения эксплуатации этих двух

машин составит 1363,0 + 1982,3 = 3345,2 тыс. руб., что примерно в 1,4 раза превышает

стоимость нового автомобиля.

С машиной, которая превысила оптимальный срок эксплуатации, можно

поступить по–разному. Во–первых, ее можно списать, снять рабочие части и

остальное сдать на металлолом. Во–вторых, можно снизить интенсивность

эксплуатации до окончания срока амортизации. В–третьих, машину выставить на

продажу.

Выводы.

1. Предложен показатель эффективности для определения оптимального срока

эксплуатации машин, основанного на минимизации средних расходов на покупку и

117

эксплуатацию. Применение данного подхода позволяет снизить затраты на

автотранспорт и другое высоконагруженное оборудование, что ведет к повышению

эффективности работы предприятия.

2. Экономический эффект будет выражаться в снижении полной себестоимости

километра пробега (или иной удельной характеристики) за счет снижения

материальных затрат на покупку и ремонт машин.

4.2.4. Оптимизация численности плательщиков страховых взносов в

пенсионную систему за счет легализации неформальной занятости в регионах

Пример 4.7. Рассмотрим задачу обоснования предложения по формированию

сбалансированной пенсионной системы России. В качестве резерва для увеличения

поступлений страховых взносов в пенсионную систему рассмотрен рост численности

работников (плательщиков взносов) за счет легализации неформальной занятости. В

[123, 134] поставлена и решена оптимизационная задача легализации неформального

сектора экономики в рамках действующей распределительной пенсионной системы

при повышении уровня пенсий до 40% утраченного заработка в разрезе видов

экономической деятельности и субъектов РФ. Суть состоит в следующем.

Балансовое уравнение распределительной пенсионной системы состоит из двух

частей:

𝑠 ∙ 𝑣 ∙ 𝑢 = 𝑝 ∙ 𝑛, (4.5)

где 𝑠 – тариф взносов на пенсионное обеспечение, %; 𝑣 – средняя номинальная

заработная плата, руб.; 𝑢 – численность застрахованных работников, тыс. чел.; 𝑝 –

средний номинальный размер пенсии, руб.; 𝑛 – численность пенсионеров, тыс. чел.

Левая часть уравнения представляет собой доходы пенсионной системы, а правая

– его расходы. Согласно расчетам по уравнению (4.5), на данный момент объем

взимаемых страховых сборов (левая часть уравнения) даже превышает объем средств,

118

необходимых для выплат пенсий (правая часть). Поэтому заниженный уровень пенсий

связан не с дефицитом пенсионной системы, а с ее недофинансированием из

федерального бюджета на валоризацию, на финансирование доплат к пенсиям, на

компенсацию «не страховых» периодов (служба в армии, уход за ребенком и др.) и

выпадающих доходов из-за льготных тарифов.

В качестве целевого ориентира при решении оптимизационной задачи

рассматривается увеличение коэффициента замещения пенсии до 40%. В качестве

управляемого параметра уравнения выбрана численность работников (плательщиков

взносов), т.к. изменения величины тарифа страховых взносов и объема принятых

обязательств признаются социально неприемлемыми.

Существенным резервом для увеличения объема выплат страховых взносов

рассматриваются легализация неформальной занятости и вывод заработной платы из

«тени». Согласно методологии Росстата, под неформальной занятостью понимается

занятость на предприятиях, которые:

- осуществляют производство товаров и услуг для реализации на рынке;

- не имеют правового статуса юридического лица.

Даже, исходя из данного определения, можно сделать предположение, что для

одних видов экономической деятельности неформальная занятость практически не

свойственна, а в других – широко распространена. А поскольку полностью

легализовать неформальный сектор экономики крайне сложно (обложение

специальным налогом официально нетрудоустроенных граждан может породить

социальное недовольство), то решение оптимизационной задачи по легализации

данного сектора предлагается провести в разрезе видов экономической деятельности.

В качестве методологических положений решения оптимизационной задачи

заложены следующие:

1. Наибольшим потенциалом для легализации неформальной занятости обладают

те виды экономической деятельности, в которых она широко распространена и

119

сложились условия для ее формирования (наличие возможностей для уклонения от

налогообложения, слабый контроль со стороны государства, невысокая потребность

в больших капиталовложениях и работниках со специальными профессиональными

навыками и высокой квалификации).

2. Уровень заработной платы «легализованных» работников (вошедших на рынок

из неформального сектора) закладывается на уровне номинальной начисленной

заработной платы в соответствующем виде экономической деятельности. Такое

предположение делается на основании отсутствия по объективным причинам

информации и однозначных экспертных оценок об уровне заработной платы занятых

в неформальном секторе экономики [15, 41, 53].

3. С точки зрения эффективности легализации неформальной занятости для

увеличения объема поступлений страховых взносов в пенсионную систему в

оптимизационной модели заложены два ограничения. Во–первых, с увеличением

численности «легализованных» работников растут усилия (затраты) на дальнейшую

легализацию в данном виде экономической деятельности и, соответственно,

снижается ее эффективность. Во–вторых, чем больше отношение средней заработной

платы работников в определенном виде экономической деятельности к средней

начисленной зарплате в целом, тем более эффективна их легализация.

Региональные особенности так же приводят к дифференциации субъектов РФ по

уровню распространения в них неформальной занятости, поэтому для решения

оптимизационной задачи в разрезе регионов закладываются аналогичные

методологические положения.

В рамках балансового уравнения распределительной пенсионной системы (4.5)

построена оптимизационная задача:

𝐹(𝐱) = −∑𝜌𝑖 ∙ 𝑓 (𝑥𝑖

𝑥𝑖0) → min

𝐱,

𝑛

𝑖=1

(4.6)

0 ≤ 𝑥𝑖 ≤ 𝑥𝑖0, 𝑖 = 1,2,… , 𝑛, (4.7)

120

∑𝑥𝑖𝑣𝑖

𝑛

𝑖=1

= 𝑉. (4.8)

С целью определения оптимального значения численности занятого населения в

неформальном секторе, которое требуется легализовать для заданного коэффициента

замещения, в разрезе видов экономической деятельности решаются задачи (4.6) –

(4.8), в которых приняты следующие обозначения: 𝜌𝑖 = 𝑎𝑖 ∙ 𝑏𝑖 , 𝑖 = 1,2,… , 𝑛 − весовые

коэффициенты; 𝑎𝑖 =𝑥𝑖0

∑ 𝑥𝑘0𝑛

𝑘=1 – доля работающих в неформальном секторе в i–м виде

экономической деятельности относительно всего неформального сектора; 𝑏𝑖 = 𝑣𝑖

–

отношение средней зарплаты vi в i-м виде экономической деятельности к средней

начисленной зарплате в целом; 𝑥𝑖0 − общее число работающих в неформальном

секторе в i-м виде экономической деятельности; xi – значение переменной общей

численности работающих в неформальном секторе в i-м виде экономической

деятельности, обеспечивающей оптимальное значение целевой функции; V –

требуемая дополнительная сумма годовых поступлений страховых взносов от

начисленной номинальной заработной платы в пенсионную систему; 𝑓 (𝑥𝑖

𝑥𝑖0) –

некоторая монотонная непрерывная возрастающая и неотрицательная функция на

интервале (0; 1).

Требуемая дополнительная сумма годовых поступлений страховых взносов V для

заданного коэффициента замещения K определяется по формуле

𝑉 = 12 ∙ 𝑁𝑝 ∙ (𝐾 ∙ − ), (4.9)

где 𝑁𝑝 – среднегодовая численность пенсионеров; – средняя начисленная

зарплата, – средняя пенсия.

При построении критерия эффективности в виде целевой функции (4.6) сделаны

следующие предположения:

121

1. Чем больше доля ai работающих в неформальном секторе в i-м виде

экономической деятельности относительно всего неформального сектора, тем более

важна легализация i-го вида экономической деятельности.

2. Чем больше отношение средней зарплаты vi в i-м виде экономической

деятельности к средней начисленной зарплате в целом, тем более важна

легализация i-го вида экономической деятельности.

3. Функция 𝑓 (𝑥𝑖

𝑥𝑖0) – некоторая монотонная, непрерывная, возрастающая,

неотрицательная и ограниченная функция на отрезке [0; 1], т.к. 0 ≤ 𝑥𝑖 ≤ 𝑥𝑖0. Она

характеризует ценность легализации доли 𝑥𝑖

𝑥𝑖0 работающих в неформальном секторе i-

го вида экономической деятельности. Очевидно, что легализация работающих в

неформальном секторе требует усилий, причем с увеличением численности

легализованных работников растут усилия (затраты) на дальнейшую легализацию.

Это означает, что данная функция должна быть вогнутой (выпуклой вверх), т.е.

∀𝑡𝜖(0; 1) 𝑓′′(𝑡) < 0. Для удобства считаем, что 𝑓(0) = 0, 𝑓(1) = 1. Также введем

ограничения на производную функции 𝑓(𝑡): производная справа в точке 𝑡 = 0

стремится к бесконечности, а производная слева в точке 𝑡 = 1 стремится к нулю. Эти

допущения позволяют считать скорость изменения ценности легализации монотонно

убывающей от +∞ до 0, что является адекватным допущением.

Указанным условиям удовлетворяет уравнение окружности радиуса 1 с центром

в точке (1; 0): 𝑓(𝑡) = √1 − (𝑡 − 1)2 = √2𝑡 − 𝑡2, 𝑡𝜖[0; 1].

Таким образом, получили

𝑓 (𝑥𝑖

𝑥𝑖0) = √1 − (

𝑥𝑖

𝑥𝑖0 − 1)

2

= √2(𝑥𝑖

𝑥𝑖0) − (

𝑥𝑖

𝑥𝑖0)

2

, 0 ≤ 𝑥𝑖 ≤ 𝑥𝑖0. (4.10)

Функция (4.10) принадлежит к целому классу целевых функций вида

122

𝑓 (𝑥𝑖

𝑥𝑖0) = (2(

𝑥𝑖

𝑥𝑖0) − (

𝑥𝑖

𝑥𝑖0)

2

)

𝛼

, 0 < 𝛼 < 1, 0 ≤ 𝑥𝑖 ≤ 𝑥𝑖0,

имеющих однотипные свойства.

Результаты моделирования. Ниже приведем результаты расчетов,

полученные с помощью разработанной программы [127], в ней было реализован

приближенный алгоритм реализации ОМНМ.

Для увеличения размера пенсии до 40% утраченного заработка за счет

легализации занятости в неформальном секторе, согласно уравнению (4.9) по данным

за 2016 г., требуется дополнительная сумма годовых поступлений страховых взносов

от начисленной номинальной заработной платы в пенсионную систему в размере

1189,317 млрд. руб. Исходя из этой суммы построена оптимизационная задача.

Результаты расчетов в виде решений этой задачи представлены в табл. 4.9.

Таблица 4.9

Результаты решения оптимизационной задачи легализации неформального

сектора для обеспечения коэффициента замещения пенсии в размере 40% и

35% по видам экономической деятельности

Виды экономической

деятельности

Коэффициент замещения 40% Коэффициент замещения 35%

Оп

тим

альн

ое

знач

ени

е

чи

слен

ност

и з

анят

ого

нас

елен

ия в

неф

орм

альн

ом

секто

ре,

кото

рое

треб

ует

ся

лег

али

зоват

ь,

тыс.

чел

.

Рас

чет

ная

доля з

анято

го

нас

елен

ия в

неф

орм

альн

ом

секто

ре,

кото

рое

треб

ует

ся

лег

али

зоват

ь, %

от

чи

слен

ност

и з

анят

ого

нас

елен

ия в

неф

орм

альн

ом

секто

ре

Оп

тим

альн

ое

знач

ени

е

чи

слен

ност

и з

анят

ого

нас

елен

ия в

неф

орм

альн

ом

секто

ре,

кото

рое

треб

ует

ся

лег

али

зоват

ь,

тыс.

чел

.

Рас

чет

ная

доля з

анято

го

нас

елен

ия в

неф

орм

альн

ом

секто

ре,

кото

рое

треб

ует

ся

лег

али

зоват

ь, %

от

чи

слен

ност

и з

анят

ого

нас

елен

ия в

неф

орм

альн

ом

секто

ре

Всего 14742,2 95,9 2696,3 17,5

Сельское хозяйство,

охота и лесное хозяйство 3255,1 90,7 215,5 6,0

123

Рыболовство и

рыбоводство 47,6 100,0 44,8 94,1

Добыча полезных

ископаемых 25,5 100,0 25,5 100,0

Обрабатывающие

производства 1427,4 100,0 302,2 21,2

Производство и

распределение

электроэнергии, газа и

воды

37,7 100,0 37,7 100,0

Строительство 1652,1 100,0 294,7 17,8

Оптовая и розничная

торговля; ремонт

автотранспортных

средств

4485,9 93,8 264,3 5,5

Гостиницы и рестораны 510,0 100,0 214,7 42,1

Транспорт и связь 1436,1 100,0 353,8 24,6

Финансовая

деятельность 36,3 100,0 20,9 57,5

Операции с недвижимым

имуществом, аренда и

предоставление услуг

628,1 100,0 320,3 51,0

Образование 149,7 100,0 149,7 100,0

Здравоохранение и

предоставление

социальных услуг

171,4 100,0 171,4 100,0

Предоставление прочих

коммунальных,

социальных и

персональных услуг

879,3 100,0 280,9 31,9

Решение оптимизационной задачи позволило рассчитать численность занятых в

неформальном секторе в i–м виде экономической деятельности, обеспечивающую

оптимальное значение целевой функции. Как видно из табл. 4.9, только при

практически полной (95,9%) легализации занятого населения в неформальном секторе

возможно достичь коэффициента замещения в размере 40%. Поскольку в таких видах

экономической деятельности, как «Сельское хозяйство, охота и лесное хозяйство» и

«Оптовая и розничная торговля; ремонт автотранспортных средств, мотоциклов,

изделий и предметов личного пользования», свойственно высокое распространение

124

неформальной занятости, то эффективность легализации в них на уровне 90,7% и

93,8% соответственно.

В рамках исследования была также решена оптимизационная задача легализации

неформального сектора, в которой заложено повышение размера пенсий до 35%

утраченного заработка (табл. 4.9). Как видно из полученных результатов, в тех видах

экономической деятельности, которые находятся под активным государственным

контролем, а именно «Добыча полезных ископаемых», «Производство и

распределение электроэнергии, газа и воды», «Образование» и «Здравоохранение и

предоставление социальных услуг», полная легализация неформальной занятости

является оптимальным решением.

Результаты решения оптимизационной задачи легализации неформального

сектора в разрезе федеральных округов России для обеспечения повышения

коэффициента замещения пенсии до 35% представлены в табл. 4.10. Полученное

оптимальное значение численности занятого населения в неформальном секторе,

которое требуется легализовать, несколько отличается от представленного решения в

табл. 4.9, что объясняется наличием существенного разрыва в заработных платах по

видам экономической деятельности.

Таблица 4.10

Результаты решения оптимизационной задачи легализации неформального

сектора для обеспечения коэффициента замещения пенсии в размере 35%

Регион

Оптимальное значение

численности занятого

населения в неформальном

секторе, которое требуется

легализовать, тыс. чел.

Расчетная доля занятого населения

в неформальном секторе, которое

требуется легализовать, % от

численности в неформальном

секторе

Россия 2667,0 17,3

Центральный ФО 571,9 21,3

Северо–Западный ФО 377,7 28,9

Южный ФО 222,8 10,0

Северо–Кавказский ФО 167,7 9,3

125

Приволжский ФО 395,6 11,0

Уральский ФО 227,2 22,6

Сибирский ФО 398,5 18,6

Дальневосточный ФО 305,3 48,4

По результатам решения задачи, легализация неформальной занятости в

Дальневосточном федеральном округе будет наиболее эффективной, поскольку среди

округов с высоким уровнем заработной платы в этом округе – относительной высокая

распространенность неформальной занятости. Низкая заработная плата и нерешенная

проблема с трудоустройством населения в Южном и Северо–Кавказском

федеральных округах снижают целесообразность легализации неформальной

занятости в них с точки зрения ее эффективности.

4.3. Выводы по четвертой главе

Выполненное на реальных примерах сравнение разработанных алгоритмов

моделирования линейных регрессионных зависимостей на основе спуска по узловым

прямым с известными алгоритмами, наглядно показало, что разработанные

алгоритмы позволяют существенно снизить вычислительные затраты и повысить

точность моделирования при построении конкретных моделей, возникающих на

практике.

Проведение сравнительного анализа предложенных алгоритмов с известными на

модельных и реальных данных показало следующее:

1. Во всех случаях алгоритмы спуска по узловым прямым совпадают с точным

решением задачи (1.7).

2. В условиях несимметричного засорения и присутствия лаговых переменных

ОМНМ-оценки выигрывает по сравнению с МНМ-оценками.

3. В случае, когда число наблюдений становится более 50 и число переменных

более двух:

126

- решение задачи (1.7) с помощью симплекс-метода: а) проигрывает по

быстродействию предложенному алгоритму спуска по узловым прямым; б) из-за

накопления вычислительных погрешностей решение задачи (1.7) не совпадает ни с

одной узловой точкой, т.е. не является базисным решением.

- приближенные алгоритмы решения проигрывают предложенному алгоритму не

только по точности, но и по быстродействию.

Рассмотрены практически важные задачи, в которых были использованы

разработанные программы.

Во-первых, предложен показатель эффективности для определения

оптимального срока эксплуатации машин. Он основан на минимизации средних

расходов на покупку и эксплуатацию. Для устойчивости к выбросам оценки средних

затрат на эксплуатацию автомобиля вычислялись методом наименьших модулей.

Применение данного подхода позволяет снизить затраты на автотранспорт и другое

высоконагруженное оборудование. Это приводит к повышению эффективности

работы предприятия. Рассмотрены практические примеры использования

предложенной методики. Эти примеры показывают, работоспособность методики, а

также ее достаточно простую практическую реализацию на предприятиях.

Во-вторых, рассмотрена задача оптимизации численности плательщиков

страховых взносов в пенсионную систему за счет легализации неформальной

занятости в регионах. С целью определения оптимального значения численности

занятого населения в неформальном секторе, которое требуется легализовать для

заданного коэффициента замещения, в разрезе видов экономической деятельности

была решена оптимизационная задача с использованием алгоритма ОМНМ-

оценивания. Как показало проведенное исследование, для повышения уровня пенсии

такой резерв повышения численности плательщиков взносов, как легализация

неформальной занятости, является существенным, но недостаточным. Только при

практически полной легализации занятого населения в неформальном секторе

127

возможно достичь коэффициента замещения пенсии в размере 40%. В тех видах

экономической деятельности, которые находятся под активным государственным

контролем и не обладают большими возможностями для уклонения от

налогообложения, полная легализация является наиболее оптимальным решением. И

наоборот, в таких видах экономической деятельности, для которых характерны

широкая распространенность неформальной занятости, относительно низкие

заработные платы, невысокая потребность в работниках со специальными

профессиональными навыками, легализация неформальной занятости неэффективна.

128

Заключение

Итоги выполнения исследования.

В диссертационной работе проведено исследование класса многомерных

линейных регрессионных моделей, параметры которых оцениваются в условиях

стохастической неоднородности экспериментальных данных.

Во Введении диссертационной работы были поставлены ее цель и задачи.

Приведем итоги их реализации.

1. Предложен новый подход к математическому моделированию многомерных

линейных регрессионных зависимостей в условиях стохастической

неоднородности на основе методов наименьших модулей и обобщенных

наименьших модулей. Он состоит в организации спуска по узловым прямым.

2. Разработаны точные и вычислительно эффективные алгоритмы оценивания

параметров многомерных линейных регрессионных моделей методом наименьших

модулей.

3. Доказана сходимость предложенных алгоритмов оценивания параметров

многомерных линейных регрессионных моделей методом наименьших модулей к

точному решению за конечное число шагов.

4. Разработан вычислительный алгоритм оценивания параметров линейных моделей

методом обобщенных наименьших модулей, превосходящий по быстродействию

известные решения.

5. Доказано, что обобщенный метод наименьших модулей при некоторых

ограничениях можно распространить и на случай вычисления параметров

нелинейных регрессионных моделей.

6. Разработан комплекс проблемно-ориентированных программ для проведения

вычислительных экспериментов с целью исследования эффективности

предложенных алгоритмов моделирования.

129

7. Выполнен анализ вычислительной трудоемкости предложенных алгоритмов.

8. С помощью разработанного программного комплекса решено несколько задач

моделирования многомерных зависимостей в технике и экономике.

Таким образом, в работе решены все поставленные задачи и достигнута цель

исследования.

Полученные результаты являются новыми и позволяют сделать вывод о том, что

диссертационная работа соответствует следующим областям исследования паспорта

специальности 05.13.18 – Математическое моделирование, численные методы и

комплексы программ:

1. Разработка новых математических методов моделирования объектов и явлений.

2. Развитие качественных и приближенных аналитических методов исследования

математических моделей.

3. Разработка, обоснование и тестирование эффективных вычислительных методов с

применением современных компьютерных технологий.

4. Реализация эффективных численных методов и алгоритмов в виде комплексов

проблемно-ориентированных программ для проведения вычислительного

эксперимента.

Рекомендации.

Результаты диссертационной работы позволяют применять их для:

- мониторинга и диагностики технических систем, в условиях стохастической

неоднородности экспериментальных данных (задачи вибрационной диагностики и

текущего контроля состояния нагруженных технических объектов и др.);

- моделирования социально-экономических явлений и систем в виде

многомерных линейных моделей регрессии, а также авторегрессии и распределённого

лага (эконометрические модели в условиях стохастической неоднородности данных и

наличия лаговых переменных; построение стохастических моделей временных рядов

и др.);

130

- решения технико-экономических задач, требующих использования

многомерных данных и достаточно больших объемов выборок (оптимизация периода

эксплуатации высоконагруженной техники на основе анализа средних удельных

затрат, оценивание относительной производительности центральных процессоров и

др.).

Разработка новых программных систем с качественным интерфейсом

пользователя и программных модулей для проведения вычислительных

экспериментов, с использованием современных средств и подходов

программирования, позволяет внедрить результаты в технологический и учебный

процессы.

Перспективы дальнейшей разработки темы.

Отметим перспективы дальнейших исследований по теме диссертационной

работы:

- развитие предложенных алгоритмов для рекуррентного устойчивого

оценивания линейных моделей для моделирования быстропеременных процессов в

режиме реального времени;

- использование современных информационных технологий для реализации

предложенных алгоритмов, например, реализация новых и уже предложенных

алгоритмов с использованием инструментария параллельного программирования.

131

Список литературы

1. Авдийский, В.И. Неопределенность, изменчивость и противоречивость в

задачах анализа рисков поведения экономических систем / В.И. Авдийский,

В.М. Безденежных // Эффективное антикризисное управление. – 2011. – 3. С.

46–61.

2. Айвазян, С.А. Прикладная статистика и основы эконометрики: Учебник / С.А.

Айвазян, В.С. Мхитарян. – М.: ЮНИТИ, 1998. – 1022 с.

3. Айвазян, С.А. Прикладная статистика: Исследование зависимостей / С.А.

Айвазян, И.С. Енюков, Л.Д. Мешалкин. – М.: Финансы и статистика, 1985. – 488

с.

4. Акимов, П.А. Метод 𝑙1–аппроксимации в навигационных задачах оценивания:

дис. ... канд. физ.-мат. наук: 01.02.01 / Акимов Павел Александрович. – Москва,

2011. – 133 с.

5. Акимов, П.А. Уровни неоптимальности алгоритма Вейсфельда в методе

наименьших модулей / П.А. Акимов, А.И. Матасов // Автоматика и

телемеханика. – 2010. – 2. – С. 4–16.

6. Андреева, О.А. Стабильность и нестабильность в контексте социокультурного

развития / О.А. Андреева. – Таганрог: ТИУиЭ, 2000. – 232 с.

7. Андрианов, Ю.В. Оценка автотранспортных средств / Ю.В. Андрианов. – М.:

Дело, 2002. – 488 с.

8. Болдин, М.В. Знаковый статистический анализ линейных моделей / М.В.

Болдин, Г.И. Симонова, Ю.Н. Тюрин. – М.: Наука. Физматлит, 1997. – 288 с.

9. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н.

Вапник. – М.: Наука. Физматлит, 1979. – 448 с.

10. Васильев, Ф.П. - Численные методы решения экстремальных задач. - 2-е изд.,

перераб. и доп. / Ф.П. Васильев. - М.: Наука, ФИЗМАТЛИТ. 1988. - 552 с.

132

11. Вероятность и математическая статистика: Энциклопедия. – М.: Большая

Российская энциклопедия, 1999. – 910 с.

12. Вибрационный контроль технического состояния газотурбинных

газоперекачивающих агрегатов / Ю.Н. Васильев, М.Е. Бесклетный, Е.А.

Игуменцев и др. – М.: Недра, 1987. – 197 с.

13. Вучков, И. Прикладной линейный регрессионный анализ. - Пер. с болг. / И.

Вучков, Л. Бояджиева, Е. Солаков. – М.: Финансы и статистика, 1987. – 239 с.

14. Герике, Б.Л. Вибродиагностика горных машин и оборудования: Учебное

пособие / Б.Л. Герике, И.Л. Абрамов, П.Б. Герике. – Кемерово: КузГТУ, 2007. –

167 с.

15. Гимпельсон, В.Е. Жить в тени или умереть на свету? / В.Е. Гимпельсон В.Е.,

Р.И. Капелюшников // Вопросы экономики. 2013. 11. С.65-87.

16. Грановский, В.А. Методы обработки экспериментальных данных при

измерениях / В.А. Грановский, Т.Н. Сирая. – Л.: Энергоатомиздат, 1990. – 288

с.

17. Демиденко, Е.З. Линейная и нелинейная регрессия / Е.З. Демиденко. – М.:

Финансы и статистика, 1981. – 302 с.

18. Добрынин, С.А. Методы автоматизированного исследования вибрации машин:

Справочник / С.А. Добрынин, М.С. Фельдман, Г.И. Фирсов. – М.:

Машиностроение, 1987. – 224 с.

19. Ермаков, С.М. Метод Монте-Карло и смежные вопросы. - 2-е изд., доп. М.:

Наука. ФИЗМАТЛИТ. 1975. 472 с.

20. Ершов, А.А. Стабильные методы оценки параметров (обзор) / А.А. Ершов.

Автоматика и телемеханика. 1978. 8. С. 66-100.

21. Зуховицкий, С.И. Линейное и выпуклое программирование. - 2-е изд., перераб.

и доп. / С.И. Зуховицкий, Л.И. Авдеева. – М.: Наука. ФИЗМАТЛИТ, 1967. – 460

с.

133

22. Ильин, В.А. Линейная алгебра: Учеб. для вузов. - 5-е изд. / В.А. Ильин, Э.Г.

Позняк. - М.: ФИЗМАТЛИТ, 2002. – 320 с.

23. Калман, Р. Очерки по математической теории систем: Пер. с англ. / Р. Калман,

П. Фалб, М. Арбиб. – М.: Едиториал УРСС, 2004. – 400 с.

24. Кендалл, М. Статистические выводы и связи: Пер. с англ. / М. Кендалл, А.

Стьюарт. – М.: Наука. Физматлит, 1973. – 900 с.

25. Кормен, Т.Х. Алгоритмы: построение и анализ. - 3-е изд.: Пер. с англ. / Т.Х.

Кормен, Ч. Лейзерсон, Р. Ривест, К. Штайн. – М.: Вильямс, 2013. – 1328 с.

26. Краковский, Ю.М. Математические и программные средства оценки

технического состояния оборудования / Ю.М. Краковский. – Новосибирск:

Наука, 2006. – 227 с.

27. Крамер, Г. Математические методы статистики: Пер. с англ. / Г. Крамер. – М.:

Мир, 1975. – 648 с.

28. Крянев, А.В. Математические методы обработки неопределенных данных. – 2-

е изд., испр. / А.В. Крянев, Г.В. Лукин. – М.: ФИЗМАТЛИТ, 2006. – 216 с.

29. Леман, Э. Теория точечного оценивания: Пер. с англ. / Э. Леман. – М: Наука.

Физматлит, 1991. – 448 с.

30. Линник, Ю.В. Метод наименьших квадратов и основы теории обработки

наблюдений. – 2-е изд., доп. и исправл. / Ю.В. Линник. – М.: ФИЗМАТЛИТ,

1962. – 352 с.

31. Магнус, Я.Р. Эконометрика. Начальный курс: Учебник. - 6-е изд., перераб. и

доп. / Я.Р. Магнус, П.К. Катышев, А.А. Пересецкий. - М.: Дело, 2004. - 576 с.

32. Матасов, А.И. Итерационный алгоритм для 𝑙1-аппроксимации в динамических

задачах оценивания / А.И. Матасов, П.А. Акимов // Автоматика и телемеханика.

– 2015. – 5. – С. 7–26.

134

33. Мешалкин, Л.Д. Новый подход к параметризации регрессионных зависимостей

/ Л.Д. Мешалкин, А.И. Курочкина // Записки научных семинаров ЛОМИ АН

СССР. – 1979. – Т. 87. – С. 79–86.

34. Михайлов, Г.А. Численное статистическое моделирование. Методы Монте-

Карло/ Г.А. Михайлов, А.В. Войтишек. – М.: Академия. 2006. 368 с.

35. Мостеллер, Ф. Анализ данных и регрессия: Пер. с англ. / Ф. Мостеллер, Дж.

Тьюки. Вып. 1, 2. – М.: Финансы и статистика, 1982. – 317 с.; 239 с.

36. Мудров, В.И. Методы обработки измерений: Квазиправдоподобные оценки /

В.И. Мудров, В.Л. Кушко. – М.: Радио и связь, 1983. – 304 с.

37. Николис, Г. Самоорганизация в неравновесных системах: от диссипативных

структур к упорядоченности через флуктуации: Пер с англ. / Г. Николис, И.

Пригожин. ‒ М.: Мир, 1979. ‒ 512 с.

38. Орлов, А.И. Прикладная статистика: Учебник / А.И. Орлов. - М.: Экзамен, 2004.

- 656 с.

39. Основы оценки стоимости машин и оборудования: Учебник / А.П. Ковалев, А.А.

Кушель, И.В. Королев, П.В. Фадеев; Под ред. М.А. Федотовой. – М.: Финансы

и статистика, 2006. – 288 с.

40. Оценка стоимости транспортных средств: Учебное пособие / М.П. Улицкий,

Ю.В. Андрианов, Б.Е. Лужанский, С.М. Чемерикин; Под ред. М.П. Улицкого. –

М.: Финансы и статистика, 2005. – 304 с.

41. Ощепков, А.Ю. Влияние минимальной заработной платы на неформальную

занятость / А.Ю. Ощепков. М.: Изд. дом Высшей школы экономики. 2013. 49 с.

42. Пантелеев, А.В. Методы оптимизации в примерах и задачах / А.В. Пантелеев,

Т.А. Летова. - М.: Высшая школа, 2002. - 544 с.

43. Панюков, А.В. Взаимосвязь взвешенного и обобщённого вариантов метода

наименьших модулей / А.В. Панюков, А.Н. Тырсин // Известия Челябинского

научного центра. 2007. – 1(35). – C. 6–11.

135

44. Панюков, А.В. Применение массивно-параллельных вычислений для решения

задач линейного программирования с абсолютной точностью / А.В. Панюков,

В.В. Горбик // Автоматика и телемеханика. – 2012. – 2. – С. 73–88.

45. Петрович, М.Л. Регрессионный анализ и его математическое обеспечение на ЕС

ЭВМ: Практическое руководство / М. Л. Петрович. – М.: Финансы и статистика,

1982. – 199 с.

46. Робастность в статистике. Подход на основе функций влияния: Пер. с англ. / Ф.

Хампель, Э. Рончетти, П. Рауссеу, В. Штаэль – М.: Мир, 1989. – 512 с.

47. Робастные методы статистического анализа навигационной информации: Обзор

/ Авторы-сост. Н.В. Бабкин, А.А. Мусаев, А.В Макшанов; Под ред. И.Б.

Челпанова. – Л.: ЦНИИ «Румб», 1985. – 206 с.

48. Рокафеллар, Р. Выпуклый анализ: Пер. с англ. / Р. Рокафеллар. – М.: Мир, 1973.

470 с.

49. Румшинский, Л.З. Математическая обработка результатов эксперимента / Л.З.

Румшинский. – М.: Наука, ФИЗМАТЛИТ, 1971. 192 с.

50. Сапожников, В.В. Основы технической диагностики: Учебное пособие / В.В.

Сапожников, Вл.В. Сапожников. – М.: Маршрут, 2004. – 318 с.

51. Себер, Дж. Линейный регрессионный анализ: Пер. с англ. / Дж. Себер. – М.:

Мир, 1980. – 456 с.

52. Симахин, В.А. Адаптивные оценки параметров сдвига и масштаба / В.А.

Симахин, О.С. Черепанов, Л.Г. Шаманаева // Известия высших учебных

заведений. Физика. 2017. Т. 60. 7. С. 26-32.

53. Синявская, О.В. Неформальная занятость в современной России: измерение,

масштабы, динамика / О.В. Синявская. М.: Поматур. 2005. 55 с.

54. Смоляк, С.А. Оценка стоимости машин с учетом их ремонтов / С.А. Смоляк //

Анализ и моделирование экономических процессов: Сборник статей, вып. 9. –

М.: ЦЭМИ РАН, 2012. – С.47–72.

136

55. Смоляк, С.А. Устойчивые методы оценивания / С.А. Смоляк, Б.П. Титаренко. –

М.: Статистика, 1980. – 208 с.

56. Статистический анализ данных, моделирование и исследование вероятностных

закономерностей. Копьютерный подход / Б.Ю. Лемешко, С.Б. Лемешко, С.Н.

Постовалов, Е.В. Чимитова. - Новосибирск: Изд-во НГТУ. 2011. - 888 с.

57. Тарасенко, Ф.П. Непараметрическая статистика / Ф.П. Тарасенко. – Томск: Изд-

во Томского университета, 1976. – 292 с.

58. Техническое обслуживание и ремонт горного оборудования: Учебник / Ю.Д.

Глухарев, В.Ф. Замышляев, В.В. Карамзин и др.; Под ред. В.Ф. Замышляева. –

М.: Издательский центр «Академия», 2003. – 400 с.

59. Тужиков, Е.Н. Методика оценки эффективности деятельности органов местного

самоуправления по обеспечению первичных мер пожарной безопасности (на

примере Свердловской области): дис. ... канд. тех. наук: 05.13.10 / Тужиков

Евгений Николаевич. – Екатеринбург, 2014. – 186 с.

60. Тырсин, А.Н. Математическое моделирование оптимального срока

эксплуатации автотранспорта на угольных карьерах / А.Н. Тырсин, И.А. Клявин

// Обозрение прикладной и промышленной математики. – 2008. – Т. 15, В. 2. –

С.371–372.

61. Тырсин, А.Н. Оценивание линейной регрессии на основе обобщенного метода

наименьших модулей / А.Н. Тырсин, Л.А. Соколов // Вестник Самарского

государственного технического университета. Серия Физико-математические

науки. 2010. 5(21). С. 134–142.

62. Тырсин, А.Н. Оценивание линейных регрессионных уравнений с помощью

метода наименьших модулей / А.Н. Тырсин, К.Е. Максимов // Заводская

лаборатория. Диагностика материалов. – 2012. – Т. 78, 7. – С. 65–71.

137

63. Тырсин, А.Н. Робастная параметрическая идентификация моделей диагностики

на основе обобщенного метода наименьших модулей: дис. … докт. тех. наук:

05.13.18 / Тырсин Александр Николаевич. – Челябинск, 2007. – 327 с.

64. Тырсин, А.Н. Робастное построение линейных регрессионных моделей по

экспериментальным данным // Заводская лаборатория. Диагностика

материалов. – 2005. – Т. 71, 11. – С. 53–57.

65. Тырсин, А.Н. Робастное построение регрессионных зависимостей на основе

обобщенного метода наименьших модулей / А.Н. Тырсин // Записки научных

семинаров ПОМИ. – 2005. – Т. 328. – С. 236–250.

66. Тырсин, А.Н. Эффективные вычислительные алгоритмы построения

регрессионных моделей на основе обобщенного метода наименьших модулей /

А.Н. Тырсин, К.Е. Максимов // Математическое моделирование и краевые

задачи: Труды шестой Всеросс. науч. конф. с международным участием. Ч. 4.

Информационные технологии в математическом моделировании. – Самара:

СГТУ, 2009. – С. 137–139.

67. Тюрин, Ю.Н. Многомерная статистика. Гауссовские линейные модели / Ю.Н.

Тюрин. – М.: Издательство Московского университета, 2011. – 136 с.

68. Хардле, В. Прикладная непараметрическая регрессия: Пер. с англ. ‒ М.: Мир,

1993. – 349 с.

69. Хеттманспергер, Т. Статистические выводы, основанные на рангах: Пер. с англ.

/ Т. Хеттманспергер. – М.: Финансы и статистика, 1987. – 334 c.

70. Хьюбер, П. Робастность в статистике: Пер. с англ. / П. Хьюбер. – М.: Мир, 1984.

– 304 с.

71. Шурыгин, А.М. Прикладная стохастика: робастность, оценивание, прогноз /

А.М. Шурыгин. – М.: Финансы и статистика, 2000. – 224 с.

72. Эконометрия / В.И. Суслов, Н.М. Ибрагимов, Л.П. Талышева, А.А. Цыплаков. –

Новосибирск: Издательство СО РАН, 2005. – 744 с.

138

73. Adler, I. A Simplex Variant Solving an 𝑚 × 𝑑 Linear Program in 𝑂(𝑚𝑖𝑛(𝑚2, 𝑑2))

Expected Number of Pivot Steps / I. Adler, R. Karp, R. Shamir // Tech. Rep. CSD

83/158, Computer Sci. Dept. - University of California, Berkeley. 1983.

74. Adler, I.A simplex type algorithm whose average number of steps is bounded between

two quadratic functions of the smaller dimension / I. Adler, N. Mqiddo // Proc. 16-th

Ann. ACM Symp. on Theory of Computing. 1984. PP. 312-323.

75. Almon, Sh. The Distributed Lag between Capital Appropriations and Expenditures /

Sh. Almon // Econometrica. 1965. Vol. 33, No. 1. PP. 178-196.

76. Andrews, D.F. A robust method for multiple linear regression / D.F. Andrews //

Technometrics. – 1974. – V. 16, 4. – PP. 523–531.

77. Armstrong, R.D. Algorithm AS132: Least absolute value estimates for a simple linear

regression problem / R.D. Armstrong, D.S. Kung // Appl. Stat. 1978. Vol. 7. PP. 363-

366.

78. Barrodale, I. An improved algorithm for discrete 𝐿1 linear approximation / I.

Barrodale, F.D.K. Roberts // SIAM J. Numer. Anal. 1973. Vol. 10. PP. 839-848.

79. Basset, G.W. Asymptotic theory of least absolute error / G.W. Basset, R. Koenker //

J. Amer. Statist. Assoc. 1978. - Vol. 73. - PP. 618-622.

80. Birkes, D. Alternative Methods of Regression / D. Birkes, Ya. Dodge. - John Wiley

& Sons. 1993.

81. Bloomfield, P. Least Absolute Deviations: Theory, Applications, and Algorithms / P.

Bloomfield, W.L. Steiger. – Brikhauser, 1983.

82. Box, G.E.P. Non normality and test on variances / G.E.P. Box // Biometrica. - 1953.

- Vol. 40. - PP. 318-354.

83. Charnes, A. Optimal estimation of executive compensation by linear programming /

A. Charnes, W.W. Cooper, R.O. Ferguson // Management Sei. 1955. Vol. 2. PP. 138—

151.

139

84. Clarke, B. Robustness Theory and Application / B. Clarke. – John Wiley & Sons, Inc.

– 2018.

85. Dantzig, G.B. Linear programming and extensions / G.B. Dantzig. - Princeton

University Press, Princeton, N.J., 1963.

86. Dodge, Y. 𝐿1-norm based data analysis / Y. Dodge // Comput. Statist, and Data Anal.

1987. - Vol. 5. PP. 239-253.

87. Ein-Dor, P. Attributes of the performance of central processing units: a relative

performance prediction model / P. Ein-Dor, J. Feldmesser // Communications of the

ACM. 1987. Vol. 30 (4). PP. 308—317.

88. Eisenhart, C. Boscovitch and the Combination of Observations / L.L. Whyte, (Ed.),

Roger Joseph Boscovitch. New York: Fordham University Press, 1961.

89. Eubank, R.L. Nonparametric Regression and Spline Smoothing / R.L. Eubank. –

Marcel Dekker, Inc. – 1999.

90. Fisher, W.D. A note on curve fitting with minimum deviations by linear programming

/ W.D. Fisher // J. Amer. Stat. Assoc. 1961. Vol. 56. PP. 359-362.

91. Hansen, P.C. Least Squares Data Fitting with Applications / P.C. Hansen, V. Pereyra,

G. Scherer. – Johns Hopkins University Press. – 2017.

92. Hawley, R.W. On Edgeworth’s method for minimum absolute error linear regression

/ R.W. Hawley, N.C. Gallagher Jr. // IEEE Trans. Signal Processing. 1994. Vol. 42.

No. 8. PP. 2045–2054.

93. Huber, P.J. Robust Statistics. – 2nd ed. / P.J. Huber, E.M. Ronchetti. – John Wiley &

Sons, Inc. – 2009.

94. Jureckova, J. Nonparametric estimates of regression coefficients / J. Jureckova //

Annals of Mathematical Statistics. – 1971. – Vol. 42, 4. – PP. 1328–1338.

95. Kharin, Y. Robustness in Statistical Forecasting / Y. Kharin. - Springer. 2013.

96. Laplace, P.S. Sur Quelques du Systeme du Monde. Memories de l'Academie Royale

des Science de Paris (1789). Paris, Gauthier-Villars, 1895.

140

97. Lok, P. The application of a diagnostic model and surveys in organizational

development / P. Lok, J. Crowford // Journal of Managerial Psychology. – 2000. –V.

15, 2. – PP. 108–125.

98. Maronna, R.A. Robust Statistics: Theory and Methods / R.A. Maronna, R.D. Martin,

V.J. Yohai. - John Wiley & Sons. 2006.

99. Montgomery, D.C. Introduction to Linear Regression Analysis. – 5th ed. / D.C.

Montgomery, E.A. Peck, G.G. Vining. – John Wiley & Sons. – 2012.

100. Narula, S.C. Algorithm AS108: Multiple linear regression with minimum sum of

absolute errors / S.C. Narula, J.F. Wellington // Applied Stat. 1977. Vol. 26. PP. 106-

111.

101. Nkoro, E. Autoregressive Distributed Lag (ARDL) cointegration technique:

application and interpretation / E. Nkoro, A.K. Uko // Journal of Statistical and

Econometric Methods. 2016. Vol. 5 No 4. PP. 63-91.

102. Nocedal, J. Numerical Optimization. - 2nd ed. / J. Nocedal, S.J. Wright. - Springer.

2006.

103. Pan, V. On the Complexity of a Pivot Step of the Revised Simplex Algorithm / V. Pan

// Comp. & Maths, with Appls. 1985. Vol. 11. No.11. PP. 1127-1140.

104. Panyukov, A.V. Stable Parametric Identification of Vibratory Diagnostics Objects /

A.V. Panyukov, A.N. Tyrsin // Journal of Vibroengineering. 2008. Vol. 10. No 2. PP.

142-146.

105. Poljak, B.T. Robust identification / B.T. Poljak, Ja.Z. Tsypkin // Automatica. 1980.

Vol. 16. 1. PP. 53-63.

106. Pollard, D. Asymptotics for Least Absolute Deviation Regression Estimators / D.

Pollard // Econometrics Theory. - 1991. Vol. 7. - PP. 186-199.

107. Ramsay, J.O. A comparative study of several robust estimates of slope, intersept and

scale in linear regression / J.O. Ramsay // Journal of the American Statistical

Association. – 1977. – Vol. 72, 3. – PP. 608–615.

141

108. Rousseeuw, P.J. Robust Regression and Outlier Detection / P.J. Rousseeuw, A.M.

Leroy. – John Wiley & Sons, Inc. – 1987.

109. Statistical Data Analysis Based on the 𝐿1–norm and Related Methods / Ed. Y. Dodge

// Papers of the 4th International Conference on Statistical Analysis on the 𝐿1–norm

and Related Methods. – Basel: Birkhauser, 2002.

110. Todd, M.J. Polynomial Expected Behavior of a Pivoting Algorithm for Linear

Complementarity and Linear Programming Problems / M. J. Todd // Tech. Rep. 585,

School of Operations Research and Industrial Engineering. Cornell Univ., Ithaca,

N.Y. 1983.

111. Tukey, J.W. A survey of sampling from contaminated distribution / J.W. Tukey // In:

Contributions to Probability and Statistics. Stanford: Stanford Univ. Press, 1960. - PP.

443-485.

112. Wagner, H.M. Linear programming techniques for regression / H.M. Wagner // J.

Amer. Stat. Assoc. 1959/ Vol. 54. PP. 206-212.

113. Wagner, H.M. Non-linear regression with minimal assumptions / H.M. Wagner // J.

Amer. Stat. Assoc. 1962. Vol. 57. PP. 572-578.

114. Wasserman, L. All of Nonparametric Statistics / L. Wasserman. - Springer. 2006.

115. Weiszfeld, E. On the point for which the sum of the distances to n given points is

minimum / E. Weiszfeld // Annals of Operations Research. – 2008. – Vol. 167, 1.

– PP. 7–41. Translated from the French original [Tohoku Mathematics Journal. 1937.

V. 43. PP. 355–386] and annotated by Frank Plastria.

116. Wesolowsky, G.O. A new descent algorithm for the least absolute value regression

problem / G.O.Wesolowsky // Communications in Statistics, Simulation and

Computation. 1981. – Vol. B10. No. 5. PP. 479– 491.

117. Wolberg, J.R. Data Analysis Using the Method of Least Squares. Extracting the Most

Information from Experiments / J.R. Wolberg. – Springer. 2006.

142

Публикации автора по теме диссертации

118. Азарян, А.А. Быстрые алгоритмы устойчивого оценивания линейных

регрессионных моделей / А.А. Азарян, А.Н. Тырсин // Новые информационные

технологии в исследовании сложных структур: Материалы 12-й

международной конференции, Алтайский край, пос. Катунь, 4-8 июня 2018 г. –

Томск: Издательский Дом Томского государственного университета, 2018. С.

103–104.

119. Азарян, А.А. Быстрый алгоритм оценивания линейных регрессионных

зависимостей на основе обобщенного метода наименьших модулей / А.А.

Азарян, А.Н. Тырсин // Актуальные направления фундаментальных и

прикладных исследований. Т. 2: Материалы XV международной научно-

практической конференции, 9-10 апреля 2018 г. – North Charleston, USA, 2018.

С. 68–73.

120. Азарян, А.А. Комплекс проблемно-ориентированных программ для реализации,

оценивания и исследования алгоритмов устойчивого построения линейных

моделей / А.А. Азарян // Проблемы внедрения результатов инновационных

разработок: Сборник статей по итогам международной научно-практической

конференции (Самара, 22 июня 2018 г.). Ч.2. – Стерлитамак: АМИ, 2018. С. 27–

36.

121. Азарян, А.А. Повышение быстродействия точного алгоритма реализации

метода наименьших модулей при оценивании параметров линейных

регрессионных моделей / А.А. Азарян, А.Н. Тырсин // Труды второй научно-

технической конференции молодых ученых Уральского энергетического

института, Екатеринбург, 15-19 мая 2017. – Екатеринбург: УрФУ, 2017. – С.

385–387. URL: http://elar.urfu.ru/handle/10995/55268.

143

122. Азарян, А.А. Эффективные алгоритмы оценивания линейных регрессионных

моделей на основе метода наименьших модулей / А.А. Азарян, А.Н. Тырсин //

Анализ, моделирование, управление, развитие социально-экономических

систем: сборник научных трудов XI Международной школы-симпозиума,

Симферополь-Судак, 14-27 сентября 2017 / Под общей редакцией А.В. Сигала.

– Симферополь: ИП Корниенко А.А., 2017. С. 11–16.

123. «Лукавые» данные и реальная динамика социально-экономического развития

субъектов РФ / Куклин А.А., Чичканов В.П., Никулина Н.Л., Чистова Е.В.,

Берсенев В.Л., Печеркина М.С., Васильева А.В., Наслунга К.С., Шипицына С.Е.,

Коробков И.В., Тырсин А.Н., Найденов А.С., Пыхов П.А., Яндыганов П.Я.,

Азарян А.А., Сурина А.А.; под ред. А.А. Куклина и В.П. Чичканова.

Екатеринбург: Институт экономики УрО РАН, 2017. – 364 с. (§§ 7.1, 7.2.

Моделирование сбалансированности пенсионной системы России, с. 182–199).

124. Тырсин, А.Н. Методы устойчивого построения линейных моделей на основе

спуска по узловым прямым / А.Н. Тырсин, А.А. Азарян // Модели, системы, сети

в экономике, технике, природе и обществе. 2018. 1(25) C. 188–202.

125. Тырсин, А.Н. Об одном алгоритме реализации обобщенного метода

наименьших модулей / А.Н. Тырсин, А.А. Азарян // Обозрение прикладной и

промышленной математики. 2017. Т. 24, В. 4. С. 375–376.

126. Тырсин, А.Н. Оптимизация периода эксплуатации высоконагруженной техники

на основе анализа средних удельных затрат / А.Н. Тырсин, А.А. Азарян //

Известия вузов. Горный журнал. 2017. 5. С. 4–8.

127. Тырсин, А.Н. Оптимизация численности плательщиков страховых взносов в

пенсионную систему за счет легализации неформальной занятости в регионах /

А.Н. Тырсин, Е.В. Чистова, А.А. Куклин, А.А. Азарян: свидетельство

2018610916; заявл. 22.11.2017; зарегистр. 19.01.2018; Реестр программ для

ЭВМ.

144

128. Тырсин, А.Н. Оценивание нелинейных регрессионных зависимостей на основе

обобщенного метода наименьших модулей / А.Н. Тырсин, А.А. Азарян //

Материалы XIX Всероссийского Симпозиума по прикладной и промышленной

математике (весенняя сессия), Санкт-Петербург, п. Репино, 21-27 апреля 2018 г.

URL: http://www.tvp.ru/conferen/vsppmXIX/repso044.pdf.

129. Тырсин, А.Н. Оценка линейных моделей методом обобщенных наименьших

модулей на основе спуска по узловым прямым / А.Н. Тырсин, А.А. Азарян:

свидетельство 2018614491; заявл. 27.02.2018; зарегистр. 06.04.2018; Реестр

программ для ЭВМ.

130. Тырсин, А.Н. Программа реализации метода наименьших модулей на основе

спуска по узловым прямым / А.Н. Тырсин, А.А. Азарян: свидетельство

2018610336; заявл. 13.11.2017; зарегистр. 10.01.2018; Реестр программ для

ЭВМ.

131. Тырсин, А.Н. Робастное оценивание стохастических моделей временных рядов

в задачах диагностики / А.Н. Тырсин, А.А. Азарян, Л.Н. Корчёмкина //

Современные тенденции развития науки и технологий. 2016. 11-2. – С.132-

137. URL: http://issledo.ru/wp-content/uploads/2016/12/Sb_k-11-2.pdf.

132. Тырсин, А.Н. Точное оценивание линейных регрессионных моделей методом

наименьших модулей на основе спуска по узловым прямым / А.Н. Тырсин, А.А.

Азарян // Вестник Южно-Уральского государственного университета. Серия

«Математика. Механика. Физика». 2018. 2. С. 47–56.

133. Тырсин, А.Н. Точные алгоритмы реализации метода наименьших модулей на

основе спуска по узловым прямым / А.Н. Тырсин, А.А. Азарян // Вестник

Бурятского государственного университета. Математика, информатика. 2017.

4. С. 21–32.

145

134. Чистова, Е.В. Легализация неформальной занятости как резерв повышения

поступлений в пенсионную систему России / Е.В. Чистова, А.Н. Тырсин, А.А.

Азарян // Пространственная экономика. 2017. 4. С. 130–147.

135. Azaryan, A.A. Analysis of algorithms for stable estimation of coefficients of multiple

linear regression models / A.A. Azaryan // Journal of Computational and Engineering

Mathematics. 2018. Vol. 5. 3. PP. 17-23.

146

Приложения

147

148