Вопросы региональной экономики №1(6) 2011

 
Вопросы региональной экономики №1(6) 2011
 
113
кс
с
ф
n
F
V
F
V



0
0

 
            
(10) 
Таким  образом,  исполь-
зуя выражения (7) и (10), реаль-
но  определить  закон  распреде-
ления  параметра  импульсных 
помех  на  входе  демодулятора, 
принимая  во  внимание  эмпири-
ческие  характеристики  помех 
выделенных каналов связи. 
Литература 
 
1.  Блох  Э.Л.,  Попов  О.В.,  Турин  В.Я.  Модели  источника  ошибок  в 
каналах передачи цифровой информации, - М.Связь 1971.- 312 с. 
2.  Бомштейн Б.Д., Бурда Л.Я., Фарбер Ю.Д. Качественные показате-
ли  трактов  и  каналов  высокочастотных  систем  передачи.  -  М.:  Связь, 
1982. - 208 с. 
3.   Бомштейн Б.Д., Киселев Л.К, Моргачев Е.Г. Методы борьбы с по-
мехами в каналов проводной связи. – М.: Связь, 1995 - 248 с. 
4.    Вольфбейн  С.П..  Векслер  Н.Г.  Помехи  при  передаче  дискретной 
информации. - Киев, Техника, 1983 - 151 с. 

 
Вопросы региональной экономики №1(6) 2011 
114 
УДК 519.85 
 
Минимаксный метод оценки главных компонент 
 
Н.И. Киселев, к.ф. - м.н., профессор, 
Государственное образовательное учреждение высшего 
профессионального образования Московской области 
«Королевский институт управления экономики и социологии», 
г. Королев, Московская область 
 
Геометрический  образ  многомерной  выборки  представляется 
параллелепипедом  минимального  объема,  который  является  оценкой 
максимального  правдоподобия  для  равномерного  распределения  на-
блюдений.  Оценка  векторов  ребер  прямоугольного  параллелепипеда, 
интерпретируемых  как  главные  компоненты,  формулируется  как  за-
дача  оптимизации с минимаксным критерием. Для ее решения исполь-
зуются  методы  линейного  программирования.  Предложенный  подход 
экспериментально проверяется на известных тестовых статистиче-
ских массивах, где получены результаты, не уступающие, а в некото-
рых  случаях  превосходящие  оценки  классического  метода  главных 
компонент. 
 
Параллелепипед,  главные  компоненты,  минимаксные  критерии,  ли-
нейное программирование. 
 
The geometrical image of multidimensional sample is represented as 
a parallelepiped of the minimum volume which is an estimation of the max-
imum  likelihood for uniform distribution of observations. The estimations of 
vectors of the rectangular parallelepiped edges, interpreted as the principal  
components, is formulated as a problem of optimization with minimax crite-
rion.  The  methods  of  linear  programming  are  used  to  find  a  solution.  The 
above  approach  was  checked  experimentally  on  known  test  data  sets.  On 
these data sets the minimax method has shown the equal or better results in 
comparison with classical method of the principal components. 
 
Рarallelepiped,  principal  components,  minimax  criteria,  linear  program-
ming. 
 
1. Введение 
В 
эконометрике 
нор-
мальное  распределение  данных 
не является доминантой, как это 
было  ранее  в  других  областях 
приложения статистических ме-
тодов.  В  то  же  время  метод 
главных  компонент,  основной 

 
Вопросы региональной экономики №1(6) 2011
 
115
инструмент  анализа  структуры 
данных,  по  существу  основан 
на  предположении,  что  исход-
ные  данные  являются  наблюде-
ниями  случайной  величины  с 
многомерным  нормальным  рас-
пределением.  В  частности,  ис-
пользуется  метод  наименьших 
квадратов, 
ковариационная 
матрица,  геометрические  пред-
ставления  типа  «эллипсоида 
рассеяния»  и  иные  категории 
нормального 
распределения. 
Другие  модели  образования  ис-
ходных  данных,  рассматривае-
мые в контексте выбора метода 
оценивания 
главных 
компо-
нент,  в  литературе  нам  не  из-
вестны. 
В 
целях 
обеспечения 
эконометрики  более  адекват-
ными  инструментами  анализа 
данных в работе рассматривает-
ся  модель  образования  наблю-
дений,  основанная  на  равно-
мерном  законе  их  распределе-
ния.  Переход  к  иной  модели 
данных  приводит  к  замене 
классического  критерия  наи-
меньших  квадратов  минимакс-
ным  критерием,  а  вместо  мно-
гомерного  эллипсоида  как  гео-
метрического  образа  формы 
данных    появляется  прямо-
угольный  параллелепипед.  Та-
ким  образом,  в  работе  строится 
альтернатива 
классическому 
методу главных компонент. 
Заметим,  что  в  развитие 
множественности  подходов  к 
решению важных задач матема-
тической  статистики,  представ-
ляется  целесообразным  постро-
ить  подобную  альтернативу. 
Например,  в  относительно  про-
стой задаче - оценивание центра 
случайной  величины  по  выбор-
ке  -  помимо  выборочного  сред-
него  используется  ряд  различ-
ных  оценок:  медиана,  середина 
размаха  и  т.д.,  каждая  из  кото-
рых  имеет  оптимальные  свой-
ства 
при 
соответствующих  
распределениях  случайной  ве-
личины.  В  нашем  случае  также 
очевидно,  что в зависимости от 
модели  образования  данных  
прикладной  задачи,  тот  или 
другой  метод  изучения  струк-
туры многомерных наблюдений 
будет  иметь  свои  преимущест-
ва. 
Предложенный 
мини-
максный 
метод 
оценивания 
главных  компонент  и  сопутст-
вующий  ему  метод  максималь-
ного  размаха  применяются  к 
известным  тестовым  данным 
(выборка  Р.Фишера  данных  по 
видам  цветка  Ирис)  и  макро-
экономическим 
показателям 
России  за  1995-2008  гг.  Для 
изучения  свойств  этих  методов 
приводится  сравнение  получен-
ных ими оценок с теми, что да-
ет  классический  метод  главных 
компонент. 
Помимо  задачи  опреде-
ления  главных  компонент  ми-
нимаксный  подход  дает  воз-
можность  решить  общую  зада-
чу  локализации  многомерных 
данных,  а  именно  -  построение 
параллелепипеда,  который  со-
держит все наблюдения, причем 
его форма и угловая ориентация 

 
Вопросы региональной экономики №1(6) 2011 
116 
в 
пространстве 
определяют 
геометрию исходных данных. 
2.Модель  образования  дан-
ных. 
Пусть 
A
  –  матрица  чи-
словых 
данных 
размером 
p
p

  полного  ранга; 
p
  – 
число  показателей,  регистри-
руемых  в  каждом  наблюде-
нии. 
Выборка 
(1)
(2)
( )
,
,......,
n
x
x
x
  представ-
ляет  исходные  данные, 
n
  — 
число  наблюдений.  Будем  по-
лагать,  что  имеет  место  сле-
дующая  модель  образования 
данных 
( )
( )
,
1,
i
i
x
A
i
n





,    
(1)
 
где 
( )
i
p


-мерный  век-
тор, состоящий из независимых 
одинаково 
распределенных 
случайных  величин  по  равно-
мерному  закону  на  отрезке 


1,1

, 
 
  вектор  сдвига. 
Геометрическое  представление 
распределения вектора 
( )
i

 это 
p
-мерный  куб  с  равномерной 
плотностью.  Вследствие  ли-
нейности  преобразования  (1) 
геометрический  образ  распре-
деления  вектора 
( )
i
x
  представ-
ляет  параллелепипед  с  равно-
мерным  распределением,  век-
торами  ребер  которого  являют-
ся столбцы матрицы 
A
. Объем 
( )
P
V A
 параллелепипеда равен 
( )
det( )
P
V
A
A

 
Следовательно, 
плот-
ность распределения случайной 
величины 
( )
i
x
 
( )
(
)
1 /
i
p x

( )
P
V A
. 
И  плотность  совместно-
го  распределения  выборки  в 
силу  независимости  наблюде-
ний 
(1)
(2)
( )
(
,
,.....,
)
( )
n
n
p
p x
x
x
V A


  
(2)
. 
Из  (2)  очевидно,  что 
оценкой  максимального  прав-
доподобия  матрицы 
A
  по  вы-
борке 
(1)
(2)
( )
,
,......,
n
x
x
x
  бу-
дет  матрица 
ˆ
A
  параллелепи-
педа 
минимального 
объема, 
который  включает  все  наблю-
дения. 
Обращаясь 
к 
методу 
главных  компонент,  где  измен-
чивость  наблюдений  выборки 
раскладывается  по  ортогональ-
ным  направлениям,  предполо-
жим,  что  столбцы  матрица 
A
 
являются  ортогональными,  т.е 
.
.
0
T
i
j
a a 
для всех 
i
j

, где 
.i
a
i
 
ый  столбец  матрицы. 
Тогда  геометрический  образ 
распределения  вектора 
( )
i
x
  из 
(1)  это  прямоугольный  парал-
лелепипед  и,  соответственно, 
его  оценкой 
максимального 
правдоподобия  будет  прямо-
угольный  параллелепипед  ми-
нимального  объема,  включаю-
щий  все  наблюдения  выборки. 
Этот параллелепипед допускает 
интерпретацию  в  смысле  глав-
ных  компонент:  самое  длинное 
ребро  определяет  направление 

 
Вопросы региональной экономики №1(6) 2011
 
117
и  меру  изменчивости  первой 
компоненты,  второе  по  длине 
определяет вторую и т.д. 
Для  дальнейшего  нам 
потребуется 
альтернативное 
задание  параллелепипеда  как 
области  пересечения 
p
  пар 
параллельных  плоскостей.  В 
таком  представлении  паралле-
лепипед,  включающий  все  на-
блюдения  выборки,  описывает-
ся системой неравенств 
p
j
n
i
x
c
x
c
x
с
p
i
p
jp
i
j
i
j
,
1
,
1
,
1
)
(
...
...
)
(
)
(
1
2
2
2
1
1
1















                
(3)
 
Здесь  строки  матрицы 
C
 размером 
p
p

 состоят из 
линейно  независимых  направ-
ляющих  векторов  плоскостей, 
 
точка  пересечения  всех 
диагоналей параллелепипеда. В 
представлении  (3)  задача  нахо-
ждения  параллелепипеда  ми-
нимального  объема  сводится  к 
решению  следующей  задачи 
оптимизации 
 
 
 
   
(4) 
 
при  ограничениях  включения 
всех  наблюдений  в  параллеле-
пипед 
( )
( )
(
) 1,
(
) 1,
1,
i
i
C x
C x
i
n








 
Общее  число  ограниче-
ний  равно 
2 * *
p n
.  Каждое 
наблюдение индуцирует 
2 * p
 
ограничений,  связанных  с  ус-
ловиями  его  принадлежности 
параллелепипеду. При решении 
задачи  оптимизации  на  множе-
стве  прямоугольных  паралле-
лепипедов  добавляются  огра-
ничения ортогональности строк 
матрицы 
.
.
0
T
i
j
c c 
для всех 
i
j

,   
(5)
 
где 
.
i
c
i
 
ая строка матрицы 
C
. 
Сформулированная 
за-
дача  оптимизации  имеет  нели-
нейные целевую функцию (4) и 
ограничения  (5),  что  делает 
проблематичной  ее  решение  в 
общем  случае.  В  этой  связи 
ниже  рассматривается  метод 
последовательного  нахождения  
пар  плоскостей  параллелепипе-
да, 
который 
соответствует 
идеологии  главных  компонент 
[3]. 
 
3. Минимаксный метод по-
следовательного определения 
главных компонент 
Пусть имеется некоторая 
гиперплоскость 
0
0
T
c x
c


, 
определим  ее  параметры  из  ус-
ловия минимума максимального 
отклонения  от  плоскости  на-
блюдений выборки 
n
i
c
c
x
c
i
T
,
1
,
1
,
max
min
arg
сˆ
 
0
)
(
1




  
(6), 
где 
0
c
  –  свободный  член  ги-
2
det( )
min
p
p
V
C



 
Вопросы региональной экономики №1(6) 2011 
118 
перплоскости, 
c 
евклидова 
норма  вектора.  Другими  слова-
ми, задача (6) – это определение 
минимаксной плоскости, где от-
клонением точки служит ее евк-
лидово  расстояние  до  плоско-
сти. 
Для  решения  задачи  (6) 
будем  использовать  аппарат  ли-
нейного 
программирования 
(ЛП) [1]. Введем переменную 
b
 
максимального  отклонения,  а 
также  искусственные  неотрица-
тельные  переменные  (невязки) 
i
b

 и 
i
b

 для каждого наблюде-
ния.  Тогда  задачу  (6)  можно  за-
писать  в  терминах  ЛП,  но  с  од-
ним  квадратичным  ограничени-
ем,  связанным  с  условием  нор-
мировки: 
0
,
min
c c
b 
,                              
(7) 
0
Xc + c +be - b
0,


0,
b


   
(8)
 
0
Xc +с - be + b
0,


 
0,
b


 
0,
b 
                    
(9) 
|| || 1
c 
,                        
(10) 
где  е  –  единичный  вектор, 
b

и 
b

 - вектора невязок размерно-
сти 
n
.  Как  видно  из  (7)  –  (10) 
задача 
оптимизации 
имеет 
2n
+1  нетривиальных  ограни-
чений  и 
2
2
n
p


  неизвест-
ных переменных. 
В  результате  решения  (7)  –  (10) 
получаем  искомый  направляю-
щий  вектор 
1
ˆc
  и  значение  мак-
симального 
отклонения 
1
ˆ
b
 
(нижний  индекс  1  в  этих  пере-
менных  означает,  что  они  отно-
сятся к первой компоненте). Так 
как  одновременно  находится 
оценка свободного члена 
01
ˆc
, то 
первая  минимаксная  плоскость 
полностью  определена.  Помимо 
этого,  с  помощью  величины 
1
ˆ
b
 
задается  пара  параллельных  ей 
плоскостей,  отстоящих  от  ми-
нимаксной  на  эту  величину,  на-
ходящихся  по  разные  стороны 
от  нее  и  содержащие  между 
собой  все  наблюдения  (в  том 
числе,  лежащие  на  самих  плос-
костях). 
Для 
i 
ой  главной  ком-
поненты  повторяется  решение 
задачи (7)  – (10), но с дополни-
тельными  условиями  ортого-
нальности  искомого  оптималь-
ного  решения  задачи  к  найден-
ным на предшествующих шагах 
направляющим векторам. 
1
ˆ
0
i
C c


.                     
(11)
 
Строки  матрицы 
1
ˆ
i
C

 
состоят  из  оценок  коэффициен-
тов  минимаксной  плоскости  на 
предшествующих  шагах  (без 
оценки  свободного  члена),  т.е. 
если  таких  шагов 
1
i 
, то мат-
рица 
1
ˆ
i
C

  имеет  размерность 
(
1) *
i
p

 и ее строки попарно 
ортогональны. 
В результате решения (7) 

 
Вопросы региональной экономики №1(6) 2011
 
119
–  (11)  получаем  вектор 
ˆ
i
c
  и 
i 
ю  пару  плоскостей  с  рас-
стоянием 
ˆ
i
b
 между ними, вновь 
содержащие  между  собой  все 
наблюдения  и  ортогональные 
ранее  полученным  парам  плос-
костей. 
Пересечением 
p
  пар 
взаимно  ортогональных  плоско-
стей,  полученных  при  много-
кратном  решении  задачи  (7)  – 
(11),  является  прямоугольный 
параллелепипед, 
содержащий 
все  наблюдения.  Этот  паралле-
лепипед,  как  уже  отмечалось, 
обеспечивает простую геомет-
рическую  интерпретацию  глав-
ным 
компонентам. 
Прямо-
угольный  параллелепипед  од-
нозначно определяется набором 
p
  различных  векторов  ребер, 
исходящих  из  одной  вершины, 
которые можно ассоциировать с 
главными  компонентами.  Сле-
дуя общепринятому порядку пе-
речисления  компонент  (где пер-
вая  компонента  указывает  мак-
симальную  изменчивость)  име-
ем,  соответственно:  максималь-
ное    по  длине  ребро  параллеле-
пипеда  задает  направление  и 
величину  (длина  ребра)  первой 
главной компоненты, второе по 
длине – вторую и т.д. 
Возвращаясь  к  технике 
решения  задачи  (7)  –  (11)  заме-
тим,  что  вследствие  условия 
нормировки 
2
|| ||
1
с

  исполь-
зовать  непосредственно  сим-
плекс метод решения задачи ЛП 
не  представляется  возможным. 
В  этом  случае  задача  каждый 
раз  решается  итеративным  про-
цессом,  суть  которого  в  замене 
на 
k 
ой  итерации  ограниче-
ния 
|| || 1
c 
  на  линейное  усло-
вие 
(
1)
ˆ
*
1
T
k
i
c
c


,  
 
 
(12)
 
где 
(
1)
ˆ
k
i
c

-  решение  задачи  оп-
ределения 
i 
ой компоненты на 
(
1)
k 

ой  итерации.  В  каче-
стве  значения 
(0)
ˆ
i
c
  для  первой 
итерации  предпочтительней  вы-
брать  решение,  полученное  ме-
тодом  максимального  размаха, 
изложенного  в  разделе  4.1  для 
соответствующей  компоненты. 
В  этом  случае  решение  задачи 
(7) - (9), (11) – (12) находится за 
одну итерацию и вторая необхо-
дима  для  срабатывания  правила 
остановки  процесса,  которое  в 
изложенном  ниже  эксперименте 
имеет вид 
( )
(
1)
( )
ˆ
ˆ
ˆ
(
) /
k
k
k
i
i
i
abs b
b
b




, 
где 
(
1)
ˆ
k
i
b

  -  значение  макси-
мального 
отклонения 
на 
(
1)
k 

ой  итерации  вычис-
ления 
i 
ой  компоненты, 

  - 
малая величина в  эксперименте, 
равная  0.01.  В  случае  выбора 
равноугольного  начального  ус-
ловия 
(0)
ˆ
1 /
i
c
p

  количест-
во  итераций  увеличивается  не-
значительно (на одну-две). 

 

жүктеу/скачать 2,69 Mb.

Достарыңызбен бөлісу: