Национальной академии наук республики казахстан

ISSN 2224–5227                                                                                                                               
№ 3. 2016  
 
 
9 
результатом моделирования оказалось то, что схему каталитической реакции, показанной в работе 
[1], можно упростить, убрав разветвление на изотопе  Po
210
и исключив из каталитического состава 
изотоп Po
211 
. 
 
ЛИТЕРАТУРА 
 
[1]
 
Абишев М., Хасанов М., Кенжебаев Н. О циклической реакции с участием тепловых нейтронов. // Вестник НАН РК. – 
2013. – № 6. – С. 12. 
[2]
 
Кунаков С., Кенжебаев Н. Моделирование накопление трития в бериллиевом материале при нейтронном облучений. 
//Известия НАН РК. – 2014. – №2. – С. 82-86. 
[3]
 
Burbidge E., Burbidge G.R., Fowler W.A., Hoyle F. Synthesis of the Elements in Stars. //Reviews of Modern Physics 29. – 1957. 
– №4. – С.547. 
[4]
 
Хаустов  И.Н.,  Тихомиров  С.Т.,  Бейзин  С.Д.  Функция  возбуждения  и  выходы  изотопов  висмута  и  свинца  в  реакций 
203Ti с ионами 3He. //Известия АН КазССР. – 1990. – №2. – С.3. 
[5]
 
Bateman H. Solution of a System of Differential Equations Occurring in the Theory of Radio-active Transformations. // Proc. 
Cambridge Phil. Soc. IS. – 1910. – №423. – C.12-19. 
[6]
 
Otto Schwerer. EXFOR Formats Description for Users. – IAEA Nuclear Data Section, 2014. P 3. 
 
REFERENCES 
 
[1]
 
Abishev M., Hasanov M., Kenzhebaev N. Cyclic reactions involving thermal neutrons. Journal of National Academy of 
Sciences of Kazakhstan.2013. 6. 12-16. 
[2]
 
Kunakov S., Kenzhebaev N. Modelling the accumulation of tritium in beryllium materials under neutron 
irradiation.Proceedings of the National Academy of Sciences of Kazakhstan. 2014. 2. 82-86. (in Russ) 
[3]
 
Burbidge E., Burbidge G.R., Fowler W.A., Hoyle F. Synthesis of the Elements in Stars. Reviews of Modern Physics. 1957. 4. 
547-554. 
[4]
 
Khaustov I.N., Tikhomirov S.V., Baisin S.D. The excitation function and outputs of bismuth and lead isotopes in 203Ti 
reactions 3He ions. Proceedings of the Academy of Sciences of the Kazakh SSR. 1990. 2. 3-8. 
[5]
 
Bateman H. Solution of a System of Differential Equations Occurring in the Theory of Radio-active Transformations. Proc. 
Cambridge Phil. Soc. IS.1910. 423. 12-19. 
[6]
 
Otto Schwerer. EXFOR Formats Description for Users. IAEA Nuclear Data Section, 2014. 3-345. 
 
ЖЫЛУЛЫҚ НЕЙТРОНДАРДЫҢ КАТАЛИЗДЫҚ ҚОСПАМЕН (Pb, Bi, Po)  
ШЕКСІЗ ОРТАДА ƏСЕРЛЕСУІН МОДЕЛЬДЕУ 
 
М. Абишев, Н. Хасанов, Д. Утепова, Т. Айтасов 
 
Əл-Фараби атындағы Қазақ ұлттық университеті , физика жəне технология факультеті ,  
Алматы, Қазақстан Республикасы 
 
Түйін сөздер: катализдік қоспа, Монте-Карло əдісі, циклдық реакция. 
Аннотация.  Жұмыстың  мақсаты    жылулық    нейтрондардын    Pb
206 
, Pb
207
 , Pb
208
 , Pb
209
 , Bi
209 
, Bi
210 
, Po
210
.  
изотоптарынан  тұратын  катализдік  қоспамен  шексіз  ортада  əрекеттесуін  компьютерлік  модельдеу.  Бұл  ортадағы 
нейтрондардын концентрациясы  тұрақты жəне уақыттан тəуелсіз деп есептеледі.Бұл процессті компьютерлік модельдеу 
жүргізу ушін c++ бағдарлау тілі мен  бөлшектерді тасмалдауға арналған  Монте-Карло əдісі колданылды.  Компьютерлік 
модельдеу  барысында  катализдік  қоспадағы  əр  изотоптың  канша  нейтрон  жытатыны  есептелді.  Бастапқы  мезеттегі 
катализдік  қоспадағы  əр  изотоптың  концентрациясы [1] жұмыста  есептпелген.  Компьютерлік  модельдеу  нəтижесі [1] 
жұмыста көрсетілген катализдік қоспадағы Po
211 
изотопын қоспағанда, катализдік реакциялар шебіндегі тармақталудан 
құтылуға болатынын көрсетті. 
Поступила 16.05.2016 г. 

Доклады Национальной академии наук Республики Казахстан  
 
 
   
10  
Механика 
 
 
REPORTS OF THE NATIONAL ACADEMY OF SCIENCES  
OF THE REPUBLIC OF KAZAKHSTAN 
ISSN 2224-5227 
Volume 3, Number 307 (2016), 10 – 16 
 
 
ИДЕНТИФИКАЦИЯ СИСТЕМ С ПОМОЩЬЮ 
МОДИФИЦИРОВАННОГО РАЗРЕЖЕННОГО LMS АЛГОРИТМА  
С УТЕЧКОЙ 
 
Туран Д., Сулиев Р.Н., Амиргалиев Е.Н. 
 
*Кафедра компьютерной инженерии, Университет им. С. Демиреля, Каскелен, Казахстан 
эл. почта: {cemil.turan, rassim.suliyev,yedilkhan.amirgaliyev}@sdu.edu.kz 
 
Ключевые слова: адаптивные алгоритмы, идентификация систем, разреженные системы. 
Аннотация. В данной статье предлагается новый LMS алгоритм с утечкой (LLMS), который улучшает 
алгоритм ZA-LLMS (Zero-Attracting Leaky-LMS) используемый  для  идентификации  разреженной  системы. 
Предложенный алгоритм использует разреженность системы с преимуществами переменности размера шага 
и  штрафа  l
0
-нормы.  Мы  сравнили  производительность  предложенного  алгоритма  с LLMS и ZA-LLMS с 
точки зрения скорости сходимости и среднеквадратичного отклонения (MSD). Эксперименты проводились в 
среде MATLAB. Моделирование показало, что предложенный алгоритм имеет превосходство над другими 
алгоритмами  для  обоих  типов  входных  сигналов:  аддитивного  белого  Гауссовского  шума (AWGN) и 
аддитивного коррелированного Гауссовского шума (ACGN). 
 
A MODIFIED SPARSE LEAKY-LMS ALGORITHM 
FOR SYSTEM IDENTIFICATION 
 
D. Turan, R.N. Suliyev, Ye. N. Amirgaliyev 
 
*Department of Computer Engineering, Suleyman Demirel University, Almaty, Kazakhstan 
E-mail: {cemil.turan, rassim.suliyev,yedilkhan.amirgaliyev}@sdu.edu.kz 
 
Keywords. Adaptive algorithms, system identification, sparse systems. 
Abstract. In this paper, we propose a new Leaky-LMS (LLMS) algorithm that improves the Zero-Attracting 
Leaky-LMS (ZA-LLMS) for sparse system identification. The proposed algorithm exploits the sparsity of the system 
with the advantages of the variable step-size and l
0
-norm penalty. We compared the performance of our proposed 
algorithm with the LLMS and ZA-LLMS in terms of the convergence rate and mean-square-deviation (MSD). 
Experiments were performed in MATLAB. Simulations showed that the proposed algorithm has superiority over the 
other algorithms for both types of input signals of additive white Gaussian noise (AWGN) and additive correlated 
Gaussian noise (ACGN).  
 
 
I. INTRODUCTION 
 
The least-mean-square (LMS) algorithm is a well-known algorithm and has been successfully used 
for system identification model (see Fig. 1) in adaptive filtering technology [1]. Many researchers studied 
to improve the performance of the conventional LMS algorithm for different environments. Thus, many 
different LMS-type algorithms were proposed. 
Leaky-LMS-type algorithms were proposed [2,3] to overcome the issues when the input signal is 
highly correlated, by using shrinkage in its update equation. Another LMS based algorithm VSSLMS uses 

ISSN 2224–5227                                                                                                                               
№ 3. 2016  
 
 
11 
a variable step-size in update equation of the standard LMS to increase the convergence speed at the 
beginning stages of the iterations and decrease MSD at later iterations [4,5]. In order to improve the 
performance of the LMS algorithm when the system is sparse (most of the system coefficients are zero), 
ZA-LMS algorithm was proposed in [6].  
In [7], the author proposed ZA-LLMS algorithm which combines the LLMS algorithm and ZA-LMS 
algorithm for sparse system identification. A better performance was obtained for AWGN and ACGN 
input signals. In [8], a high performance algorithm called zero-attracting function-controlled variable step-
size LMS (ZAFC-VSSLMS) was proposed by using the advantages of variable step-size and 
0
l -norm 
penalty. We were motivated by the inspiration of the combination of these two algorithms. So in this 
paper, we proposed a new algorithm that combines the ZA-LLMS and ZAFC-VSSLMS algorithms. In 
the next section, a brief review of the LLMS and ZA-LLMS algorithms is provided. We derived the 
proposed algorithm in Section III. In Section IV, the simulations are presented and the performances of 
the algorithms are compared. Conclusions are drawn in the last section. 
unknown system
adaptive filter
x(n)
y
e
(n)
e(n)
y(n)
+
+
v(n)
+
-
d(n)
.
Σ
Σ
 
 
Fig. 1 –  Block diagram of the system identification process. 
 
 
II.  REVIEW OF THE RELATED ALGORITHMS 
 
a)
 
Leaky-LMS (LLMS) Algorithm 
 
In a system identification process, the desired signal is defined as, 
 
 
( )
( )
( )
T
d n
n
v n
=
+
h x
( 1 )
 
 
 
where 
0
1
[h ,...,
]
T
N
h
−
=
h
 is the unknown system coefficients with length 
N, 
0
1
( ) [ ,...,
]
T
N
n
x
x
−
=
x
is 
the input-tap vector and 
( )
v n
 is the additive noise. In addition to being independent of the noise sample 
( )
v n
 with zero mean and variance of 
2
υ
σ
, the input data sequence 
( )
n
x
 and the additive noise 
sample 
( )
v n
 are also assumed to be independent. 
The cost function of the LLMS algorithm is given by, 
 
 
2
1
1
( )
( )
( ) ( )
2
T
J n
e n
n
n
γ
=
+ w
w
( 2 )
 
where w(
n) is the filter-tap vector at time n, γ is a positive constant called ‘leakage factor’ and e(n) is the 
instantaneous error and given by, 

Доклады Национальной академии наук Республики Казахстан  
 
 
   
12  
 
 
( )
( )
( ) ( )
T
e n
d n
n
n
=
− w
x
( 3 )
 
The  update  equation  of  the  LLMS algorithm  can  be  derived  by using the gradient method as, 
 
 
( )
(
1)
( )
( )
(1
) ( )
e(n)
J n
n
n
n
n
µ
µγ
µ
∂
+ =
+
∂
= −
+
w
w
w
w
 
( 4 )
where 
µ  is the step-size parameter of the algorithm. 
 
b)
 
Zero-Attracting Leaky-LMS (ZA-LLMS) Algorithm 
 
The cost function of the LLMS algorithm was modified by adding the log-sum penalty of the filter-
tap vector as given below: 
   
                                   
2
'
2
'
1
1
( ))
( )
( ) ( )
(1
)
2
N
i
T
i
w
J n
e n
n
n
γ
γ
ξ
=
=
+
+
+
∑
w
w
                                   ( 5 )
 
where 
'
γ
 and 
'
ξ
 are positive parameters. Taking the gradient of the cost function and subtracting from 
the previous filter-tap vector iteratively, then the update equation was derived as follows [7]:   
 
                               
sgn[ ( )]
(
1) (1
) ( )
e(n) ( )
1
( )
n
n
n
n
n
µγ
µ
ρ
ξ
+ = −
+
−
+
w
w
w
x
w
                               ( 6 )
where 
'
'
µγ
ρ
ξ
=
 is the zero-attracting parameter, 
1
'
ξ
ξ
=
 and sgn(.) operation is defined as, 
 
                                                      
0
sgn( )
0
0
x
if
x
x
x
if
x
⎧
≠
⎪
= ⎨
⎪
=
⎩
                                           ( 7 )  
 
 
III.  THE PROPOSED ALGORITHM 
 
An improved sparse LMS-type algorithm was proposed in [8] by exploiting the advantages of 
variable step-size and recently proposed [9] 
0
l -norm which gives an approximate value of 
0
⋅ . We 
modify the cost function of that algorithm by adding the weight vector norm penalty as, 
 
 
2
3
0
1
( ))
( )
( ) ( )
( )
2
T
J n
e n
n
n
n
γ
ε
=
+
+
w
w
w
                ( 8 )  
 
where ε is a small positive constant  and 
0
( )
n
w
 denotes the 
0
l
-norm of the weight vector given as,  
 
 
1
( )
0
0
( )
(1
)
N
n
k
n
e
λ
−
−
=
−
∑
w
w
                            ( 9 )  

ISSN 2224–5227                                                                                                                               
№ 3. 2016  
 
 
13 
 
where 
λ  is a positive parameter. Deriving (8) with respect to w (n) and substituting in the update 
equation we get, 
 
 
( )
(
1) (1
( ) ) ( )
( ) ( ) ( )
( )sgn[ ( )]
n
n
n
n
n e n
n
n
n e
λ
µ γ
µ
ρ
−
+ = −
+
−
w
w
w
x
w
 
 (10) 
where  ( )
( )
n
n
ρ
µ
ελ
=
.   It is seen that, the update equation of the ZA-LLMS algorithm has been modified 
by changing the constant step-size 
µ  with  µ(n) given in [8] and the zero-attractor 
sgn[ ( )]
1
( )
n
n
ρ
ξ
+
w
w
 with 
( )
( )sgn[ ( )]
n
n
n e
λ
ρ
− w
w
. 
 
 
IV. SIMULATION RESULTS 
 
In this section, we compare the performance of the proposed algorithm with LLMS and ZA-LLMS 
algorithms in high-sparse and low-sparse system identification settings. Two different experiments are 
performed for each of AWGN and ACGN input signals. To increase the reliability of the expected 
ensemble average, experiments were repeated by 200 independent Monte-Carlo runs. The constant 
parameters are found by extensive tests of simulations to obtain the optimal performance as follows: For 
LLMS: 
µ=0.002 and γ=0.001. For ZA-LLMS: µ=0.002, γ=0.001, ρ=0.0005 and ξ=30. For the proposed 
algorithm: 
ρ=0.0005 and λ=8. 
In the first  experiment,  all algorithms are compared for 90% high-sparsity and 50% low-sparsity of 
the system with 20 coefficients having in the first part, two ‘1’ and 18 ‘0’; in the second part, ten ‘1’ and 
ten ‘0’ for 5000 iterations. Signal-to-noise ratio (SNR) is kept at 10 dB by regulating the variances of the 
input signal and the additive noise. The performances of the of the algorithm are compared in terms of 
convergence speed and 
{
}
2
( )
MSD E
n
=
−
h w
.  Fig. 2 and Fig. 3 give the MSD vs.  iteration  number of 
the three algorithms for 90% sparsity and 50% sparsity levels respectively. They show that, the proposed 
algorithm has a fairly fast convergence with lower MSD than that of the other algorithms.  
In  the  second  experiment,  all conditions are kept as same as in the previous experiment except the 
input signal type. A correlated signal is created by the AR(1) process as 
0
( ) 0.4 (
1)
( )
x n
x n
v n
=
− +
 and 
the normalized. Fig. 4 and Fig. 5 show that, the proposed algorithm has again a faster convergence and 
lower MSD than the other algorithms for 90% sparsity and 50% sparsity levels respectively. 
 
IV. CONCLUSIONS 
 
In this work, we proposed a modified leaky-LMS algorithm for sparse system identification. It was 
derived by combining the ZA-LLMS and ZAFC-LMS algorithms. The performance of the proposed 
algorithm was compared with LLMS and ZA-LLMS algorithms for 90% and 50% sparsity levels of the 
system with AWGN and ACGN input signals in two different experiments performed in MATLAB. 
Simulations showed that the proposed algorithm has a very high performance with a quite faster 
convergence and lower MSD than that of the other algorithms. As a future work, it is recommended that 
the proposed algorithm can be modified for transform domain or be tested for non-stationary systems. 
 
 
 

Доклады Национальной академии наук Республики Казахстан  
 
 
   
14  
 
Fig. 2 –  Steady state behavior of the LLMS, ZA-LLMS and the proposed algorithm for 90% sparsity with AWGN. 
 
 
Fig. 3 –  Steady state behavior of the LLMS, ZA-LLMS and the proposed algorithm for 50% sparsity with AWGN. 
 
0
500
1000
1500 2000
2500 3000 3500
4000 4500
5000
-40
-35
-30
-25
-20
-15
-10
-5
0
5
10
Iteration
MS
D
 (
dB
)
Proposed
ZA-LLMS
LLMS
0
500
1000
1500 2000
2500 3000 3500
4000 4500
5000
-35
-30
-25
-20
-15
-10
-5
0
5
10
Iteration
MS
D
 (
dB
)
Proposed
LLMS
ZA-LLMS

жүктеу/скачать 9,42 Mb.

Достарыңызбен бөлісу: