1–дәріс. Жүйелер туралы теорияның мәселелері. Жүйелер теориясының терминологиясы. Жүйенің қасиеттері. Жүйелік талдау
қасиет. Симметриялық I (X;Y) = I (Y; X )
жүктеу/скачать 1,13 Mb.
|
- Бұл бет үшін навигация:
- 5 қасиет. I ( X ; Y ) ≤ min{ H ( X ), H ( Y )}. 6 қасиет.
| 1 қасиет. Симметриялық I (X;Y) = I (Y; X ) .
2 қасиет. Теріс болмаушылық: I (X;Y) ≥ 0. 3 қасиет. X және Y ансамбльдері тәуелсіз болған кезде, тек сол кезде ғана I(X;Y)=0 тепе-теңдігі орын алады. 4 қасиет. I (X;Y) = H(X ) − H(X | Y) = = H(Y) − H(Y | X ) = = H(X ) + H(Y) − H(XY) . 5 қасиет. I (X;Y) ≤ min{H(X ),H(Y)}. 6 қасиет. I (X;Y) ≤ min{log | X |, log | Y |}. 7 қасиет. Өзара ақпарат I (X;Y) – p(x) үлестірім ықтималдығының дөңес ∩ функциясы. 8 қасиет. Өзара ақпарат I (X;Y) – p(у|x) шартты үлестірімінің ойыс ∪ функциясы. Дәлелдеуі. 3 қасиеті өзара ақпараттың симметриялылығынан шығады. Барлық жұптар (x, y)∈ XY бойынша оң және сол жақ бөлігін орташаландыра отырып, және өзара ақпараттың симметриялылығын ескере отырып, 4- қасиетінің алғашқы екі тепе-теңдігін аламыз. Соңғы тепе-теңдік шартты энтропияның 3- қасиетінен шығады. Шартты энтропия шартсыз энтропиядан аспайтын болғандықтан, 4-қасиетінен 2 -қасиеті шығады. Шартты энтропия шартсыз энтропияға тәуелсіз ансамбльдер үшін ғана тең болғандықтан, 3 қасиеті де орынды. 5 қасиеті де 4 қасиетінен және шартты энтропияның теріс еместігінен туындайды. Ары қарай, 6 қасиеті 5 қасиеті мен энтропия қасиетінің салдары болып табылады. Тұжырымдалған және дәлелденген нәтижелерді талқылайық. Біз орташа өзара ақпаратты I(X;Y) Y элементінде кездесетін Х ансамблі элементі туралы ақпараттық орташа саны ретінде түсіндіреміз.1 қасиеті I (X;Y) (X ,Y) ансамблдер жұбын сипаттайтын симметриялық функция екенін орнатады. Байланыс арналарына қатысты I (X;Y) арнаның бір символы тасымалдайтын ақпарат мөлшері деп айтуға болады. 2 қасиеті бұл өлшем әрқашан теріс емес екені ақылға қонымды. Мұнымен қоса, өзара ақпарат I (x; y) жекелей элементтер арасында оң да теріс те мән қабылдай беретінін атап өтейік. Егер арнаның шығыс символдары кіріс символдарға тәуелсіз болса, онда ақпаратты жіберу мүмкін емес. Бұл жағдай 3 қасиетінде бейнеленген. 4, 5-қасиеттері есептеу кезінде және өзара ақпараттың қарапайым бағалауын алу үшін пайдалы. Функция дөңестігі тиімділеу есептерінде экстремалды мәндерді іздеу кезінде қолданылады. Ауыспалы ықтималдықтар басынан бастап арна модлімен берілген, бірақ кіріс үлестірім кодердің құзіретінде. 7 қасиеті өзара ақпарат максималды болатын кейбір кіріс үлестірім болады деп тұжырымдайды. Бұл үлестірім арнаның бір символы тасымалдайтын ақпарат санын максимизациялайды мағынасында қолайлы. 11 дәріс. Кабельдік байланыс жолдары. Байланыс жолдарының аппаратурасы. Дискретті және үзіліссіз байланыс арналарының өткізу мүмкіншілігі. Ақпараттың жоғалуын бағалау. Ақпараттың артылғандығы туралы түсінік. Ақпараттық канал – ақпарт көзіне ақпаратты беру үшін арналған байланыс линияларымен біріккен құрылғы. Каналдың тиімділігі ақпаратты беру жылдамдығымен, құрылғының жұмыс істеу сенімділігімен сипатталады. Ақпараттық канал: ақпаратты енгізу жылдамдығы, ақпаратты беру жылдамдығы және каналдың өткізу қабілеті. Ақпаратты енгізу жылдамдығы - уақыт бірлігінде хабарлар көзінен ақпараттық каналға енгізілген ақпараттың орташа саны. Ақпаратты беру жылдамдығы– уақыт бірлігінде ақпараттық канал бойынша берілетін ақпараттың орташа саны. Каналдың өткізу қабілеті– канал үшін ақпаратты беру жылдамдығының неғұрлым жеткілікті шамасы. Ақпаратты енгізу жылдамдығы каналдың өткізу қабілетінен асып кетпеуі керек, болмаса канал арқылы берілетін ақпарат толық түспеуі мүмкін. Каналдың қабілеті ақпаратты беру санымен сипатталады: С=maxI(m) , бит/символ С игнал әр түрлі параметрлермен сипатталуы мүмкін. Канал бойынша ақпаратты беруге қатысты негізгі үш параметр: Tс – сигналды беру уақыты, Lc немесе Dc (динамикалық диапазон ) Pс – сигнал қуатымен аықталады, Fc – спектр ені. Сигнал көлемі: Канал сиымдылығы Қажетті шарт: Жеткілікті шарт: , , . Мысал. Бөгеуілі бар екілік симметриялық байланыс каналы бойынша (x1,x2) – сигналы беріледі, олардың ықтималдықтары p(x1) =3/4, p(x2) =1/4. Бөгеуілдердің ықпалынан әр сигналды қабылдау ықтималдығы α =7/8 дейін төмендейді. Табу керек: 1) I(x;y) – ақпараттың орта санын, 2) каналдың өткізгіштік қабілетін Шешуі: 1) Шарт бойынша p(x1) =3/4, p(x2) =1/4, α =7/8 Терістеудің формуласын ескерсек, α = 1/8. Ақпараттың орта санының формуласы: I(x;y) = H(x) + H(y) – H(x,y) Энтропияның формуласы бойынша H(x) = H(y) = H(x,y) = )
(y1,y2) = сигналының ықтималдықтары Сандық мәндерді орындарына қойсақ I(x,y)=-3/4ln(3/4)-1/4ln(1/4)-22/32ln(22/32)- 10/32ln(10/32)+21/32ln(21/32)+3/32ln(3/32)+1/32ln(1/32)+7/32ln(7/32)=0.352 бит. 2) Екілік симметриялық каналдың өткізгіштік қабілетін есептеу үшін сигналдар арасындағы байланысты қарастырамыз. 7/8 p 1/8 q
q = 1– p қойып, функцияның экстремумын тапсақ, p=1/2. C= 0.316 бит. жүктеу/скачать 1,13 Mb. Достарыңызбен бөлісу:
|