1–дәріс. Жүйелер туралы теорияның мәселелері. Жүйелер теориясының терминологиясы. Жүйенің қасиеттері. Жүйелік талдау
жүктеу/скачать 1,13 Mb.
|
- Бұл бет үшін навигация:
- Символ a b c
Үлестердің қосындысы әр бөлікте аз ерекшеленетіндей етіп, кестені екіге бөлеміз. Бірінші бөліктегі символдар коды 0-ден, ал екіншісі 1-ден басталсын:
Кестенің бір символдан артық бөліктеріне осы процедураны қайталаймыз:
Сонымен әліпби символдары үшін жаңа код алынды: a – 0, b – 10, c – 110 и d – 111. аbabcaacdb хабарламасы 19 битті құрайды. Кодтық ағашқа мысал: Бастапқы белгі: A (кездесу жиілігі 50) B (кездесу жиілігі 39) C (кездесу жиілігі 18) D (кездесу жиілігі 49) E (кездесу жиілігі 35) F (кездесу жиілігі 24) Пайда болған код: A -11, B – 101, C – 100, D – 00, E – 011, F – 010. Орыс алфавитінің 32 әрпін алайық. Бұл дыбыстардың жиіліктері белгілі. Алфавитте бос орын да бар, оның жиілігі 0,145 болады. Кодтау тәсілі келесі кестеде берілген. әріп Бұл кодтың орташа ұзындығы: k = 4.45 бит/әріп; Энтропия Н = 4.42 бит/әріп. Пайда болған кодтың эффективтілігін энтропияның кодтың орташа ұзындығына қатынасы ретінде қарастыруға болады. Ол мынаған тең: 0.9947. мәні бірге тең болған кезде код оптималды болып табылады. Егер біз кодты біртекті ұзындық k7 = log32 = 5-пен кодтаған болсақ, онда эффективтілігі әлдеқайда төмен болған болар еді: 14 дәріс. Алфавиттік кодтау. Аз ғана артықшылықпен кодтау. Тиімді (оңтайлы) кодтау. Ақпаратты жоғалтумен қысу, жоғалтусыз қысу әдістері. Шифрлау. Криптографиялық кодтау. Кездейсоқ сандардың көмегімен шифрлау. Сызықтық топтық кодтар. Шеннон анықсыздығының ықтималдылық өлшемі немесе дискретті кездейсоқ шаманың энтропиясы: , мұндағы X кездейсоқ шамасының xi -ші мағынасының шығу ықтималдығы; i- ші мәнді қабылдағандағы анықсыздықтың өлшемі ; минус таңбасы Х шамасының "жинақсыздығын" береді. Алдыңғы формуланы ықшам түрде былай жазуға болады: H(X)=M[-log2P(x)], мұндағы log2P(x) дискретті кездейсоқ шама, оның i-ші мәнінде log2P(xi) түрінде P(xi) ықтималдылығын қабылдайды. Егер барлық ықтималдықтар тең болса энтропия максималды мәнге ие болады, Сонда , мұндағы Хартли өлшемі. Бұл жағдайда Шеннон статистикалық өлшемі Хартли өлшемінің комбинаторикасымен сәйкес келеді. X және Y дискретті кездейсоқ шамалар жүйесінің энтропиясы: , мұндағы X және Y кездейсоқ шамаларының i-ші және j-ші мәндерінің бір уақытта шығу ықтималдығы , немесе математикалық күтім түрінде , мұндағы log2P(X,Y) екі жақты жинақталатын матрицаға сәйкес мән қабылдайтын кездейсоқ шама, және мәндері log2P(xi,yj) түрінде P(xi,yj) ықтималдылығын қабылдайды. Тәуелді шамалар жүйесінің энтропиясы : немесе , мұндағы H(X) Х шамасының шартсыз энтропиясы ; H(Y) Y шамасының шартсыз энтропиясы ; H(Y/X) Х шамасына қатысты Y шамасының шартты энтропиясы; H(X/Y) Y шамасына қатысты Х шамасының шартты энтропиясы. Тәуелсіз шамалар үшін және . Y шамасына қатысты Х шамасының шартты энтропиясы: , мұнда P(xi/yj) Y шамасының yj мәнін қабылдағандағы Х шамасының xi мәнінің ықтималдылығы(шартты ықтималдылық). Y шамасының yj мәнін қабылдағандағы Х шамасының шартты энтропиясы: . Х шамасына қатысты Y шамасының шартты энтропиясы; . Үзіліссіз кездейсоқ шаманың энтропиясы, мұндағы p(x) X кездейсоқ шамасының ықтималдылық тығыздығы; үзіліссіз шамадан дискретті шамаға өту нақтылығын анықтайтын кванттау қадамы. x=1 жағдайда дифференциалды немесе қатысты энтропия: . X және Y үзіліссіз кездейсоқ шамалар жүйесінің энтропиясы: , мұнда p(x,y) X және Y кездейсоқ шамаларының бірікккен (шартсыз) тығыздығы. Екі кездейсоқ шамалардың дифференциалды энтропиясы , Y шамасына қатысты Х шамасының шартты дифференциалды энтропиясы. , мұнда p(x/y) ықтималдылықтың шартты тығыздығы. Y шамасының y мәнін қабылдағандағы Х шамасының шартты дифференциалды энтропиясы: . Мысал 1. Үш дискретті ақпарат көзі бар: X(x1,x2), Y(y1,y2,y3) и Z(z1,z2). P(xi), P(yi) и P(zi) хабарламаларының шығу ықтималдылығы сәйкесінше әрқайсысы: , және (индекстің алғашқы мәндері үшін тапсырма) , және . Қайсы ақпарат көзі ең үлкен ықтималдылыққа тең екендігін табыңыз. Шешуі. Алдымен энтропия санының өлшем бірлігін анықтап аламыз. а) натурал логарифм үшін (нит) ; б) екі негізді логарифм үшін (бит) . Ақпарат көздерінің энтропиялары: біріншісі және ; екіншісі және ; үшіншісі және . Осылайша, тең ықтималдылықты хабарламаларды алған жағдайда ең үлкен ықтималдылыққа үшінші Y ақпарат көзі ие. Анықталмағандылықты Хартли өлшемімен табуға болады: logN, мұнда N тең ықтималдылықты хабарламалар саны. X және Z ақпарат көздерін салыстырсақ,ең үлкен ықтималдылыққа тең ықтималдылықты хабарламалары бар ақпарат көзі ие болады. Мысал 2. N ақпарат көзінің алфавит символының саны ( немесе ). ақпарат көзінің алфавит символының ықтималдылығы , , және . Көрші символдардың арасында корреляциялық қатынас болады, , P(xi/xj)= шартты ықтималдылығының матрицасы: Ақпарат көзінің энтропиясын табу керек. Шешуі. Алдымен энтропия санының өлшем бірлігін анықтап аламыз. а) натурал логарифм үшін (нит) ; б) екі негізді логарифм үшін (бит) . Символдардың тәуелділігіне қатысты ақпарат көзінің анықсыздығы H(X/X) шартты ықтималдылығымен сипатталады. Корреляциялық қатынас пен байланысты ескергенде: Сонымен, шартты энтропия : , . жүктеу/скачать 1,13 Mb. Достарыңызбен бөлісу:
|