Лекция 4 Кездейсоқ белгілердің спектрлері

Мысалды қарастырайық(бәйге). Бәйгеге ұтыс ықтималдылықтары бірдей 4 ат қатысады, яғни әрбір аттың ұту ықтималдылығы 1/4-ке тең. Ұтатын аттың номеріне тең Х дискретті кездейсоқ шамасын енгіземіз. Мұна НХ=2. Әрбір айналым сайын байланыс каналы арқылы ұтқан ат номері туралы 2 биттік ақпарат жіберу жеткілікті. Ат номерін келесідей кодтаймыз:1-00,2-01,3-10,4-11.Егер Х-тің берілген мәнін кодтайтын мәлімет ұзындығын қайтаратын L(X) функциясын енгізсек, онда математикалық күтімі ML(X) –Х-ті кодтайтын мәліметтің орташа ұзындығы. L-ді формальды түрде L(X)= len(code(X)) 2 функциясы арқылы анықтауға болады, мұндағы Х-тің әр мәніне code(X) сәйкесінше биттік код қояды және бірмәнді болады, ал len кез келген нақты кодқа ұзындығын бит түрінде қайтарады. L- бұл дискретті кездейсоқ шамадағы функция, яғни бұл да дискретті кездейсоқ шама. Бұл мысалда ML(X)=HX.

яғни, 1-ші номерлі ат-озық. Онда

Ат номерлерін кодтаймыз: 1-0,2-10,3-110,4-111, яғни, әрбір код келесі кодтың префиксі болмауы үшін (мұндай кодтауды префикстік деп атайды).16 айналымда орташа есеппен 1-ші ат 12 рет, 2-ші - 2 рет, 3-ші - 1 рет және 4-ші -1 рет ұтуы керек. Осыған байланысты жеңімпаз туралы мәліметтің орташа ұзындығы (1*12+2*2+3*1+3*1)/16=1.375 бит/сим тең және математикалық күтімі L(X).Шынымен,L(X) қазір ықтималдылықты келесі түрде үлестірумен беріледі:

Бұдан

Сонымен, ML(X)>HX.