Лекция 1 Ақпарат теориясы ақпараттық жүйелерді сипаттаудың сапалы және сандық әдістері негізі ретінде. Ақпаратты өлшеу

Ықтималдылықтың үлестірімі бойынша кодтау үшін таңдалған дискретті кездейсоқ шама үшін , дискретті кездейсоқ шаманың әр мәні үшін шекаралық нүктелерде қиылысатын кесіндіден тұратын кесте құрылады. Осы кесінділердің қосындысы [0,1] кесіндіні құрауы қажет, ал олардың ұзындығы дискретті кездейсоқ шаманың мәніне сәйкес ықтималдылықтарға пропорционалды болуы керек. Кодтау алгоритмі дискретті кездейсоқ шама мәнінің кезектестілігін анықтайтын кесіндіні құрудан тұрады. Одан кейін кесінді құру үшін, оның ішкі бөлігінде жататын және минималды мүмкін болатынекінің оң, бүтін дәрежесіне бөлінген, бүтін санға тең санды табамыз. Бұл сан қарастырылып отырған кезектестіктің коды болып табылады. Барлық нақты болатын мүмкін кодтар – бұл нөлден үлкен және бірден кіші сандар, сондықтан алда келе жатқан нөл мен ондық нүктені алып тастауға болады, бірақ мәліметтің соңын белгілейтін тағы да бір арнайы код-маркер керек. Кесінділер былай құрылады.егер n-1 ұзындықтағы мәлімет үшін кесінді болса, онда n ұзындықтағы мәлімет үшін кесіндіні кесіндіні құрастыру үшін, оны қарастырып отырған дискретті кездейсоқ шаманың мәні қанша болса, сонша бөлікке бөлеміз. Бұл бөлу біріншідегідей (реттілікті сақтау) жүзеге асырылады. Одан кейін алынған кесінділерден берілген нақты n ұзындықтағы кезектестікке сәйкес келетінін таңдаймыз.

Алдында қарастырылған әдістерден бұл кодтаудың негізгі ерекшелігі оның үздіксіздігінде, яғни блоктауды қажет етпейтіндігінде.Арифметикалық кодтаудың тиімділігі сығылатын мәліметтің ұзындығы өскен сайын арта түседі (Хаффмен және Шеннонна-Фэно кодтауында болмайды). Арифметикалық кодтау Хаффмен кодтауына қарағанда жақсы сығады, бірақ ол тәжірибеде сирек қолданылады, өйткені ол жай пайда болды және көптеген есептеу ресурстарын талап етеді.

Берілген деректерді сығуда, мысалы, файлдан барлық қарастырылған әдістер екі тәсілді талап етеді. Біріншісі символ ықтималдылығының жақын мәндері ретінде қолданылатын символдардың жиілігін жинақтау және екіншісі сығу үшін.

кодты құрудың кестесі-

Арифметикалық кодтау үшін мәлімет бірлігіндегі биттің орташа саны, энтропияға қарағанда аз болды. Бұл қарастырылып отырған жай ғана кодтау схемасында мәлімет соңындағы код-маркер сипатталмағандықтан, егер оны енгізсек, онда биттің орташа санын энтропиядан көп етеді.

Шығарылатын мәліметті оның арифметикалық кодынан алу келесі алгоритм бойынша жүзеге асады.

Қадам 1.Дискретті кездейсоқ шама мәнін кодтау кестесінде ағымдағы коды бар аралық анықталады,- бұл аралық бойынша шыққан мәліметтің бір символы анықталады. Егер бұл символ - мәлімет соңының маркері болса, онда бұл соңы болады.

Қадам 2.Ағымдағы кодтан оның аралығы бар төменгі шекара алынады, оны осы аралықтың ұзындығына бөлеміз.Алынған сан кодтың жаңа ағымдағы мәні болып саналады. 1 қадамға ауысамыз.