Информатиканың іргелі негіздері
Шеннонның алғашқы теоремасы
жүктеу/скачать 1,13 Mb.
|
- Бұл бет үшін навигация:
- Екілік кодтарды құру тәсілдері.
| Шеннонның алғашқы теоремасы.
"Ақпаратты өлшеу" деген ұғымды анықтау өте қиын. Ол үшін алдымен ақпаратты өлшеу бірлігін анықтау қажет болды.Ақпарат санын көлемдік (алфавиттік) және мағыналық, ықтималдық жолдарымен өлшеуді анықтап қалыптастырған информатика ғылымының негізін түрғызушылардың бірі Джон фон Нейман және Клод Шеннон болды.Шеннон формуласы: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN),мұндағы pi — N мәліметтер жиынынан дәл i-ші мәліметініңбөліну ықтималдығы.Егер p1, ..., pN ықтималдықтары тең болса, онда олардың әр қайсысы 1/N тең және Шеннон формуласы Хартли формуласына айланады.Ақпарат санын анықтауда қарастырылған екі әдістен басқаларыда бар.Алғашқы болжамдау шеңберінде, кез келген теориялық нәтижелер тек белгілі жағдайларға ғана қолданылатындығын ұмытпаған дұрыс.Клод Шеннон ақпарат бірлігі есебінде бір битті (англ. bit —binary digit — екілік цифр) ұсынды .Бит ақпарат теориясында — екі тең ықтималды мәліметтерді айыру үшін қажет ақпарат саны. ("герб"—"сан", "жұп"—"тақ", т.с. сияқты).Мысалы, жеребеге тиынды лақтырғанда герб түскені туралы хабар 1 бит ақпарат әкеледі. Себебі, оқиғаның мүмкін болу саны 2-ге тең (герб немесе сан) және екеуі де теңықтималды. Демек, нәтиже саны, 2х= 2 теңдеуін шешкенде, х = 1 бит деп шығады. Бит – екі тең ықтималды тәжрибенің (оқиғаның) белгісіздігін өлшейтін бірлік. Есептеуіш техникада бит деп деректерді және командаларды ішкі машиналық ұсынуына қолданылатын, "0" немесе "1" екі белгінің біреуін сақтау үшін қажет компьютер жадысының ең аз өлшемінайтады.Бит — тым ұсақ өлшеу бірлігі. Тәжрибеде көбінесе одан ірілеу өлшеу бірлігі — сегіз битке тең, байт қолданылады.Компьютер пернетақтасындағы алфавиттің 256 символының кез келгенін кодтау үшін дәл сегіз бит керек (256=28). Екілік кодтарды құру тәсілдері. Басқа жүйелерге қарағанда екілік санау жүйесі компьютердітехникалық игеруіге өте қолайлы. Екілік санау жүйесінің құндылығына мыналар жатады: орындалатын операциялардың қарапайымдылығы және компьютер элементтерінің екі жағдайынғана қолдану арқылы ақпаратты автоматтандырып өңдеу мүмкіндігі.Компьютерде қолдануға екілік жүйенің басқа жүйелерден айқын басымдылығы мынадай: жүйені техникалық игеруіге екі тұрақты қалыпты ұстайтын техникалық құрылғыларды қолдану ыңғайлы (тоқ бар – тоқ жоқ, магниттелген – магниттелген жоқ т.б); ақпаратты тек қана екі тұрақты қалыпты құрылғылар арқылы көрсету сенімділігі және бөгетке тұрақтылығы (орысша помехоустойчиво); ақпараттың логикалық өңдеулерін орындауға бульдік алгебраның аппаратын қолдану мүмкіндігі; екілік арифметиканың жеңілдігі. Кемшілігі – разрядтар санының тез өсуі, сондықтан адамға тұрмыста қолдануға ыңғайсыздығы (0, 1, 10, 11, 100, 101, 110, 111, 1000, 1001). жүктеу/скачать 1,13 Mb. Достарыңызбен бөлісу:
|