Ақпараттар теориясы– бұл ақпаратты алу, түрлендіру, жинау, өңдеу және беру жайлы ғылым.
Ақпараттар теориясының бағыттары:
Құрылымдық теория жеке ақпараттық хабарламаларды құру құрылымын қарастырады.
Статистикалық теория анықталмағандық өлшемі тұрғысынана ақпаратты бағалайды.
Семантикалық теория ақпараттың мағыналық сипаттамаларын оқытады: бағалылығы, пайдалылығы, тиімділігі, ақпаратты өткізу қабілеттілігі, ақпараттық бөгеуілге тосқауыл беруі және құрамы.
Құрылымдық теорияда ақпараттың геометриялық, комбинаторлық және аддитивтік өлшемдері қарастырылады. Ең кең тарағаны- екілік аддитивтік өлшем, ол Хартли өлшемі (1928ж.) деп те аталады. Ақпараттың саны екілік өлшеммен - битпен өлшенеді.
I=log2m,мұндағы, I – ақпарат саны немесе көлемі ,m – элементтер саны
Геометриялық өлшем ақпарат көлемін бағалайды.
Комбинаторлық өлшем ақпаратты әр түрлі комбинациялармен өрнектегенде қолданылады.
Мысалы, 1110 саны берілген. 0 саны орын ауыстырғаннан кейін комбинация өзгерді: 0111. Яғни, 14 саны 7-ге ауысты.
Ақпараттың статистикалық өлшемінде (Шеннон өлшемі, 1947-1948жж) ақпарат кездейсоқ оқиға, ақпараттың көлемінде осы оқиғалардың ықтималдықтары қарастырылады. Оқиғалардың толық тобы ансамбль деп аталады. Ансамбльдердің энтропиясы оның анықсыздығының сандық өлшемін есептейді.
Э нтропия (эн-тропе) грек тілінен аударғанда айналдыру, түрлендіру деген мағынаны береді. Энтропия былай есептеледі:
Логарифм 2 негізді болса, онда ақпарат саны битпен, егер 10 негізді болса, онда дитпен, егер е=2,71828 негізді болса, онда нитпен, ал 3 негізді болса, онда титпен өлшенеді.
Бұл формула Шеннон формуласы деп талады. Энтропияның қасиеттері:
Энтропия әрқашан теріс емес нақты шама;
0 <= pi <= 1, i=1,..., N
2) Энтропия нөлге тең болады, егер оқиғалардың ықтималдықтарының бірі 1-ге тең болса;
3) Энтропия максимал мәнге ие болады, егер оқиғалардың ықтималдықтарының өзара тең болса;
4) Энтропия - анықсыздықтың дәрежесі.
5) Энтропия -дөңес функция, себебі бинарлы хабарламалардың энтропиясы 1 битке тең болғанда максимум мәнге ие болады.
Достарыңызбен бөлісу: |
