Лекция 1 Ақпарат теориясы ақпараттық жүйелерді сипаттаудың сапалы және сандық әдістері негізі ретінде. Ақпаратты өлшеу

Ақпарат мөлшері түсінігі әдетте, келесі жағдайларда туындайды.

1. 
   Өзгермелі а=в теңдеуі, а тең в- ға деген ақпарат бар екенін білдіреді. а² = в² деген теңдеуі туралы мынаны айтуға болады: онда біріншіге қарағанда аз ақпарат бар, өйткені біріншіден екіншісі туындайды, керісінше емес. а³ = в³ теңдеуінде біріншегідей ақпарат болады.
   
2. 
   Кейбір қателіктерде әртүрлі өзгерістер болсын. Онда оны өлшеу көп болған сайын, өлшенетін болмыс туралы ақпарат та көп болады.
   
3. 
   Кейбір кездейсоқ шаманың математикалық күтімінде сол кездейсоқ шама туралы ақпарат болады. Бір қалыпты үлестірілген, дисперциясы белгілі кездейсоқ шама үшін математикалық күтімді білу, кездейсоқ шама туралы ақпарат береді.
   
4. 
   Ақпаратты тасымалдау схемасын қарастырайық. Жіберуші Х кездейсоқ шамасымен өрнектелсін, онда байланыс каналындағы кедергілерге байланысты жіберушіге Y = Х+Z (мұнда Z кедергіні сипаттайтын кездейсоқ шама), түріндегі кездейсоқ шама келіп түседі. Бұл схемада X-ке қатысты Y кездейсоқ шамасында жататын ақпараттың көлемі туралы айтуға болады. Кедерінің көлемі төмен болған сайын (Z дисперсиясы аз), Y –тен ақпаратты көп алуға болады. Кедергі болмаған жағдайда Y-те Х туралы барлық ақпарат сақталынады.
   

1921 жылы математикалық статистиканың көп бөлігінің негізін салушы ағылшын Рональд Фишер математикаға алғаш рет “ақпарат” терминін енгізді, бірақ оның алған формулалары өте арнайы сипаттамаға ие.

1948 жылы Клод Шеннон байланыс теориясы туралы енбегіне ақпарат көлемін және энтропияны анықтайтын формула енгізді. ”Энтропия” терминін Шеннон компьютерлік заманның патриархы Фон Нейманның кеңесімен қолданды., өйткені байланыс теориясын есептеу үшін алғаш Шеннонның формуласы, статистикалық физиканың формулаларымен сәйкес келеді, сонымен бірге энтропияның не екенін ешкім нақты білмейді.