Мысал :
Оқиғалар ықтималдығы берілген: р(х1,у1)=0,1 р(х2,у3)=0,3 р(х3, у2)=0,2 р(х3,у)=0,4
Табу керек: Н(Х),Н(У), Н(Х,У) Н(Х/У)
X,Y
|
x1
|
x2
|
x3
|
y1
|
0,1
|
0
|
0,4
|
y2
|
0
|
0
|
0,2
|
y3
|
0
|
0,3
|
0
| P(x1,y1)=0,1
P(x2,y2)=0,3
P(x3,y2)=0,2
P(x3,y1)=0,4
Жауабы:
P(x1)=0,1 P(y1)=0,5
P(x2)=0,3 P(y2)=0,2
P(x3)=0,6 P(y3)=0,3
H(x)=0,1log20,1 + 0,3log20,3+0,6log20,6
H(y)=0,5 log20,5+0,2 log20,2+0,3log20,3
H(x/y)=Hy(x)= -0,5(0,2log20,2+0,8log20,8)-0,2 *log21-0,3log21= -0,5(0,2log20,2+0,8log20,8)
Py1(x1)=0,1/0,5=0,2 Py2(x1)=0/0,2=0 Py3(x1)=0/0,3=0
Py1(x2)=0/0,5=0 Py2(x2)=0/0,2=0 Py3(x2)=0,3/0,3=1
Py1(x3)=0,4/0,5=0,8 Py2(x3)=0,2/0,2=1 Py3(x3)=0/0,3=0
H(x,y)=H(y)+Hy(x)=0,5log20,5+0,2log20,2+0,3log20,3-0,5(0,2log20,2+0,8log20,8)
Шартты энтропияның қасиеттері
Шартты энтропия шартсыз энтропиядан асып кетпейді:
Жүйелер өзара байланысты болғанда:
X и Y тәуелсіз болса, онда
Толық энтропия
Қасиеттері:
1.Толық энтропия симметриялы функция
2.Оң болады:
Э нтропия (эн-тропе) грек тілінен аударғанда айналдыру, түрлендіру деген мағынаны береді. Энтропия былай есептеледі:
Логарифм 2 негізді болса, онда ақпарат саны битпен, егер 10 негізді болса, онда дитпен, егер е=2,71828 негізді болса, онда нитпен, ал 3 негізді болса, онда титпен өлшенеді. Бұл формула Шеннон формуласы деп аталады.
15. Хабарламалар және сигналдар туралы жалпы мәліметтер беріңіз. Ақпараттық жүйелерде ақпаратты беру үдерісін сипаттаңыз.
Жүйе ақпарат көзінен, байланыс линиясы және ақпаратты алушыдан тұрады.
Жүйеге ақпарат хабарлама түрінде келіп түседі. Хабарлама дегеніміз таңбалар (белгілер) немесе алғашқы сигналдар жиынтығы.
Дискретті хабарлама хабарлама көзінің жеке элементтерді (таңбалар) тізбекті түрде беруінің нәтижесінде қалыптасады.
Әр түрлі таңбалар жиыны хабарлама көзінің алфавиті, ал таңбалар саны алфавит көлемі деп аталады.
Үзіліссіз хабарлама элементтерге бөлінбейді. Олар үзіліссіз мәндер жиынын (бейне, баяндама) қабылдайтын уақыт функциясымен сипатталынады.
Жіберілетін хабарлама адресіне сәйкес алдын-ала сигналға түрлендірілуі тиіс. Сигнал деп хабарламаны бейнелейтін өзгермелі физикалық шаманы түсінуге болады.
Сигнал – хабарламаны материалды тасушы, яғни байланыс линиясы бойынша ақпаратты беруді қамтамасыз ететін өзгермелі физикалық шама. Хабарлағыштан қабылдағышқа сигналдардың берілуін қамтамасыз ететін физикалық орта байланыс линиясы деп аталады.
Байланыс линиясы арқылы өтетін хабарламаларды сигналдарға түрлендіру хабарлағыштың көмегімен жүзеге асады.
Дискретті хабарламаларды сигналдарға түрлендіру кезінде хабарламаларды кодтау жүргізіледі.
Достарыңызбен бөлісу: |
