5.1 Сурет. Үздіксіз сигнал.
Жадты дискретті дереккөздердің энтропиясын қалай анықтаймыз деген сұрақ туындайды. Мақсат қоюдан бастайық.
Анықтама
5.1.1. Дискретті
Х дереккөзіне
дереккөзінің алфавитіне тиесілі
оқиғасының реттілігі орындалуы болып
табылатын
уақытта дискретті стохастикалық процесс
деген
анықтама берсек те болады.
Ескерту.
Түсініспеушілік
болмауы үшін біз алфавит құрамын грек
әріптерімен белгіледік. Бұл жағдайда
-ші
оқиғаның
айнымалысының орнына X алфавитінің
кез-келген саны қойылуы мүмкін.
Анықтама 5.1.2. Оқиға реттіліктерінің бірлескен ықтималдықтары уақыт санағының бастапқы нүктесінің таңдауына тәуелді емес болған жағдайда дискретті дереккөз стационарлы болып табылады.
Ескерту. Бақылаулардың санақ нүктесінен тәуелсіз болуы біз таңдауды уақыттың кез-келген сәтінен бастай аламыз дегенді білдіреді, яғни статистика бақылау уақтысының басталуына тәуелді емес.
Анықтама
5.1.3. Стационарлы
дискретті дереккөз математикалық
тұрғыда
болғандағы кез-келген
таңдауы үшін барлық бірлескен
ықтималдықтары мағлұм болған жағдайда
толық сипатталған.
Стационарлы жадты дискретті дереккөздің энтропиясының анықтамасы бірдей нәтижеге әкелетін екі амалдан шығады. Бірінші амалда біз бірлескен энтропия, ал екіншісінде шартты энтропия түсінігін қолданамыз. Екі жағдайда да біз келесі сауалға жауап іздейміз: «Егер дереккөз жадысы бірнеше реттілік оқиғаларға таралса, алдыңғы оқиғалар блогы мәлім болған жағдайда, бөлек оқиғада қандай қосымша дерек бар?»
Амал 1. Бірлескен энтропия.
Бірдей
алфавитті және оқиға ықтималдықтары
бірдей бөліп таратылған екі
дереккөздің бірлескен
энтропиясы келесі
түрде анықталады
Бұл
анықтаманы
L реттілік
дереккөздерге таратайық және
дереккөзінің энтропиясын келесі түрде
табамыз
Мұндағы
векторы
және сомалау Х
векторының барлық мүмкін компоненттері
арқылы жүзеге асады. L-ді
шексіздікке ұмтылдырып, біз дереккөз
жадын толықтай қамтимыз және
-ды
(егер бар болса) толық меңгереміз, ол
теңдес
Амал 2. Шартты энтропия.
L-ші оқиғаның шартты энтропиясы, алдыңғы оқиғалардың L – 1 мағлұм болған жағдайда, келесі түрде анықталады
Теңдіктердің (5.3) және (5.4) сол жақтарында біз бөлек оқиғаның энтропиясының біркелкі белгілерін қолданған болатынбыз, бұл фактты дәлелдеу қажет. Бұл дәлелді 4 қадамға бөлейік.
5.1.1
Теорема. Стационарлы
дискретті
дереккөз үшін:
1.
L
блогының ұзындығының өсуімен
жоғарыламай-ды;
2.
;
3. L блогының ұзындығының өсуімен жоғарыламайды;
4. Стационарлы дискретті дереккөзінің энтропиясы
Дәлел.
1. Дереккөздің анықталмағандық шарасы ретінде, энтропияның анықтамасынан, шектеулер санының өсуі өз кезегінде анықталмағандық-тың өсуіне алып келмейді, демек энтропияда да сол ахуал.
2. «Тізбек қағидасынан» бірлескен энтропияға
Ескерту.
Бірлескен
энтропия үшін «тізбек қағидасы»
ықтималдықтар
үшін «тізбек қағидасынан» шыққан.
Ықтималдықтар үшін қарапайым
«тізбек қағидасы»
Логарифмдық функция туындыны қосындыға
кескіндегендіктен, бірлескен энтропия
үшін «тізбек қағидасын» аламыз.
Энтропия әрдайым теріс емес болғандықтан келесі төмен 2-ші бағалау шығатын теңсіздік орынды
3. (5.5)-тен ең әуелі келесі жіктеу шығады
Мәлім (5.5)-ші қатынасты пайдаланып, келесі теңсіздікті аламыз
Алмастырғаннан соң 3 бекітуді аламыз
4.
1.
және 2.-ші растаулар және
шектеуі шекті жаратады. «Тізбек қағидасын»
ары қарай қолданамыз
1.-ші қарасқа сәйкес, теңдіктің оң жағындағы шартты энтропия өспейді, сондықтан келесі бағалау әділ
j-ды шексіздікке ұмтылдырып, алатынымыз
әрбір натурал L үшін,
бірақ, әрбір натурал L үшін 2. де орындалғандықтан, L → ∞ тұсында 5.13 теңдікке айналады.