5.4. Марковский көзінің стационарлық энтропиясы

Марковский көзінің стационарлық энтропиясы есептеледі, сонымен қатар,әрбір күй көзі жадысыз негіз болып табылады. Осылайша бастапқы энтропия көзі математикалық күту энтропиясының негізіне тең.

Теорема 5.4.1. Стационарлық марковский көзі символы бар күйлер алфавиті, сәйкес негізі, әр қайсысының энтропиясы тең

(5.70)

Энтропияға ие, математикалық күту энтропиясының негізіне тең

(5.71)

Одан әрі эвристикалық тәсіл(5.71) 5.1.1. тұжырымдамасындағы стационарлы дискретті көзінің жалпы энтропиясының қасиетіне сәйкес екендігі көрсетілетін болады.

Ескерту. Бекіту дәлелдемесі айтарлықтай қиын,сондықтан келесі бөлімдерді түсіну үшін оны зиян келтірмей жіберуге болады.

Дәлелдеме. Марковский көзінің энтропиясы [10].

Дәлелдеме 3 қадамнан тұрады.

1-қадам.

1-қадамда анықталған күйде марковский көзінің шартты энтропиясы мына формуламен анықталады

(5.72)

Мұндағы арқылы -ші негіз белгіленген, ал арқылы -ші қадамға.

(5.72) дәлелдеу үшін, энтропияның негізінде жатқан шартты ықтималды қараймыз және қалпына келтіреміз. Одан әрі шектеу ретінде күйін енгіземіз

(5.73)

толығымен және символдарының бастапқы күйімен анықталатындықтан, қосымша шектеу шартты ықтималдылыққа әсер етпейді, яғни теңдік жарамды болып табылады. Екінші түрлендіруде марковский көзінің қасиеттерінен болған жөн, оған сәйкес -шы символ -шы күйге байланысты.

Табу үшін шартты энтропию (5.72), талап етіледі көбейту шартты ықтималдық негізінде жатқан энтропия, тиісті ықтималдығын табу математикалық күту

Ш артты энтропияны(5.72) табу үшін, энторпияның негізінде жатқан шартты ықтималдылықты тиісті ықтималдылыққа көбейту қажет және де математикалық күтуді табу

шамасы тиісті ықтималдылыққа әсерін тигізбейді, өйткені фр барлық күйлерде соммаларды бөлу шекті болып табылады.Оң жақ бөлікті(5.74) ескере отырып, түпкілікті аламыз

символының ықтималдылығы берілген шамасындағы уақытша қадамда және мен ықтималдылықтары тең болған жағдайда, бұл күйінде фр символы берілген

с ондықтан (5,76) үшін біз жаза аламыз

Берілген күйіндегі барлық -дегі сумма -ші негізді энторпияға тең және (5.72) тұжырым дәлелденді.

2-Қадам.

О сы уақытқа дейін, біз тіркелген бастапқы күйге сүйендік. Марковский энтропия көзін математикалық күту арқылы анықтау үшін , бастапқы күйді кездейсоқ деп есептейміз

С умма бойынша барлық -ші өткелдегі күйді қамтиды, нәтижесінде -ші қадамдағы -ші ықтималдылық күйді береді. Тұрақты көзді ескере отырып шығарамыз

Түпкілікті түрде аламыз

Тұрақты марковский көзінің шартты энтропиясы -ші сандық символға байланысты емес екенін байқаймыз. Бірінші бөлімдегі теңдіктер (5.82) және (5.71) бірдей. Қалғаны шарты бойынша сол жақ бөлімдегі (5.82) және (5.71) тең екендігін дәлелдеу қалды.

3-Қадам

Э нтропия үщін белгілі бастапқы күйдің мәнін қарастырайық және оны “алқа ережесі” бойынша түрлендірейік.

М арковский көзі тұрақты болғандықтан, барлық оң жақ бөліктегі қосылғыштар тең және (5.82)сәйкес анықталады. Егер фр қосылғышы бар болса, онда кез келген натурал үшін аламыз

С ол жақ бөліктегі шарт әлі бұзылмаған. Әмбебап арақатынасты қолдана отырып

аламыз

( 5.84)-тен

Бір жағынан әмбебеап арақатынасты пайдалана отырып

аламыз

Э нтропия үшін бағалау орны болады

д емек

Ж әне де ақтық жағдайда аламыз

(5.92)қолдана отырып, (5.87)-ден тұрақты марковский энтропия көзі үшін ақтық рет (5.71)аламыз.

Мысал ретінде тағы да бойынша марковский көзін қарастырайық және оның алдыңғы бөлімдердегі апроксимациясын.

1. Жадысыз көз.

Е ң алдымен жадысы жоқ көз энтропиясын анықтаймыз. Ықтималдылықты бөлудің екі символынан энтропияны аламыз,тең

Энтропия бірге жақын, өйткені символдар теңықтималды.

2. жадысы бар марковский көзі

Б астапқы көздің 1 көзі бар апроксимациясын карастырайық, екі негізден тұратынын. Ықтималдылықты ескере отырып (5.8-суретті қара) аламыз

ж әне

О сылайша бойынша марковский көзі энтропиясы тең

(1)-мен салыстырғанда, энтропия сәл азайды.

3. жадысы бар марковский көзі.

Б ұл жағдайда біз 4 негізді назарға алуымыз керек (5.7-сурет қара). күйі үшін аламыз

2 -ші негіз үнемі 1 символды әзірлегендіктен, күйінің энтропиясы тең

3 және 4 негіздер тиісінше энтропияға ие

ж әне

Н әтижесінде энтропия көзін аламыз, ол тең

Сонымен көріп отырганымыздай жадысы бар марковский көзімен салыстырғанда, энтропия азайды.