Ентропия като мярка за несигурност

Случайните действия могат да бъдат описани с въвеждането на концепцията "вероятност". Отношенията на теорията на вероятностите ви позволяват да намерите (изчислите) вероятностите като единични случайни събития, и сложни експерименти, съчетаващи няколко независими или взаимосвързани събития. Но е възможно да се очертаят случайни действия не само в определенията на вероятностите.

Фактът, че дадено събитие е инцидент, означава липсата на пълна убеденост за неговото настъпване, което от своя страна прави несигурност във финалите на експерименти, свързани с това събитие. Разбира се, степен на несигурност е различно за различните ситуации. Например, ако опитът се състои в определяне на възрастта по случая на избран студент от 1-ва година на редовен университет, тогава с голяма доза убеденост може да се твърди, че той ще бъде на поне 30 години; хВъпреки че според позицията в редовното отделение лица под 35-годишна възраст могат да учат, в повечето случаи завършили редовно училище следващите няколко броя. Подобно преживяване е още по-малко сигурно, когато се проверява дали възрастта на произволно избран студент ще бъде под 18 години. За практиката е фундаментално възможно да се направи числена оценка на несигурността на различни експерименти. Нека се опитаме да въведем такава количествена мярка за несигурност.

Нека започнем с обичайната ситуация, в която има опит еднакво вероятни резултати. Разбира се, несигурността на всеки от тях зависи н, тези. мярката за несигурност е функция от броя на резултатите f (n).

Можете да посочите някои характеристики на тази функция:

• един. е(1) = 0, тъй като за n = 1 краят на експеримента не е случаен и, както следва, няма несигурност;
• 2. f (n) расте с растежа , тъй като колкото по-голям е броят на вероятните резултати, толкова по-трудно става пророкуването на резултата от експеримента.

Да се ​​определи очевидната форма на функция f (n) вижте две независим изпитват α и β * съответно с броя на еднакво вероятни резултати α и β. Нека се проведе труден експеримент, който се състои в едновременно изпълнение на експерименти α и β; броят на възможните резултати е α ∙ β, докато всички те са еднакво вероятни. Разбира се, несигурността на края на такъв сложен експеримент α ^ β ще бъде по-голяма от несигурността на опита α, тъй като несигурността β се добавя към него; мярката на несигурността при сложен експеримент е f (nα ∙ нβ). От друга страна, мерките за несигурност на отделните α и β са съответно, f (nα) и f (nβ). В първия случай (труден опит) се проявява общата (тотална) несигурност на съвместните събития, във втория - несигурността на всяко от събитията поотделно. Но от независимостта на α и β следва, че в сложен експеримент те не могат да си влияят по никакъв начин и, а именно, α не могат да влияят на несигурността на β и обратно. Както следва, мярката на общата несигурност трябва да бъде равна на сумата от мерките на несигурност на всеки от експериментите, т.е. мярката за несигурност е адитивна:

---