Количествена информация
Информация - Компютри, програмиране
Други материали по темата Компютри, програмиране
КОЛИЧЕСТВЕНА ОЦЕНКА НА ИНФОРМАЦИЯ
Общият брой неповтарящи се съобщения, които могат да бъдат съставени по азбучен ред м чрез комбиниране н символи в съобщението,
Несигурност, дължима на символа на първичната (кодирана) азбука, съставена от равновероятни и взаимно независими символи,
Основата на логаритъма влияе само върху удобството на изчислението. В случай на оценка на ентропията:
а) в двоични единици
б) в десетични единици
в) в естествени единици
Тъй като информацията е несигурност, премахната при получаване на съобщение, количеството информация може да бъде представено като произведение на общия брой съобщения да се на средна ентропия З., на съобщение:
За случаите на равновероятни и взаимозависими символи на първичната азбука, количеството информация в да се азбучни съобщения м по равно
и количеството информация в съобщение, съставено от да се неравномерни символи на вероятността,
За непропорционални азбуки, ентропията за символ на азбука
При решаване на задачи, при които ентропията се изчислява като сбор от произведенията на вероятностите по техния логаритъм, независимо дали са безусловни, условни или вероятности от съвместни събития.
Количеството информация се определя единствено от характеристиките на първичната азбука, а обемът от характеристиките на вторичната азбука. Количество информация
Където lcr средна дължина на кодовите думи на вторичната азбука. За еднакви кодове (всички комбинации от кодове съдържат еднакъв брой цифри)
Където н дължина на кода (брой чипове в кода). Съгласно (3) обемът е равен на количеството информация, ако lcr=З., тези. в случай на максимално натоварване на трафика върху символа на съобщението. Във всички останали случаи .