Несигурност, количество информация и ентропия
Основател на теорията на информацията Клод Шанън идентифицирани информация, като премахната несигурност. По-точно получаването на информация е необходимо условие за премахване на несигурността. Несигурността възниква в избрана ситуация. Задачата, която се решава в хода на премахването на несигурността, е намаляване на броя на разглежданите опции (намаляване на разнообразието) и в резултат на това изборът на един вариант, съответстващ на ситуацията измежду възможните. Премахването на несигурността ви позволява да вземате информирани решения и да предприемате действия. Това е водещата роля на информацията.
Представете си, че влизате в магазин и ги молите да ви продадат дъвка. Продавачка с, да речем, 16 марки дъвки е в състояние на несигурност. Тя не може да изпълни вашето искане без допълнителна информация. Ако сте посочили, да речем, „Орбита“, и от 16 първоначални опции, продавачката сега обмисля само 8, вие сте намалили наполовина несигурността й (гледайки напред, да кажем наполовина несигурността съответства на получаването на 1 бит информация). Ако без по-нататъшни приказки просто насочите пръст към прозореца - „този!“, Тогава несигурността беше напълно премахната. Отново, като продължим напред, да кажем, че с този жест в този пример казахте на продавачката 4 бита информация.
Ситуация максимална несигурност предполага няколко равновероятен алтернативи (опции), т.е. нито една от опциите не е за предпочитане. освен това, толкова по-еднакво вероятните варианти наблюдавано, колкото по-голяма е несигурността, толкова по-трудно е да се направи еднозначен избор и толкова повече информация се изисква за това, вземете го. За н варианти, тази ситуация се описва със следното разпределение на вероятностите: .