Мерни единици за ентропия и информация

Така че в исторически план първите стъпки към въвеждането на концепцията за ентропия са направени през 1928 г. от американския инженер по комуникации Р. Хартли, който предлага да се характеризира степента на несигурност на опита с к различни резултати по броя на дневниците к. Измерете несигурността на опита, като к равновероятен произход, взе числото. В специфични приложения на „мерки за степен на несигурност“ логаритмите обикновено се използват с основа две. Това означава, че мерната единица за степента на несигурност тук се приема за несигурността, съдържаща се в събитие, което има два еднакво вероятни резултата (например в събитие, състоящо се в хвърляне на перфектна монета). Тази мерна единица на несигурност се нарича двоична единица или малко (битът се формира от двете начални и последни букви на английския израз двоична единица, което означава двоична единица). По този начин обозначението (където основата на логаритъма не е посочена) обикновено означава .

Също така се използва dit Ентропията на система с десет равновероятни състояния, изчислена с помощта на базовия десет логаритъм. Понякога избухване на физическа система с д държави, тогава се нарича естествената единица на количеството информация нитом, основата на логаритъма във формулата на Шанън е д.

Връзката между единиците на количеството информация:

.

От гледна точка на теорията на кодирането има обяснение защо се използва двоичната система (основа на логаритъма).

Както можете да видите, оптималният брой букви в азбуката е между 3 и 4. Тоест, троичната система би била по-добра, но е по-трудна за изпълнение.

---