Question

найти количество информации в сообщении длиной 4 с вероятностями p=0,25

Answer 1

Видимо, имеется в виду, что используется алфавит из 2 символов (для определённости, a и b), в котором вероятность встретить символ a равна 0.25, а символа b 1 - 0.25 = 0.75.

Найдём информационный вес одного символа:

$displaystyle i=sum p_ilog_2frac1{p_i}=0.75log_2frac43+0.25log_24=0.81text { bit}$

Количество информации в сообщении из 4 символов равно

0.81 бит * 4 = 3.24 бит