Question

В непрозрачном
мешочке хранятся 10 белых, 20 красных, 30
синих и 40 зеленых шариков. Какое количество
информации будет содержать зрительное
сообщение о цвете вынутого шарика?

Answer 1

Вероятность вытащить белый шар 10 / (10 + 20 + 30 + 40) = 0,1. Количество информации о том, что вытащен белый шар, несет -log2(0.1) = 3.32 бита

Вероятность вытащить красный шар 20 / 100 = 0,2. Количество информации 2,32 бита.

Вероятность вытащить синий шар 30 / 100 = 0,3. Количество информации 1,74 бита.

Вероятность вытащить зелёный шар 40 / 100 = 0,4. Количество информации 1,32 бита.

Среднее количество информации 0,1 * 3,32 + 0,2 * 2,32 + 0,3 * 1,74 + 0,4 * 1,32 = 1,85 бит