Алфавіт містить 8 символів. Визначити кількість інформації на символ повідомлення,
складеного з цього алфавіту, якщо символи алфавіту трапляються:
а) з рівними ймовірностями; б) з імовірностями: 0.076, 0.119,0.072, 0.025,0.011,0.008,0.006,0.003 pm. Визначити абсолютний (у бітах) та відносний (у відсотках) показники недовантаженості символів у
другому випадку.
Ответы
a) Якщо символи алфавіту трапляються з рівними ймовірностями, то кількість інформації на символ можна визначити за формулою:
I = log2(N)
де N - кількість символів у алфавіті. У даному випадку N = 8, тому:
I = log2(8) = 3 біта.
b) Якщо символи алфавіту трапляються з різними імовірностями, то кількість інформації на символ можна визначити за формулою:
I = -log2(P)
де P - імовірність того, що символ з'явиться. У даному випадку значення P для кожного символу дано в пм, тому їх потрібно перевести в десяткові дроби:
P1 = 0.076 pm = 0.000076
P2 = 0.119 pm = 0.000119
P3 = 0.072 pm = 0.000072
P4 = 0.025 pm = 0.000025
P5 = 0.011 pm = 0.000011
P6 = 0.008 pm = 0.000008
P7 = 0.006 pm = 0.000006
P8 = 0.003 pm = 0.000003
Тоді кількість інформації на символ буде:
I1 = -log2(0.000076) ≈ 6.12 біт
I2 = -log2(0.000119) ≈ 6.85 біт
I3 = -log2(0.000072) ≈ 6.16 біт
I4 = -log2(0.000025) ≈ 8.64 біт
I5 = -log2(0.000011) ≈ 9.84 біт
I6 = -log2(0.000008) ≈ 10.96 біт
I7 = -log2(0.000006) ≈ 11.75 біт
I8 = -log2(0.000003) ≈ 12.78 біт
Абсолютний показник недовантаженості символу обчислюється за формулою:
Ua = Imax - Ii,
де Imax - максимальна кількість інформації на символ у алфавіті, Ii - кількість інформації на конкретний символ.
У нашому випадку максимальна кількість інформації на символ - це I8 ≈ 12.78 біт, тому абсолютний показник недовантаженості для кожного символу буде:
Ua1 = 12.78 - 6.12 ≈ 6.66 біт
Ua2 = 12.78 - 6.85 ≈ 5.93 біт
Ua3 = 12.78 - 6.16 ≈ 6.62 біт
Ua4 = 12.78 - 8.64 ≈ 4.14 біт
Ua5 = 12.78 - 9.84 ≈ 2.94 біт
Ua6 = 12.78 - 10.96 ≈ 1.82 біт
Ua7 = 12.78 - 11.75 ≈ 1.03 біт
Ua8 = 0 біт
Відносний показник недовантаженості символу обчислюється за формулою:
Ur = Ua / Imax * 100%.
У нашому випадку відносний показник недовантаженості символу для кожного символу буде:
Ur1 = 6.66 / 12.78 * 100% ≈ 52.14%
Ur2 = 5.93 / 12.78 * 100% ≈ 46.43%
Ur3 = 6.62 / 12.78 * 100% ≈ 51.83%
Ur4 = 4.14 / 12.78 * 100% ≈ 32.37%
Ur5 = 2.94 / 12.78 * 100% ≈ 23.01%
Ur6 = 1.82 / 12.78 * 100% ≈ 14.25%
Ur7 = 1.03 / 12.78 * 100% ≈ 8.06%
Ur8 = 0%
Отже, символи з імовірностями 0.003 та 0.076 пм є найбільш недовантаженими в цьому алфавіті, оскільки містять менше інформації, ніж інші символи. Відповідно, символ з імовірністю 0.003 пм є найбільш недовантаженим (він має 0% відносного показника недовантаженості), тоді як символ з імовірністю 0.011 пм є найбільш надмірно навантаженим, оскільки містить найбільше інформації серед усіх символів.