"В.И.Корогодин, В.Л.Корогодина. Информация как основа жизни " - читать интересную книгу автора

естественных наук. В случае информации дело обстоит иначе. Слагается ли
информация из отдельных дискретных составляющих, или это непрерывный,
точнее, - неразрывный поток, лишь искусственно расчлененный на отдельные
сообщения или сведения? Ответить на этот вопрос мы не можем. Но, может быть,
именно эта особенность информации отражает тот факт, как пишет Н. Винер [2],
что "Информация есть информация, а не материя и не энергия" (стр. 201), т.
е. не принадлежит миру вещей. Ниже мы еще не раз к этому будем возвращаться.
Сейчас же важно понять, почему никто из упомянутых выше ученых, стоявших у
истоков теории информации, не попытался дать строгого определения этого
термина.
Так складывалась теория, объект которой не был определен. В науке
впервые возникла ситуация, подобная той, которая характерна для
древнееврейской религии: Бог имеет множество имен, но ни одно из них нельзя
произносить вслух. В области религии это вполне допустимо. В науке же все
идеи и направления постоянно дискутируются. Мы дадим главные идеи из разных
областей, где может быть использован этот термин.

Формула Шеннона

Возникновение классической теории информации было индуцировано
развитием технических систем связи, призванных служить обмену информацией
между людьми. Подчеркнем - технических систем, работа которых определяется
законами физики, т. е. законами материального мира. Задача оптимизации
работы таких систем требовала, прежде всего, решить вопрос о количестве
информации, передаваемой по каналам связи. Поэтому вполне естественно, что
первые шаги в этом направлении сделали сотрудники Bell Telephon Companie -
X. Найквист, Р. Хартли и К. Шеннон [3].
В 1924 г. X. Найквист предложил измерять количество информации,
приходящееся на одну букву текста, передаваемого по каналу связи, величиной
Н-1/п, где п - число букв в используемом языке. Спустя четыре года Р.
Хартли, исходя из требования аддитивности, в качестве такой меры начал
применять логарифм этой величины, т. е. log(1/n). Двадцать лет спустя, в
1948 г., К. Шеннон для этой же цели ввел величину (6)
где Hi - количество информации, связанное с i-ой буквой алфавита, pi -
частота встречаемости этой буквы в данном языке, q - основание логарифмов, а
k - коэффициент пропорциональности, величина которого зависит от q и от
избранных единиц измерения количества информации; знак "минус" перед k
поставлен для того, чтобы величина Hi всегда была положительной. Тогда
суммарное количество информации для сообщения, состоящего из М букв, будет
(7):
где mi - число i-х букв в сообщении
К. Шеннон показал, что с увеличением длины сообщения М почти всегда
будет иметь "типичный состав": (тi/М - рi). Следовательно, (8)
В случае бинарного кода, когда n = 2, а р1 = р2 = 0.5, q=2 и k=1,
количество информации Нм становится равным М и выражается в так называемых
бинарных единицах - битах.
Приведенные формулы послужили К. Шеннону основанием для исчисления
пропускной способности каналов связи и энтропии источников сообщений, для
улучшения методов кодирования и декодирования сообщений, для выбора
помехоустойчивых кодов, а также для решения ряда других задач, связанных с