"В.И.Корогодин, В.Л.Корогодина. Информация как основа жизни " - читать интересную книгу автора

Формулу (1) можно записать несколько иначе, а именно (13):
Очевидно, что данная формула показывает, сколько знаков М алфавита,
состоящего из п букв, требуется для записи данного количества Н информации.
Очевидно, что в основе формулы (13) лежит формула (6), означающая,
следовательно, сколько информации может "вместиться" в один из символов
данного алфавита. Приняв в качестве единицы количества информации один бит и
используя разные значения п и pi, легко убедиться, что информационная
емкость отдельных символов может быть выражена любым числом, как целым, так
и дробным, в том числе апериодическим. Это лучше согласуется с
представлением о континуальности, нежели о дискретности самой информации, в
отличие от единиц информационной тары.
Итак, мы пришли к выводу, что информационная емкость i-го символа
любого алфавита, выраженная в битах, равна -log2pi, где pi есть частота
встречаемости этого символа в данном языке. Это утверждение, выведенное из
формулы (6) К. Шеннона, можно назвать правилом Шеннона.
Заметим, однако, что в работах самого К. Шеннона речь идет не об
информационной емкости, а о количестве информации. Справедливо полагая, что
количество информации, связанной с каким-либо сообщением, не должно зависеть
от его семантики, К. Шеннон формулировал вопрос так: сколько информации
получает адресат, воспринимая каждую из букв сообщения? Количество такой
информации он и предложил выражать через величину Н и постулировал
аддитивность этой величины по отношению к любому числу символов,
составляющих сообщение. При этом непроизвольно произошла подмена терминов:
понятие об информации, как о содержательной стороне сообщения, было
подменено понятием о количестве информации, представляющем собой функцию
статистических характеристик составляющих сообщение символов. Эта подмена
терминов не имела никаких последствий для развития математической теории
связи и даже оказалась для нее благотворной: ведь по каналам связи передают
не информацию, а ее носителей, и для оптимизации работы систем связи
безразлично, какую именно информацию эти носители содержат и содержат ли они
ее вообще. Однако для теории информации эти различия весьма существенны, и
вот почему.
Рассмотрим два сообщения: "Каин убил Авеля" и "инилА ваКу лебя". Оба
они состоят из одинаковых 15 знаков, но первое - вполне осмысленно, т. е.
содержит информацию, а второе представляет собой случайную
последовательность букв и никакой информации не содержит. Согласно формуле
(8), однако, с ними обоими связано одно и то же количество информации -около
45 битов. Если принять это утверждение за истинное, то отсюда следует, что
информация может быть лишена семантики, что на самом деле нонсенс, ибо
бессмысленной информации не бывает. Но возможен другой выход из этого
противоречия: считать, что формула (8) является мерой не количества
информации, а емкости информационной тары. Первая фраза - это тара,
"полностью загруженная информацией", а вторая фраза это совершенно пустая
тара. Очевидно, что емкость тары не зависит от того, загружена она или нет,
полностью загружена или частично, а также от того, чем именно она загружена.
Если тара заполнена, то ее емкость может служить мерой количества
содержащегося в ней груза. Эти простые соображения позволяют сделать три
вывода. Во-первых, если H-функцию считать емкостью информационной тары, то
ее в равной мере можно прилагать и к осмысленным, и к бессмысленным наборам
символов, которые могут служить носителями информации. Во-вторых, одни и те