"В.И.Корогодин, В.Л.Корогодина. Информация как основа жизни " - читать интересную книгу автора

классической теории.
Указанные постулаты, а также следствия из них, наиболее полно были
изложены Л. Бриллюэном в его книгах [5, 6]. Прежде всего, за универсальную
меру количества информации Л. Бриллюэн принял величину I = klnP, где Р -
вероятность осуществления некоторого события или "сложность устройства"
какого-либо объекта, k - постоянная, величина которой зависит от выбора
системы единиц измерения, a ln - натуральный логарифм. Далее Л. Бриллюэн
обратил особое внимание на сходство указанной формулы с формулой Л.
Больцмана для исчисления количества энтропии S = klnW, где W - число
микросостояний некоторой системы, соответствующей ее макросостоянию, а k -
"постоянная Больцмана", равная 1,4 10-16 эрг-град-1 или 3,3 10-24
энтропийных единиц (1 э.е. = 1 кал'град-1). Отсюда Л. Бриллюэн сделал вывод,
что, приняв k = 3,3 10-24 э.е., мы получим возможность выражать количество
информации в энтропийных единицах (1 бит = 2,3 10-24 э.е.), а величину
энтропии, напротив, в единицах информационных (1 э.е. = 4,3 1023 бит). Затем
он сделал последний шаг в построении "негэнтропииного принципа":
сформулировал утверждение, согласно которому информация - это не что иное,
как энтропия с обратным знаком, или негэнтропия.
Используя вероятностный подход, мы проведем следующие рассуждения.
Пусть физическая система имеет W возможных состояний. Увеличение информации
о ней, что было бы эквивалентно фиксации в определенном состоянии, приведет
к уменьшению энтропии системы. Другими словами, (9)
I + S = const.
Чем больше известно о системе, тем меньше ее энтропия. Важно еще одно
обстоятельство. Утрачивая информацию, мы увеличиваем энтропию системы.
Увеличивать информацию о системе мы можем, лишь увеличивая количество
энтропии вне этой системы, во внешней среде, причем всегда
Формула Шеннона для определения количества информации (2) и формула
Больцмана S = lnW для случая, когда вероятности отдельных состояний системы
различаются (3), формально совпадают. Мы замечали, что они имеют совершенно
различный смысл: информация (2) соответствует одному единственному состоянию
системы из всех возможных W, мера этой информации I = lnW. Энтропия (3)
соответствует возможности нахождения системы с некоторой вероятностью I/W в
каждом из доступных состояний. Информация (2) и энтропия (3) оказались равны
между собой, потому, что I соответствует максимальной информации одного
единственного состояния, а 5 определена по множеству всех состояний.
В замкнутой системе (возьмем, например, текст) увеличение энтропии
приводит к "забыванию" информации, и мы приходим к соотношению I + S =
const. В соответствии со вторым законом термодинамики энтропия замкнутой
системы не может убывать со временем. Поэтому в замкнутых системах
соотношение (9) может сдвигаться только к забыванию информации. Это
означает, что рождение новой информации требует выхода за пределы
изолированной системы.
Мы рассмотрели соотношение I + S = const с точки зрения второго закона
термодинамики. Формулу Шеннона можно было бы назвать "физической
информацией". Колмогоров [15] ввел понятие "алгоритмической информации".
Алгоритмическую информацию можно рассматривать как меру алгоритмической
хаотичности. Алгоритмическая информация практически совпадает с информацией
по Шеннону.
Поясним эти понятия и их соотношение на двух примерах из живого мира.