"В.И.Корогодин, В.Л.Корогодина. Информация как основа жизни " - читать интересную книгу автораклассической теории.
Указанные постулаты, а также следствия из них, наиболее полно были изложены Л. Бриллюэном в его книгах [5, 6]. Прежде всего, за универсальную меру количества информации Л. Бриллюэн принял величину I = klnP, где Р - вероятность осуществления некоторого события или "сложность устройства" какого-либо объекта, k - постоянная, величина которой зависит от выбора системы единиц измерения, a ln - натуральный логарифм. Далее Л. Бриллюэн обратил особое внимание на сходство указанной формулы с формулой Л. Больцмана для исчисления количества энтропии S = klnW, где W - число микросостояний некоторой системы, соответствующей ее макросостоянию, а k - "постоянная Больцмана", равная 1,4 10-16 эрг-град-1 или 3,3 10-24 энтропийных единиц (1 э.е. = 1 кал'град-1). Отсюда Л. Бриллюэн сделал вывод, что, приняв k = 3,3 10-24 э.е., мы получим возможность выражать количество информации в энтропийных единицах (1 бит = 2,3 10-24 э.е.), а величину энтропии, напротив, в единицах информационных (1 э.е. = 4,3 1023 бит). Затем он сделал последний шаг в построении "негэнтропииного принципа": сформулировал утверждение, согласно которому информация - это не что иное, как энтропия с обратным знаком, или негэнтропия. Используя вероятностный подход, мы проведем следующие рассуждения. Пусть физическая система имеет W возможных состояний. Увеличение информации о ней, что было бы эквивалентно фиксации в определенном состоянии, приведет к уменьшению энтропии системы. Другими словами, (9) I + S = const. Чем больше известно о системе, тем меньше ее энтропия. Важно еще одно обстоятельство. Утрачивая информацию, мы увеличиваем энтропию системы. энтропии вне этой системы, во внешней среде, причем всегда Формула Шеннона для определения количества информации (2) и формула Больцмана S = lnW для случая, когда вероятности отдельных состояний системы различаются (3), формально совпадают. Мы замечали, что они имеют совершенно различный смысл: информация (2) соответствует одному единственному состоянию системы из всех возможных W, мера этой информации I = lnW. Энтропия (3) соответствует возможности нахождения системы с некоторой вероятностью I/W в каждом из доступных состояний. Информация (2) и энтропия (3) оказались равны между собой, потому, что I соответствует максимальной информации одного единственного состояния, а 5 определена по множеству всех состояний. В замкнутой системе (возьмем, например, текст) увеличение энтропии приводит к "забыванию" информации, и мы приходим к соотношению I + S = const. В соответствии со вторым законом термодинамики энтропия замкнутой системы не может убывать со временем. Поэтому в замкнутых системах соотношение (9) может сдвигаться только к забыванию информации. Это означает, что рождение новой информации требует выхода за пределы изолированной системы. Мы рассмотрели соотношение I + S = const с точки зрения второго закона термодинамики. Формулу Шеннона можно было бы назвать "физической информацией". Колмогоров [15] ввел понятие "алгоритмической информации". Алгоритмическую информацию можно рассматривать как меру алгоритмической хаотичности. Алгоритмическая информация практически совпадает с информацией по Шеннону. Поясним эти понятия и их соотношение на двух примерах из живого мира. |
|
|