Читать «Одна формула и весь мир» онлайн - страница 24
Евгений Александрович Седов
Что же общего между телеэкраном и газом? В обоих случаях функция
Клод Шеннон показал, что энтропию можно не только увидеть, но и создать искусственно, пользуясь алфавитом и определенными правилами составления текста, так же как создаются вкусные блюда или хитроумные ручные поделки по рекомендациям поваренной книги или раздела журнала под рубрикой «Сделай сам».
«Возьмите свежей баранины,— рекомендует автор поваренной книги,— пропустите дважды сквозь мясорубку, посолите...»
В том же стиле можно теперь описать способ приготовления энтропии.
Возьмите 32 пустые карточки и напишите на них все буквы русского алфавита. Положите все карточки в коробку, тщательно перемешайте. Извлеките наугад одну букву. Извлекли? Прекрасно! Запишите, какую именно. Записали? Очень хорошо. Теперь бросьте карточку с буквой в коробку и перемешайте карточки еще раз. Тщательнее перемешивайте! Еще раз! Еще! Теперь достаточно. Можете извлечь следующую букву и записать ее рядом с предыдущей.
Проделав подобную процедуру раз 30—40, вы получите набор букв и слов.
Математик Р. Л. Добрушин в результате такого эксперимента получил текст, который вы уже видели на 25-й странице. Возвращаясь к нему теперь, спросим себя: стоило ли ради такой бессмыслицы делать специальный эксперимент? Оказывается, стоило. Ведь полученный Добрушиным текст — это не просто бессмыслица, а самая бессмысленная бессмыслица, какую только можно вообразить. Чередование букв наиболее беспорядочно, хаотично. Энтропия текста обладает наибольшей их всех возможных текстов величиной.
Все это вытекает из описанной методики эксперимента. В самом деле, вероятность извлечения любой из букв одинакова, то есть выполняется уже знакомое нам условие:
Ра = Рб=... =Ря= 1/32
Чтобы это условие не нарушилось, мы настоятельно рекомендовали после извлечения карточки возвращать ее к коробку и тщательно снова все перемешивать.
Заметим, что вероятность извлечения пустой карточки, соответствующей интервалу между словами, также равна 1/32. Поэтому-то такими несуразно длинными получились слова нашего странного текста: каждое слово, формируемое описанным способом, состоит в среднем из 32 букв, то есть на каждые 32 наугад извлеченные буквы попадется в среднем один интервал.