Основи креаціонізму
Креацентр > Статті > Основи креаціонізму > Статистичний погляд на інформацію

Статистичний погляд на інформацію

Шенноновське визначення інформації тягне за собою лише один незначний аспект природи інформації, про що ми докладно поговоримо.

A1.1 Теорія інформації Шеннона

Клод Е. Шеннон (народився в 1916 році) у своїй відомій книзі «Математична теорія комунікацій» [S7, 1948] першим сформулював математичне визначення інформації. Його міра інформації, «біт» (двійкова цифра), мала ту перевагу, що кількісні властивості рядків символів могли бути сформульовані. Недолік настільки ж очевидний: шенноновське визначення інформації тягне за собою лише один незначний аспект природи інформації, про що ми докладно поговоримо. Єдина цінність цього особливого аспекту полягає в цілях передачі та зберігання. Питання сенсу, зрозумілості, правильності та цінності, або марності, взагалі не розглядаються,Важливі питання про походження (відправника) і для кого він призначений (одержувач) також ігноруються. Для концепції інформації Шеннона абсолютно несуттєво, чи представляє послідовність символів надзвичайно важливий і значущий текст, або ж вона була проведена випадковим процесом. Це може здатися парадоксальним, але в цій теорії випадкова послідовність символів є максимальним значенням інформаційного змісту ― відповідне значення,або число для значущого тексту, такої ж довжини менше.

Концепція Шеннона: його визначення інформації засноване на завданні зв'язку, а саме на визначенні оптимальної швидкості передачі. Для технічних цілей значення та імпорт повідомлення не мають ніякого значення, так що ці аспекти не були розглянуті. Шеннон обмежився інформацією, яка виражає щось нове, так що, коротко, інформаційний зміст = міра новизни, де «новизна» не відноситься до нової ідеї, нової думки, або свіжим новинам, які охоплювали б аспект сенсу. Це стосується тільки ефекту несподіванки, виробленого символом, який рідко зустрічається. Шеннон розглядає повідомлення, як інформацію тільки в тому випадку, якщо вона не може бути повністю встановлена заздалегідь, так що інформація є мірою малоймовірності події. Таким чином, вкрай малоймовірному повідомленню присвоюється великий інформаційний зміст. Новина про те, що якась людина із двох мільйонів учасників витягнула виграшний квиток, є для неї більш «значущою», ніж, якщо б у кожної десятої людини був шанс, тому що перша подія набагато більш малоймовірна.

Малюнок 31: модель дискретного джерела для генерації послідовностей символів. Джерело містить N різних символів (наприклад, алфавіт з 26 літерами), з яких довга послідовність з n символів передається один за одним в певний час. Джерелом може бути генератор символів, який випускає випадкові послідовності символів у відповідності із заданим розподілом імовірностей, чи це може бути невідомий текст, що зберігається на магнітній стрічці, який передається послідовно (тобто по одному символу за раз).

Перш ніж дискретне джерело символів (NB: не джерело інформації!) доставляє один символ (мал. 31), виникає певний сумнів щодо того, який саме символ аі, з наявного набору символів (наприклад, алфавіт з N літерами a1, a2, a3,. . . , aN) це буде. Після того, як він був доставлений, попередня невизначеність усувається. Таким чином, метод Шеннона можна сформулювати як ступінь невизначеності, яка буде дозволена при появі наступного символа. Коли наступний символ є «сюрпризом», йому присвоюється більше інформаційне значення, ніж коли його чекають з певною «впевненістю». Читач, що захоплюється математикою, може бути зацікавлений у виведенні деяких основних формул Шеннона; це може сприяти кращому розумінню його лінії міркувань.

1. Інформаційний міст послідовності символів: Шеннона цікавила лише ймовірність появи різних символів, що тепер має стати більш зрозумілим. Таким чином, він займався тільки статистичними вимірюванням інформації і зводив поняття інформації до чогось, без будь-якого значення. Якщо припустити, щоймовірність появи різних символів, не залежать один від одного (наприклад, за «q» не обов'язково слідує «u»), і що всі N символи мають рівну ймовірність появи, то ми маємо: ймовірність появи будь-якого вибраного символу xi задається pi= 1/N. Інформаційний зміст визначається Шенноном таким чином, що повинні бути виконані три умови:

1) Якщо є k незалежних повідомлень1 (символів, або послідовностей символів), то загальний інформаційний зміст задається Itot= I1+ I2+...+ Ik. Це умова підсумовування розглядає інформацію, як таку, що піддається кількісній оцінці.

2) інформаційний зміст, приписуваний повідомленням, збільшується, коли елемент несподіванки більше. Ефект несподіванки рідко використовуваного «z» (низька ймовірність) більше, ніж для «e», який з'являється частіше (висока ймовірність). Звідси випливає, що інформаційна цінність символу хі зростає при зменшенні його імовірності pi. Це виражається математично у вигляді зворотної пропорції: I ~ 1/pi.

3) в найпростішому симетричному випадку, коли є тільки два різних символи (наприклад, «0» і «1»), які зустрічаються однаково часто (pi = 0,5 і p2 = 0,5), інформаційний зміст I такого символу буде рівно одним бітом.

Згідно із законами ймовірності, імовірність двох незалежних подій (наприклад, кидання двох кубиків) дорівнює добутку одиничних імовірностей:

p = p1xp2 (1)

Перша вимога (1) (i) I( p ) = I ( p1xp2 ) = I ( p1 ) + I ( p 2) виконується математично, коли береться логарифм рівняння (1). Друга вимога (2) виконується, коли p1 і p2 замінюються їхніми взаємними відповідями 1/p1 і 1/p2:

I ( p1 x p 2 ) = log (1/p 1 ) + log (1/p 2 ).(2)

Досі підстава b логарифмів у рівнянні (2) тягне за собою питання про міру й встановлюється третьою вимогою (3):

I = logb (1/p) = logb (1/0.5) = logb 2 = 1 біт (3)

З logb = 1 випливає, що підстава b = 2 (тому ми можемо розглядати його як двійковий логарифм, як позначення ми використовуємо log2 = lb; даючи lbx = (logx ) / (log 2); logx означає загальний логарифм, який використовує підстава 10:logх = log10х). Тепер ми можемо зробити висновок, що визначення інформаційного змісту I одного символу з імовірністю p появи, є

I( p ) = lb (1/p ) = - lbp ≥ 0. (4)

Згідно з визначенням Шеннона, інформаційний зміст одного повідомлення (будь то один символ, один склад, або одне слово) є мірою невизначеності його сприйняття. Ймовірності можуть мати значення в діапазоні від 0 до 1 (0 ≤ p ≤1), і з рівняння (4) випливає, що I(p) ≥ 0, тобто числове значення інформативності завжди позитивне. Зміст низки повідомлень (наприклад, символів) потім визначається вимогою (i) в термінах суми значень для окремих повідомлень.

I tot = lb (1/p 1 ) + lb (1/p 2 ) + ... + lb (1/pn ) = ∑ lb (1/p, i) i = 1 (5)

Як показано в [G7], рівняння (5) можна звести до наступного математично еквівалентного співвідношення:

N I tot = n x ∑ p (xi) x lb (1/( p ( x )) = n x H i = 1 (6)

Зверніть увагу на різницю між n і N, використовуваними зі знаком підсумовування ∑. У рівнянні (5) сума береться по всіх n членам отриманої послідовності знаків, але в рівнянні (6) підсумовується по числу N символів у наборі доступних символів.

Пояснення змінних, що використовуються в формулах:

n = кількість символів у заданій (довгій) послідовності (наприклад, загальна кількість літер у книзі)

N = кількість різних доступних символів (наприклад: N = 2 для двійкових символів 0 та 1, а

N = 26 х 26 = 676 для біграм з використанням латинського алфавіту: AA, AB, AC, . . ., ZZ

N = 4 для генетичного коду: A, C, G, T

Xi;  i = від 1 до N, послідовність з N різних символів

Itot= інформаційне наповнення всієї послідовності символів

H = середній інформаційний зміст одного символу (або біграми, або триграми); середнє значення інформаційного змісту одного символу, взятого в довгій послідовності, або навіть по всій мові (підраховується для багатьох книг з різних типів літератури).

 Рівняння Шеннона (6) і (8) використовувалися для знаходження спільного (статистичного!) інформаційного змісту послідовності символів (наприклад, речення, розділи або книги) складається з двох істотно різних частин:

 а) коефіцієнт n, який вказує на те, що зміст інформації прямо пропорційний кількості використовуваних символів. Цього зовсім недостатньо для опису реальної інформації. Якщо, наприклад, хтось використовує потік слів, нічого не кажучи, то Шеннон оцінив би інформаційний зміст як дуже великий, через велику кількістьвикористовуваних букв. З іншого боку, якщо хтось, хто є експертом, висловлює фактичні значення стисло, його «повідомлення» отримує дуже невеликий інформаційний зміст.

 б) змінна H, виражена в рівнянні (6) як підсумовування відносно наявного набору елементарних символів. Hвідноситься до різних частотних розподілів літер і, таким чином, описує загальну характеристику використовуваної мови. Якщо дві мови A і B використовують однаковий алфавіт (наприклад, латинський алфавіт), то H буде більше для A, коли літери розподілені більш рівномірно, тобто, ближче до рівного розподілу. Якщо всі символи зустрічаються з однаковою частотою, то H = lbNбуде максимумом.

Рівний розподіл є винятковим випадком: ми розглядаємо випадок, коли всі символи можуть зустрічатися з рівною ймовірністю, наприклад, коли нулі й одиниці з'являються з тією ж частотою, що й для випадкових двійкових сигналів. Імовірність того, що два заданих символи (наприклад, G, G) з'являються безпосередньо один за одним, дорівнює p2; але зміст I подвоюється через логарифмічну залежність. Зміст довільної довгої послідовності символів (n символів) з доступного джерела (наприклад, алфавіту), коли ймовірність всіх символів однакова, тобто:

p1 = p2 = ... = pN = p, визначається з рівняння (5) як:

nItot = ∑ lb (1/p) = n x lb (1/p ) = -n x lb p . я = 1 (7)

Якщо всі N символи можуть зустрічатися з однаковою частотою, то ймовірність дорівнює p = 1/N. Якщо це значення підставити в рівняння (7), то отримаємо важливе рівняння:

Itot= n x lb N = nx H. (8)

2. Середній інформаційний зміст одного символа в послідовностіякщо символи довгої послідовності зустрічаються з різною ймовірністю (наприклад, послідовність літер у англійському тексті), то нас цікавить середній інформаційний зміст кожного символу в цій послідовності, або середнє значення у випадку самої мови. Іншими словами: як середній зміст інформації в даному випадку по відношенню до середньої невизначеності одного символу?

Для того, щоб обчислити середній зміст інформації на символ Iave, ми повинні розділити число, задане рівнянням (6), на кількість відповідних символів:

N Iave = Itot/n = ∑ p(xi) x lb(1/p(xi)). i=1 (9)

При обчисленні рівняння (9) для частот букв, що зустрічаються в англійській мові, отримані значення, наведені в Таблиці 1. Середня інформативність одного листа дорівнює Iave= 4,045 77. Відповідне значення для німецької мови — Iave = 4.112 95.

Зображення 2

Середнє значення Iave(x), яке може бути обчислене з рівняння (9), таким чином, є середнім арифметичним всіх одиничних значень I (x). Середня інформативність кожного символу наведена в Таблиці 1 для двох різних символьних систем (англійської та німецької алфавитів); для простоти замість Iave використовується i. Середнійінформаційний змістдля кожного символуIave(x) ≡ i збігається з математичним значенням2 інформаційного змісту одного символу в довгій послідовності. Ця величина також відома як ентропіяH джерела повідомлення, або використовуваної мови (Iave ≡ i ≡ H). Рівняння (9) є фундаментальним виразом в теорії Шеннона. Його можна інтерпретувати по-різному:

а) інформаційний зміст кожного символу:H — середній зміст IaveIave(x) символу хі в довгій послідовності з n символів. Таким чином, H є характеристикою мови, коли N досить велике. Через різні частоти літер у різних мовах, H має певне значення для кожної мови (наприклад, H1 = 4,045 77 для англійської мови та для німецької — 4,112 95).

b) математичне сподівання інформаційного змісту символу: H можна також розглядати як очікуване значення інформаційного змісту символу, що надходить з джерела яке безперервно передає.

c) середній зміст рішення по символу:H також може розглядатися як середній зміст рішення по символу. Завжди можна кодувати символи, що передаються джерелом повідомлень, у послідовність двійкових символів (0 та 1). Якщо ми розглядаємо двійковий код одного символу, як двійкове слово, то H також можна інтерпретувати наступним чином (зверніть увагу, що двійкові слова не обов'язково мають однакову довжину): це середня довжина слова коду, необхідного для джерела повідомлень. Якщо, наприклад, ми хочемо закодувати чотири літери генетичного коду для комп'ютерного дослідження та вимоги до зберігання повинні бути мінімізовані, то H буде lb 4 = 2 двійкових позиції (наприклад, 00 = A, 01 = C, 10 = G 11 = T).

d) винятковий випадок символів, що мають рівні ймовірності: це важливий випадок, а саме, що всі N символи алфавіту, або деякого іншого набору елементів зустрічаються з однаковою ймовірністю p (хі) = 1/N. Щоб знайти середній зміст одного символу, ми повинні розділити праву частину рівняння (8) на n:

H ≡ Iave (x) ≡ i = lb N (10)

Тепер ми сформулюємо це твердження як спеціальну теорему:

Теорема А1: У разі послідовностей символів рівної ймовірності (наприклад, цифр, які генеруються генератором випадкових чисел) середнійінформаційний зміст символу дорівнює інформаційному змісту кожного окремого символу.

А1.2 Математичний опис статистичної інформації

A1.2.1 Біт: статистична одиниця інформації

Одна з головних задач науки й техніки полягає в тому, щоб виразити результати, наскільки це можливо, в числовій формі або у формулі. Кількісні показники відіграють важливу роль у цих зусиллях. Вони складаються з двох частин: відповідного числа, або величини, та одиниці вимірювання. Остання являє собою заздалегідь певну одиницю порівняння (наприклад, метр, секунда, ват), яка може бути використана для вираження інших аналогічних величин, які вимирюються.

Біт (скорочено від двійкового символу; bit — binary digit) є одиницею вимірювання інформаційного змісту. Кількість бітів збігається з кількістю двійкових символів. У системах обробки даних інформація надається й обробляється у вигляді електричних, оптичних, або механічних сигналів. Для цієї мети технічно надзвичайно вигідно, і тому прийнято, використовувати тільки два визначених (двійковий) стана та сигнала. Двійкові стани володіють такою властивістю, що в певний момент часу може бути задіяний тільки один з двох двійкових символів. Один стан позначається двійковою одиницею (1), а інший — двійковим нулем (0). Крім того, можна мати різні пари двійкових символів, таких як 0 і L, YES і NO, TRUE і FALSE, і 12 V і 2 V. В комп'ютерній техніці біт також відноситься до двійкової позиції в машинному слові. Біт також є найменшою одиницею інформації, яка може бути надана у цифровому комп'ютері. Коли текст вводиться в комп'ютер, він перетворюється в заздалегідь певний двійковий код і зберігається також у цій формі. Одна буква зазвичай вимагає 8 двійкових позицій зберігання, відомих як байт. Інформаційний зміст (= вимога до зберігання) тексту потім описується в термінах кількості необхідних бітів. Таким чином, різними фрагментами тексту надається однаковийінформаційний зміст, незалежно від змісту та значення. Число бітів вимірює тільки статистичну кількість інформації, без урахування її важливості.

Два комп'ютерних приклади тепер проілюструють переваги (наприклад, щоб допомогти визначити обсяг простору для зберігання) і недоліки (наприклад, ігноруючи семантичні аспекти) визначення інформації Шеннона:

Приклад 1. Зберігання біологічної інформації: молекула ДНК людини (клітина тіла) має довжину близько 79 дюймів (2 м) при повному розтягуванні й містить приблизно 6 х 109 нуклеотидів (хімічні літери: аденін, цитозин, гуанін і тимін). Скільки статистичної інформації згідно з визначенням Шеннона? Хімічні літери N = 4 хімічних літери, A, C, G та T зустрічаються майже однаково часто; їхній середній інформаційний зміст становить H = lb 4 = (log 4)/(log 2) = 2 біта. Таким чином, вся ДНК має інформаційний зміст Itot = 6 x 109 нуклеотидів х 2 біта/нуклеотид = 1,2 х 1010 біт у відповідності з рівнянням (10). Це відповідає інформації, що міститься на 750 000 типізованих сторінках формату А4, кожна з яких містить 2000 символів.

Малюнок 32: кількість літер L і слів W, що ілюструють статистичні властивості різних мов.

Приклад 2. Статистичний інформаційний зміст Біблії: версія англійської Біблії короля Якова складається із 3 566 480 літер і 783 137 слів [D1]. Коли пробіли між словами також враховуються, тоді n = 3,566,480+783,137-1=4,349,616 символи. Таким чином, середній зміст однієї букви (також відомий як ентропія) становить H=4,046 біт (див. таблицю 1). Загальний інформаційний зміст Біблії тоді даний Itot=4,349,616x4,046=17,6 мільйона бітів. Оскільки німецька Біблія містить більше літер, ніж англійська, її зміст тоді більший з погляду теорії Шеннона, хоча фактичний зміст однаковий щодо їхнього значення. Ця різниця доходить до крайності, коли ми розглядаємо мову шипіпо Перу, яка складається з 147 літер (див. малюнок 32 і таблицю 2). Біблія шипіпо тоді містить приблизно в 5,2 (=994/191) рази більше інформації, ніж англійська Біблія. Ймовірно, що шенноновське визначення інформації неадекватне й проблематичне. Навіть коли сенс змісту абсолютно однаковий (як у випадку з Біблією), теорія Шеннона призводить до помітних відмінностей. Його неадекватність полягає у тому, що кількість інформації залежить тільки від кількості літер, не рахуючи специфічного для мови фактора H у рівнянні (6). Якщо розглядати значення, то одиниця інформації повинна призводити до рівних чисел у наведеному вище випадку, незалежно від мови.

Зображення 4

Таблиця 2. Івана 1:1-4 на різних мовах. (Автор щиро вдячний за тексти Біблії, надані паном А. Хольцхаузеном, перекладачем Біблії Уікліффа, Бурбах/Німеччина.)


Перші чотири вірша Євангелія від Івана представлені в таблиці 2 на трьох африканських і чотирьох американських мовах. У моїй книзі «So steht's geschrieben» [«Так написано», G12, стор 95-98] одні й ті ж вірші дані на 47 різних європейських мовах для цілей порівняння. Анотація 86 W, 325 L» означає, що використовується 86 слів і 325 літер. Сьома мова в таблиці 2 (Mazateco/група масатекських мов) є тональною мовою. Різні значення W і L для Івана 1:1-4 показано на малюнку 32 для 54 мов. Ці 54 мови включають 47 європейських мов, і сім африканських і американських мов. Примітно, що координати майже всіх європейських мов потрапляють всередину даного еліпса. З них мальтійська мова використовує найменшу кількість слів і літер, в той час як індіанці шипіпо використовують найбільшу кількість для вираження однієї й тієї ж інформації.

Вимоги до зберігання послідовності символів слід відрізняти від її інформаційного вмісту, визначеного Шенноном. Об'єм пам'яті не пов'язаний з вірогідністю появи символу, а лише із загальною кількістю символів. В загальному випадку для представлення одного символу в системі обробки даних потрібно 8 біт (=1 байт). З цього випливає, що 4349 616 літер і пробілів (виключаючи знаки пунктуації англійської Біблії вимагають у вісім разів більше бітів, а саме 34,8 мільйона.

А1.2.2 Інформаційна спіраль

Малюнок 34: мураха й мікрочіп. Мікрочіпи—це елементи пам'яті сучасних комп'ютерів. Їхні деталі практично непомітні, так як ширина конструкції становить близько однієї мільйонної метра. Те, що 30-тонний комп'ютер Пенсільванського університету (США) міг зробити в 1946 році, тепер може бути виконане чіпом розміром менше 6 квадратних мм. Всього кілька років тому чіпи, здатні зберігати текст на чотирьох машинописних сторінках, вважалися революційними. Сьогодні всі телефонні номери такого міста, як Канберра, Австралія, можуть бути збережені на одному чіпі, та їхня швидкість роботи настільки висока, що Біблію можна прочитати 200 разів за одну секунду, але є одна річ, яку всі чіпи в світі ніколи не зможуть зробити, а саме скопіювати мураху й все, що вона може зробити. (Джерело: «Werkbild Philips»; з люб'язного дозволу «Valvo Unternehmens-bereichs Bauelemente» фірми Philips GmbH, Гамбург.)

На мал. 34 показані два різних діапазони інформації, а саме біологічна інформація, що зберігається в молекулах ДНК, представлених мурахою—і мікрочіп, який використовується у новітніх комп'ютерах.

1. Комп'ютерні технології: Конрад Цузе (1910-1996), німецький винахідник, вперше розробив концепцію програмного комп'ютера, коли він побудував першу робочу електричну обчислювальну машину Z3 у 1941 році. Він використовував 600 телефонних реле для розрахунків і 2000 реле для зберігання. Вона могла зберігати 64 числа в кожній групі з 22 довічних позицій, могла виконувати від 15 до 20 арифметичних операцій у секунду, і одне множення вимагало від 4 до 5 секунд. Наступним кроком вперед стало впровадження вакуумних ламп (електронних обчислювальних машин першого покоління), і комп'ютер ENIAC почав функціонувати в 1946 році. У ньому було більше 18 000 вакуумних ламп та інших компонентів, з'єднаних між собою більш ніж півмільйоном паяних з'єднань. Одна операція додавання вимагала 0,2 тисячних секунди, а множення могло бути виконано за 2,8 тисячних секунди. Ця установка використовувала слово length4 із 10 десяткових знаків, вона важила 30 тонн і споживала 150 кВт електроенергії. Після декількох років досліджень транзистори були винайдені в 1947 році. Вони були набагато менше й швидше, ніж вакуумні трубки, та їхнє впровадження в якості перемикаючих елементів поклало початок другого покоління комп'ютерів у 1955 році. Наступною віхою на шляху, що веде до створення потужних сучасних комп'ютерів, стала ідея інтегральних схем (ІС; integrated circuits, IC). Різні компоненти включені й з'єднані в схожих на вигляд блоках, виготовлених з одних й тих же матеріалів. Перший IC був зроблений у 1958 році, грунтуючись на новій ідеї інтеграції, запропонованої Кілбі та Хорні. Подальший розвиток цієї концепції й неухильне збільшення числа елементів схеми на кремнієвому чіпі призвело до появи третього покоління комп'ютерів. IC зазнали швидкий розвиток із моменту появи перших простих IC в 1958 році. Сьогодні 64-мегабітні чіпи стали звичайним явищем.

П'ять ступенів інтеграції можна виділити в залежності від кількості компонентів на структурну одиницю:

 Малюнок 33: інформаційна спіраль.


 SSI (Small Scale Integration, інтеграція малого масштабу) від 1 до 10

 MSI (Medium Scale Integration, інтеграція середнього масштабу) від 10 до 103

 LSI (Large Scale Integration, великомасштабна інтеграція) 103до 104

 VLSI (Very Large Scale Integration, дуже великомасштабна інтеграція) 104 to 106

 GSI (Grand Scale Integration, інтеграція великого масштабу) 106 і вище

Високі рівні інтеграції, коли від 500 до 150 000 транзисторів розміщені на одному кремнієвому чіпі, що має площу від 5 до 30 мм2, привели до розвитку мікропроцесорів. Ця технологія дозволила мати повні блоки обробки або зберігання на одному чіпі. Кількість схем, які можуть бути інтегровані на одному чіпі, подвоюється приблизно кожні два роки. Перший експериментальний чіп, здатний зберігати більше мільйона біт (1 мегабіт = 220 біт = 1 048 576 біт), був розроблений у 1984 році компанією IBM. Використовувана кремнієва пластина вимірювала 10,5 мм х 7,7 мм = 80,85 мм2, так що щільність зберігання становила 13,025 біт на квадратний мм. Час, необхідний для доступу до даних на цьому чіпі, становило 150 наносекунд (1 нс = 10-9 с). У наступні роки ступінь інтеграції неухильно зростала.

Виникає питання: чи можна нескінченно збільшувати щільність інтеграції? У статті в Elektronische Rechenanlagen (Електронні комп'ютери) [F4] О. Г. Фолберт вказав на перешкоди, які доведеться подолати в майбутніх розробках. Такі перешкоди в технології виробництва, складності проектування та випробувальних завданнях, однак, не є фундаментальними, але існують жорсткі фізичні межі кінцевого характеру, які неможливо подолати (геометричні, термічні й електричні обмеження). Максимальна щільність інтегрування, яка може бути досягнута за допомогою сучасної кремнієвої технології, може бути розрахована; встановлено, що вона становить 2,5 х 105 одиниць решітки на мм2.

Удосконалення апаратних елементів дозволило комп'ютерним терміналам і персональним комп'ютерам стати такими ж потужними, як і більш ранні мейнфрейми. Одним з найшвидших комп'ютерів є CRAY C916/16, один із серії C-90. Швидкість обробки цього 16-процесорного комп'ютера складає близько 10 GFLOPS (= 10 гіга-флопів). Один FLOPS (floating point operations per second/операції з плаваючою комою в секунду) означає, що одне обчислення, що включає дійсні числа із плаваючими десятковими знаками, можуть бути виконані за одну секунду; таким чином, 10 GFLOPS дорівнюють 10 тисячам мільйонів арифметичних обчислень, таких як додавання та множення, що виконуються за одну секунду.

2. Ступінь інтеграції в живих клітинах: нам були представлені вражаючі розробки, що включають збільшення ступеню інтеграції (кількість елементів схеми в одному чіпі) й щільності інтеграції (ступінь мініатюризації; елементи схеми на одиницю площі), як видно з комп'ютерної технології. Такого стрімкого й унікального розвитку немає ні в одній іншій галузі техніки.

Інформація, що зберігається в молекулах ДНК усіх живих клітин, необхідна для численних керованих процесів, що включають складні й унікальні функції. Молекула ДНК людини (клітини тіла) має довжину близько 79 дюймів (2 м) при розтягуванні й містить 6 х 109 хімічних букв. Ми цілком можемо запитати, яка щільність упаковки цієї інформації, і це досить легко обчислити. Інформаційний зміст одного нуклеотиду становить два біти, що дає в цілому 12 х 109 біт для однієї молекули ДНК. Розділіть це на кількість бітів у одному кбіт (1024); це призводить до ступеня інтеграції 11,72 мільйона кбіт, що в 180 разів більше, ніж вищезгаданий 64-мегабітний чіп. Щільність інтеграції більш докладно розглядається в наступній статті.

Це порівняння робить абсолютно очевидним, що еволюційний погляд вимагає від нас вірити в речі, які абсолютно безглузді. Для виробництва мегабітного чіпа знадобилися тисячі людино-років досліджень, а також безпрецедентні технологічні розробки, але ми повинні вірити, що принципи зберігання, втілені в ДНК, з набагато більш високим ступенем інтеграції, розвивалися спонтанно в матерії, яка була надана самій собі. Така «теорія», м'яко кажучи, абсурдна надзвичайно!

Малюнок 35: порівняння щільності статистичної інформації. Молекули ДНК містять найвищу відому щільність упаковки інформації. Цей надзвичайно блискучий метод зберігання досягає межі фізично можливого, а саме до рівня окремих молекул. На цьому рівні щільність інформації становить понад 1021 біт на см3. Це в 7,7 мільйона мільйонів разів більше щільності, отриманої при відтворенні всієї Біблії на одному фотографічному слайді А. Тільки якщо б на одному слайді можна було зобразити 7,7 мільйона мільйонів Біблій (це можливо тільки теоретично!), маючи 2,77 мільйона рядків і 2,77 мільйона стовпців з усією Біблією, відтвореною в кожному маленькому прямокутнику, ми отримали б щільність упаковки інформації, що дорівнює щільності, присутної у всіх живих клітинах.

A1.2.3 Найвища щільність упаковки інформації

Найбільша відома щільність інформації знаходиться в ДНК живих клітин. Діаметр цього хімічного накопичувача, показаного на мал. 35, становить 2 нм = 2 × 10-9 м, а приріст спіралі становить 3,4 нм (грецький hélix = обмотка, спіраль). Обсяг цього циліндра дорівнює V = h x dx π/4:

V = 3,4 x 10-7см x (2 x 10-7 см)2 x π/4 = 10,68 x 10-21 смна обмотку

Існує 10 хімічних літер (нуклеотидів) у кожній обмотці подвійної спіралі, що дає статистичну інформаційну щільність:

U = 10 літер/(10,68 х 10-21 см3) = 0,94 х 1021 літер на см3

Якщо ми обмежимо середній вміст інформації в 4,32 біта амінокислоти однією літерою (нуклеотидом) генетичного коду, то ми виявимо, що воно становить 4,32:3 = 1,44 біта на літеру. Тепер ми можемо висловити статистичну інформаційну щільність ДНК наступним чином, де 2 біта беруться як інформаційний зміст однієї літери:

U = (0,94 x 1021 біт/см3 ) x (2 біт/літера) = 1,88 x 1021 біт/см3

Ця щільність упаковки настільки незбагненно велика, що ми потребуємо ілюстративного порівняння. Фотографічний слайд А на малюнку 35 містить всю Біблію від Буття до Одкровення на своїй поверхні 33 мм х 32 мм, відтворену за допомогою спеціальних микрофильмових процесів [M5]. З розрахунків, наведених у [G11, стор. 78-81], випливає, що молекула ДНК має щільність зберігання в 7,7 мільйона мільйонів разів більше, ніж у слайда А, що містить всю Біблію. Якщо ми хочемо отримати щільність упаковки ДНК на фотографічному слайді B, нам доведеться розділити його поверхню на 2,77 мільйона рядків і 2,77 мільйона стовпців і скопіювати всю Біблію' у форму, яка читається, в кожен з крихітних прямокутників, сформованих таким чином. Якщо б це було можливо, ми досягли б щільності інформації, що міститься в кожній живій клітині. У будь-якому випадку, ми повинні пам'ятати, що технологічно неможливо отримати слайд B, тому що всі фотографічні методи обмежені макроскопічними відтвореннями й не можуть використовувати окремі молекули в якості одиниць зберігання. Навіть якщо б вдалося домогтися такого фотографічного скорочення, то в нас все одно була б тільки статична система зберігання, яка принципово відрізняється від системи зберігання ДНК. Принцип зберігання молекул ДНК динамічний, тому що інформація, яка міститься в них, може бути передана в незмінному вигляді інших клітин за допомогою складних механізмів.

Ці порівняння прекрасно ілюструють блискучі концепції зберігання, із якими ми тут маємо справу, а також економічне використання матеріалу та мініатюризацію. Найвища відома (статистична) щільність інформації виходить в живих клітках, значно перевершуючи кращі досягнення високоінтегрованих щільності зберігання в комп'ютерних системах.

A1.3 Оцінка систем зв'язку       

Технічні комунікаційні системи. Після обговорення шенноновського визначення інформації в пункті А1.1 виникає питання: яке застосування методу, що ігнорує основні принципи явища? Оригінальне й найбільш важливе застосування теорії інформації Шеннона дається двома так званими теоремами кодування. Ці теореми стверджують, зокрема, що, незважаючи на невизначеність, викликану збуреним каналом зв'язку, прийом повідомлення може бути певним. Іншими словами, існує спосіб кодування з виправленням помилок, який забезпечує більшу безпеку повідомлення із заданою довжиною блоку (повідомлення).

Крім того, одиниця виміру, біт, отримана з визначення інформації Шеннона, має фундаментальне значення для кількісної оцінки зберігання інформації. Крім того, на статистичному рівні можна порівнювати безпосередньо задані обсяги інформації, які кодуються різними способами. Ця проблема детально обговорювалася в попередньому пункті А1.2.

Комунікаційні системи в живих організмах.

Бернхард Хассенштейн, німецький біолог і кібернетик, привів вражаючий приклад, який ілюструє, як блискучу концепцію передачі інформації в живих організмах, так і її оцінку з погляду теорії Шеннона:

 «Важко, навіть страшно повірити в незрівнянну множинність наших переживань, в достаток нюансів—світла, квітів і форм, а також звуків голосів і шумів ... всі ці уявлення в наших чутливих рецепторних клітинах переводяться на сигнальну мову, яка більш монотонна, ніж азбука Морзе. Більш того, ця сигнальна мова є єдиною основою, завдяки якій достаток вхідних сигналів оживає в нашому суб'єктивному сприйнятті знову—чи вперше. Всі наші дії і активність також виражаються на цій сигнальній мові, від контролю тіла спортсменів до рухів рук піаніста або вираження настрою виконавця в концертному залі.

Що б ми не відчували або не робили, всі імпульси, що проходять через нашу нервову систему від навколишнього середовища до нашої свідомості та йдуть від нашого мозку до рухових м'язів, роблять це у формі самої монотонної системи повідомлень, яку тільки можна собі уявити. Наступне нове питання було сформульоване тільки тоді, коли була розроблена наукова інформаційна концепція, а саме: який функціональний сенс вибору мови сигналізації з використанням найменшого числа символів для передачі такого величезного обсягу інформації? На це питання можна було б відповісти практично відразу з допомогою інформаційної концепції теорії інформації.

Британський фізіолог У. Х. Раштон був першою людиною, який дав відповідь, який дуже здивував біологів, а саме: існує результат в теорії інформації для визначення здатності системи зв'язку таким чином, що її сприйнятливість до перешкод які збурюють зведена до мінімуму. Це відомо як метод стандартизації властивостей імпульсів. Техніка імпульсно-кодової модуляції була відкрита у 1930-х роках, але її теоретичні принципи були встановлені лише пізніше.

Символічну мову, використовувану в живих нервових системах, в точності відповідає теоретичному ідеалу вільної від перешкод комунікації. Неможливо поліпшити це остаточне уточнення імпульсно-кодової модуляції, і недолік зменшеною пропускної здатності більш ніж компенсується підвищенням безпеки. Таким чином, монотонність символічної мови нервової системи переконливо доводить, що вона виражає максимально можливу свободу від втручання. Таким чином, із допомогою нових понять теорії інформації можна було б зрозуміти дуже цікавий фундаментальний феномен фізіології».

Тепер повинно бути ясно, що теорія інформації Шеннона дуже важлива для оцінки процесів передачі повідомлень, але що стосується самого повідомлення, то воно може сказати про його статистичні властивості й нічого про сутність природньої інформації. Це його реальне слабке місце, а також властива йому схильність призводити до непорозумінь. Німецький кібернетик Бернхард Хассенштейн справедливо критикує його в таких словах: «Було б краще винайти штучний термін, а не брати звичайне слово й надавати йому зовсім нове значення». Якщо ми обмежимо інформацію Шеннона одним з п'яти аспектів інформації, то ми отримаємо науково обґрунтоване рішення. Без розширення на інші чотири рівня інформації, ми застрягли з властивостями каналу передачі. Ніяка наука, крім комунікаційних технологій, не повинна обмежуватися тільки статистичним рівнем інформації.

Природні мови можуть бути проаналізовані та порівняні статистично за допомогою теорії Шеннона, що ми зараз і зробимо.

A1.4 Статистичний аналіз мови

За допомогою теорії інформації Шеннона можливо обчислити певні кількісні характеристики мов. Одним із прикладів такої властивості єсередній інформаційний зміст букви, складу або слова.  У рівнянні (9) це числове значення позначається через H, ентропію.

1. Літери: якщо для простоти ми припустимо, що всі 26 букв плюс пробіл між словами зустрічаються з однаковою частотою, то ми маємо:

 H0 = lb 27 = log 27 / log 2 = 4,755 біт / літера (11)

 Відомо, що частота зустичальності різних літер характерна для досліджуваної нами мови. Ймовірність pі появи окремих літер і пробіл наведені для англійської та німецької мов в таблиці 1, а також середній інформаційний зміст на літеру H. При застосуванні рівняння (9) до різних частот літер Pі в німецькій мові середній інформаційний зміст (= ентропія) символу задається формулою  :

3H1= ∑ рі x lb (1/рі) = 4,112 95 біт / літера i=1 (12)

Відповідне значення для англійської мови H1 = 4,04577 біт на літеру. Ми знаємо, що ймовірність однієї букви не залежить від сусідніх літер. Q зазвичай слідує за u, а в німецькій мові n слід за e набагато частіше, ніж c або z. Якщо ми також розглянемо частоту пар літер (біграм) і триплетів (триграм) і т. д., як зазначено в таблиці 4, інформаційний зміст, як визначено Шенноном, статистично зменшується через зв'язки між літерами, і ми маємо:

Н0> Н> Н2> Н3> Н> ... > H ∞ (13)

З 26 літерами число можливих біграм становить 262 = 676, і може бути 263 - 26 = 17 550 триграм, так як три однакових літери ніколи не є послідовними. Беручи до уваги всі статистичні умови, Кюпфмюллер отримав наступне значення для німецької мови:

H ∞ = 1,6 біт/літера (14)

Для даної мови фактичне значення H0 набагато нижче максимального значення ентропії. Різниця між максимально можливим значенням Hmax і фактичної ентропією H, називається надлишковістю R. відносна надмірність обчислюється наступним чином:

r = (Hmaх - H )/Hmax (15)

Для письмової німецької мови r задається формулою (4,755 – 1,6)/4,755 = 66%. Бріллюен отримав такі значення ентропії для англійської мови:

H1 = 4,03 біт / літера

H= 3,32 біт / літера

H3 = 3,10 біт / літера

H∞ = 2,14 біт / літера

Ми знаходимо, що відносна надмірність для англійської мови, r = (4,755 – 2,14)/4,755 = 55% менше, ніж для німецької. На малюнку 32 надмірність мови позначена позиціями різних точок.

У мовах зазвичай використовують більше слів, ніж дійсно потрібно для повного розуміння. У випадку перешкод достовірність прийому підвищується, оскільки повідомлення зазвичай містять деяку надмірність (наприклад, нерозбірливо написані слова, втрата сигналів у разі телеграфного повідомлення, або коли слова не вимовляються належним чином).

2. Склади. Статистичний аналіз частот німецьких складів привів до наступного значення ентропії при обліку частоти їхнього зустрічання:

Hsyll = 8,6 біт/склад (16)

Середня кількість літер на склад складає 3,03, тому

Н= 8,6/3,03 = 2,84 біт/літера. (17)

Малюнок 36: частотні розподіли p(і) для різних мов, з яких можна вивести середнє число складів у слові. При дослідженні досить довгого тексту на мові виявляється характерна частота кількості складів у слові. Для багатьох мов найчастіше зустрічаються односкладові слова (наприклад, англійська, німецька та грецька), але для інших мов найчастіше зустрічаються двоскладові слова (наприклад, латинська, арабська та турецька). (p(і) — відносна частота зустрічальності слів, що складаються з i складів; i = середня кількість складів у слові.)

В. Фукс досліджував кількість складів у слові та знайшов цікаві частотні розподіли, які визначають характерні значення для різних мов.

Середня кількість складів у слові показана на малюнку 36 для деяких мов. Ці частотні розподіли були отримані з художніх текстів. Ми можемо знайти невеликі відмінності в різних книгах, але загальний результат не змінюється. В англійській мові 71,5% усіх слів є односкладовими, 19,4% — двоскладовими; 6,8% складаються з трьох складів, 1,6% — із чотирьох і т. д. Відповідні значення для німецької мови: 55,6%, 30,8%, 9,38%, 3,35%, 0,71%, 0,14%, 0,2%, і 0,01%.

Для англійської, німецької та грецької мов розподіл частот досягає максимуму в одному складі, але модус для арабської, латинської та турецької мов — два склади (мал.36). На малюнку 37 ентропія  HS ≡ Hsyllable будується по відношенню до середнього числа складів у слові для різних мов. З досліджуваних мов англійська має найменшу кількість складів у слові, а саме 1,4064, за ним слідує німецька (1,634), есперанто (1,895), арабська (2,1036), грецька (2,1053) та ін.  Середні значення ординат для складової ентропії складів різних мов були знайдені з допомогою рівняння (9), але слід зазначити, що ймовірність появи односкладових, двоскладових та ін. слів були використані для рі. Значення Hsyllable = 1,51, знайдене для німецької мови, не слід порівнювати зі значенням, отриманим з рівняння (16), оскільки використовується інший метод обчислення.

Малюнок 37: статистичні характеристики різних мов. Використовуючи рівняння 9, ми можемо розрахувати середній зміст інформації на склад, HS, для цієї мови. Це значення властиво мові, і при побудові різних графіків значень ми отримуємо розподіл, показаний на цій діаграмі.

3. Слова. Статистичні дослідження німецької мови показали, що половина всього письмового тексту складається тільки з 322 слів. Використовуючи ці слова, з рівняння (9) випливає, що слово ентропія, Hword = 4,5 біт/слово. Коли розглядаються тільки 16 найбільш часто використовуваних слів, які вже становлять 20% тексту, Hword виявляється рівним 1,237 біт/слово. Коли всі слова розглядаються, ми отримуємо приблизно 1,6 біт/літера, як зазначено в рівнянні (14). Середня довжина німецьких слів становить 5,53 літери, так що середній зміст становить 5,53 х 1,6 = 8,85 біт/слово.

Тепер повинно бути ясно, що деякі характеристики мови можуть бути описані в термінах значень, отриманих з теорії інформації Шеннона. Ці значення мають суто статистичний характер і нічого не говорять нам про граматику мови, або змісті тексту. Так само, як ефективний струм Ieff електричного входу, що постійно змінюється (наприклад, в якості керуючого параметра в складному технологічному експерименті) може бути обчислений, як статистична характеристика, можна також встановити аналогічні лінгвістичні властивості мов. Так само, як Ieff нічого не може сказати про базові концепції управління, і такі лінгвістичні характеристики не мають семантичної значущості.

A1.5 Статистичний синтез мови

Після розгляду статистичних аналізів мов у попередньому розділі виникає питання, чи можна було б генерувати чисто випадкові комбінації символів:

а) правильні пропозиції на даній мові

б) інформація (в самому повному розумінні цього поняття)

Малюнок 38: експерименти «синтез мови» для визначення того, чи може інформація виникнути випадково. Послідовності літер, складів і слів (включаючи пробіли) виходять за допомогою комп'ютерних програм. В якості вхідних даних використовувалися літери, всі поєднання букв, склади й слова (повний німецький лексикон). Їхні відомі частоти зустрічальності в німецьких текстах повністю враховані в цьому «мовному синтезі». Результуючі випадкові послідовності від А до Я не містять інформації, незважаючи на значні зусилля з програмування. Ці послідовності є семантичною нісенітницею та не відповідають ні одному аспекту реальності.

Наша відправна точка — мал. 38. Випадкові послідовності символів можуть бути отримані за допомогою комп'ютерної програми (1). Коли літери можуть зустрічатися з однаковою частотою, то виходять послідовності літер (висновок А на мал. 38), які зовсім не відображають найпростіших статистичних характеристик німецької, англійської, або будь-якої іншої мови. З погляду статистики, ми ніколи не отримаємо текст, який хоча б приблизно нагадував би морфологічні властивості цієї мови.

Можна піти ще далі, написавши програму (2), яка враховує фактичну частоту літеросполучень мови (в даному випадку німецької). Може статися так, що статистичні зв'язки між послідовними літерами будуть проігноровані, відповідно ми отримаємо наближення першого порядку. Приклад такої послідовності, наведений Карлом Кюпфмюллером, наведено в якості результату B, але жодне відоме слово не генерується. Якщо ми тепер забезпечимо облік імовірностей зв'язків між послідовними літерами, то отримаємо виходи C, D і E. Такі послідовності можуть бути знайдені за допомогою випадкових марківських процесів і називаються марковськими ланцюгами.

Програма (2) вимагає великих вхідних даних, які приймають всі групи літер (біграми, триграми і т. д.) з урахуванням, а також їхньої ймовірності появи німецькою мовою. Із збільшенням впорядкованості виникають синтетичні слова, деякі з яких можна розпізнати як німецькі слова, але такі структури, як «gelijkwaardig», «ryljetek» і «випадковість», все більше виключаються з програмування. Більш того, тільки підмножина морфологічно типових німецьких груп, що звучать, таких як WONDINGLIN, ISAR, ANORER, GAN, STEHEN і DISPONIN, є справжніми німецькими словами. Навіть у разі аппроксимаций більш високого ступеня можна запобігти утворенню слів, які взагалі не існують в мовному вживанні.

 Наступним кроком буде програма (3), в якій використовуються тільки фактичні німецькі склади та їхня частота зустрічальності. Потім, нарешті, програма (4) запобігає генерації груп літер, які не зустрічаються в німецькій мові. Така програма вимагає збереження повного словника, і частоти слів також враховуються (перше наближення). У якості другого наближення також розглядається ймовірність того, що одне слово слідує за іншим. Слід зазначити, що задіяні програми, а також об'ємні вимоги до даних містять багато ідей, але навіть у цьому випадку результати настільки ж мізерні, як і однозначні: у всіх цих випадках ми отримуємо «тексти», які можуть бути морфологічно правильними, але є семантичною нісенітницею.

Слово — це не просто послідовність лютер, але воно має номенклатурну функцію, яка відноситься до певного об'єкту (наприклад, Річард Левове Серце, Маттерхорн або Лондон) або класу об'єктів (тварина, автомобіль або церква) згідно з конвенціями мови. Кожна мова має свої власні угоди про найменування для одного й того ж об'єкта, як, наприклад, «HOUSE/будинок», німецький «HAUS», іспанська «CASA», французький «MAISON» і фінський «TALON». Крім того, одне слово також має значення у вузькому сенсі цього слова.

З іншого боку, речення описує ситуацію, умову або подію, тобто речення має загальний зміст. Він складається з різних окремих слів, але значення речення включає в себе більше, ніж просто послідовний ланцюжок значень слів. Відносини між змістом речення та значеннями слів, які воно містить, являють собою семантичну проблему, яка може бути досліджена лише в рамках тонко затінених значень мовних конвенцій, існуючих між відправником і одержувачем повідомлення.

Висновок: незважаючи на те, що використовуються повні набори груп літер, складів і слів, а також їхні, раніше встановлені, частотні розподіли, статистично отримані тексти, що генеруються різними системами програмування, не мають вирішальних критеріїв, які гарантували б, що послідовність літер містить реальне повідомлення. Такі критерії повинні бути виконані, перш ніж послідовності символів може бути надано статус інформації (повідомлення):

1. Значення, присвоєне відправником: набір символів повинен бути переданий відправником і повинен бути направлений на одержувача. (Якщо б описаний процес дійсно генерував послідовність літер типу «Я люблю тебе», я зміг би зрозуміти текст, але це все одно не інформація, оскільки вона не була передана кимось, хто любить мене.)

2. Істина, заснована на реальності:набір символів повинен містити дійсну істину, що відноситься до реального світу. (Якщо статистичний процес може привести до такого речення, як «Париж — столиця Франції», це правильно й вірно, але воно не має практичного значення, тому що воно не базується на реальному досвіді.)

3. Намір, що розпізнається: послідовність символів повинна бути цілеспрямовано інтенційною, тобто вона повинна бути концептуалізована відправником.

4. Орієнтований на одержувача: послідовність символів повинна бути адресована або спрямована на когось. (Коли надсилається лист або телеграма, відправник має на увазі цілком певного отримувача; книга має певну специфічну читацьку аудиторію; коли бджола виконує харчовий танець, важлива інформація передається іншим бджолам у вулику; інформація ДНК передається на РНК, яка потім призводить до синтезу білка.) Орієнтація на реципієнта також задіяна, навіть коли крім передбачуваного реципієнта є ще й цільова аудиторія (наприклад, ненавмисне прослуховування розмови в купе поїзда).

Теорема А2: випадкові послідовності літер або послідовності, отримані статистичними процесами, не містять інформації. Навіть якщо зміст інформації може бути розрахований відповідно до теорії Шеннона, реальна природа інформації досі ігнорується.

В історичних дебатах в Оксфорді в 1860 році між Семюелем Уілберфорсом (1805-1873) і дарвіністом Томасом Хакслі (1825-1895) останній заявив, що якщо мавпи будуть безладно стукати на друкарських машинках протягом досить довгого часу, то рано чи пізно вони надрукують псалом 23. Хакслі використовував цей аргумент, щоб довести, що життя могло виникнути випадково, але це питання легко вирішується за допомогою інформаційних теорем. З теорем, згаданих раніше, і теореми А2 випливає, що інформація тут взагалі не бере участь. Порівняння, на яке посилається Хакслі, не має ніякого відношення ні до інформації, ні до життя. Властивості інформації, показують, що Хакслі говорив про випадкові послідовності, але інформація не була залучена в цей аргумент про типізації мавп.Інформація не може виникнути в матерії у результаті випадкових процесів (див. Теорему 1).

 На питання а) і б), підняті вище, тепер можна відповісти однозначно:

 ― Синтезувати за допомогою статистичного процесу правильні речення, що підкоряються умовностям даної мови, можна тільки в тому випадку, якщо необхідні знання заздалегідь включені в дані (допустимі морфеми, склади й слова) і в програми. Ці програми вимагають величезних зусиль, і тоді навіть можна створювати речення, які підпорядковуються синтаксичним правилам мови. Навіть якщо якийсь сенс може бути приписаний послідовності слів, отриманих таким чином, він так само не може розглядатися, як такий що має «якість повідомлення», тому що він виник у випадковому процесі.

― Статистичні процеси не можуть генерувати реальну інформацію, або реальні повідомлення.


 Автор: доктор Вернер Гітт

Дата публікації: 18 червня 2009 року

 Джерело: Answers In Genesis


 Переклад: Горячкіна Г.

 Редактор: Недоступ А.


 Посилання:

 1. Повідомлення: в теорії Шеннона повідомлення не обов'язково має сенс, але воно відноситься до символу (наприклад, літері) або послідовності символів (наприклад, слова). У цьому сенсі поняття «повідомлення» навіть включене в систему стандартів DIN, де воно кодується як 44 300: «Символи й безперервні функції, які використовуються для передачі, які представляють інформацію відповідно до відомих, або передбачуваних угод».

 2. Значення очікування: значення очікування E ― це поняття, яке визначається для випадкових величин в обчисленні ймовірностей.  Сума Σ px g (xk), узята за всіма k одиничними значеннями, називається очікуваним значенням e розподілу ймовірностей, де g (x) - заданий дискретний розподіл з xу вигляді абсцис і pk у вигляді ординат (= ймовірність появи значень xk). Це значення також відоме, як середнє значення, або математична надія.

 3. Ентропія: це поняття було вперше введено в термодинаміку Рудольфом Клаузіусом близько 1850 року. Пізніше, в 1877 році, Людвіг Больцман (1844-1906) показав, що ентропія пропорційна логарифму ймовірності перебування системи в певному стані.  Оскільки формальний висновок математичних формул для фізичної ентропії аналогічний рівнянню (9), Шеннон (1948) також назвав цю величину ентропією. На жаль, використання одного й того ж терміну для позначення таких принципово різних явищ привело до багатьох помилкових висновків. Коли другий закон термодинаміки, який також відомий як теорема ентропії, легковажно застосовується до інформаційної концепції Шеннона, це тільки викликає плутанину. У термодинаміці ентропія залежить від температури, чого ніяк не можна сказати про інформаційну ентропію.

 4. Довжина слова: набір бітів, який обробляється як одиниця, називається «слово». Діапазон чисел, які можуть бути оброблені, а також кількість місць зберігання даних, які можуть бути адресовані, залежить від довжини та структури слова.

 


Написати коментар