Ласкаво просимо

Лекція 1. Теорія інформації та її концепції

2.1. Історія розвитку теорії інформації

2.2. Методологічні засади теорії інформації

2.3. Будова повідомлення

2.4. Концепції теорії інформації

2.5. Кодування інформації

2.6. Передача інформації

2.7. Носії інформації

2.1. Історія розвитку теорії інформації

Значення слова „інформація” (лінгвістичне): відомості, дані, знання.

Докібернетичний період.

Стан передачі інформації в суспільстві від моменту виникнення людства до рабовласницького ладу.

Історична довідка. Згідно з гіпотезою американського дослідника історії походження мови Г. Хьюза, запропонованій у 1973 р., звуковій мові людей передувала мова жестів, яка почала спонтанно виникати 3 млн. років до н. е. Потім мова жестів стала доповнюватися мовою 20…40 звуків. Лише за 100 тис. років до н. е. мова звуків остаточно витіснила мову жестів. Посилено розвиватися звукова мова почала лише останні 100…40 тис. років до н. е.

Першим підтвердженням цієї гіпотези служить те, що мови жестів мавп (шимпанзе використовують 200 жестів, а горили — 1000) і дітей у домовний – „сенсомоторний” – період збігаються.

Друге підтвердження гіпотези було отримано екпериментально. Так, коли мавпу навчали мові жестів людини (її навчали так, як навчають глухоніму людину), вона засвоювала близько 500 слів і досягала рівня розвитку п’ятирічної дитини. Мавпа спілкувалася цією мовою з людьми й іншими родичами-мавпами. При цьому мавпа навіть уміла робити узагальнення (на зразок: цитрина й мандарин — цитрусові) та ще й лаятися (так, знаючи слово „сміття”, мавпа вилаяла чоловіка, який роздратував її: „Ти — сміттєвий (тобто “брудний”) чоловік”.

Писемну мову фіксували на камені, вузликами, на корі, на шкірі тощо.

Стан інформації в суспільстві від рабовласницького ладу до розквіту капіталістичного ладу (початок 19 ст.).

Дослідження інформації розпочалося з виникнення телеграфу й дослідження проблем передачі повідомлень у ньому.

Сучасна теорія інформації виникла на основі математичної теорії зв’язку.

Мандруючи в 1832 р. через океан, Самюель Морзе розпочав створення першого телеграфного апарата. У першому варіанті на паперову стрічку виводились крапки й тире, які позначали слова із заздалегідь складеної таблиці дозволених для передачі слів (1837 р.). Це був однополюсний телеграф (струм є або нема).

У 1839 р. Морзе у сумісній роботі з Альфредом Вайлем відмовився від цього методу й запропонував той спосіб, який тепер називають азбукою Морзе. Тут букви позначають крапками, тире й паузами між ними (тире дорівнює тривалості трьох крапок). Пауза позначалася відсутністю струму, а крапки й тире — короткими й довгими імпульсами струму.

Коди літер були нерівновеликі, тобто чим частішою була літера, тим коротшим був її код (це вело до скорочення часу передачі повідомлень). Частоти визначалися на основі кількості літер у набірних касах.

У 1843 р. уряд США прийняв рішення про встановлення телеграфного зв’язку між Вашингтоном і Балтимором. Виявилося, що прокладання кабелю під землею та під водою веде до того, що сигнали можуть зливатися чи змінюватися (наприклад, крапка — на тире). Тому для прокладання було обрано стовпи, на які підвішували кабель.

На кабель, як виявилося, впливає магнітне поле Землі, яке викликає в ньому певні „паразитні” струми. Такі струми було пізніше названо шумами.

Пізніше телеграф удосконалили, а саме — його зробили двохполюсним: струму нема, стум іде в одному напрямі або в протилежному напрямі.

У 1855 р. особливості передачі сигналів розрахував Вільям Томсон (лорд Кельвін).

У 1874 р. Томас Едісон використав не тільки два різні напрями струму, а й додав до кожного напряму два різні значення. Але це вело до того, що ці значення стало важче розрізняти.

Нова хвиля досліджень розпочалася після винаходу в 1875 р. Олександром Грехемом Беллом телефона.

Великий вклад у проблему передачі сигналів зробив відомий математик Жозеф Фур’є, який запропонував математичний апарат для дослідження накладання сигналів один на одного (враховувалася амплітуда коливань, їх частота й хххх). Крім нього, проблемами передачі сигналів каналами електричного зв’язку займалися також відомі математики Анрі Пуанкаре, а також американський математик Гаррі Найквіст (у 1924 р. опублікував одну з базових статтей, де показав, як залежить швидкість передачі від кількості значень у сигналі). Найквіст також встановив, як правильно визначити максимально можливу швидкість передачі сигналів по каналу за 1 с.; він вказав, як правильно одночасно передавати по одному каналу і телеграфні повідомлення, і телефонні розмови; вказав, як залежить швидкість передачі від ширини діапазону використовуваних частот; вказав на наявну надлишкову складову в сигналі.

У 1928 р. американський дослідник Хартлі опублікував роботу „Передача інофрмації”. Він першим показав, що кількість інформації в повідомленні H ріна

H = n log2 s,

де n — кількість вибраних символів, а s — кількість різних символів у наборі, з яких роблять вибір. Ця формула справедлива тоді, якщо вибір символів рівноімовірний.

Під час Другої світової війни роботи в ділянці передачі інформації було перервано. Але з’явилася нова група задач: як по електричному сигналу від радіолокатора визначити, в якій точці через певний час буде літак, що зараз має якісь певні координати? Цю задачу вирішили російський математик А. Колмогоров і Н. Вінер (автор книги „Кібернетика”, 1948 р.).

Кібернетичний період.

Етап класичної імовірнісної теорії інформації К. Шеннона. У час війни проблемою передачі інформації зайнявся ще один відомий математик — Клод Шеннон. Він займався дослідженням того, якого типу сигнали потрібно посилати, щоби краще передати повідомлення певного типу по заданому каналу з шумами. Таким чином, було поставлено проблему ефективного кодування й надійного отримання повідомлення. Так виникла класична (імовірнісна) теорія інформації.

У повному викладі основні положення цієї теорії було опубліковано в 1948 р. у двох статтях.

Етап виникнення алгоритмічної та семантичної концепцій теорії інформації (А. Колмогорова, Р. Карнапа й І. Бар-Хіллела). Як виявилося, теорія інформації К. Шеннона фактично стосувалася лише передачі сигналів у технічних каналах зв’язку, а тому до другого значення слова інофрмація („знання”) вона мала доволі опосередковане відношення. Тому науковці вели дослідження для подолання вказаного недоліку. Результатом цих досліджень стало виникнення ще двох концепцій теорії інформації.

Перша з цих двох концепцій була опублікована в 1953 р. дослідниками Р. Карнапом та І. Бар-Хіллелом. Ця концепція була названа семантичною, оскільки передбачала визначення кількості інформації у твердженнях — конструкціях математичної логіки.

Друга концепція була опублікована в 1965 р. відомим російським математиком А. Колмогоровим. Вона отримала назву алгоритмічної, оскільки передбачала визначення кількості інформації на основі програми (і, відповідно, алгоритму), яка перетворює ордин об’єкт в інший.

Етап застосування теорії інформації в різних галузях науки й мистецтва. У період 50…70-х років почалося широке застосування класичної теорії інформації в найрізноманітніших галузях науки й техніки.

Якщо застосування класичної теорії інформації в техніці давало позитивні результати, то застосування її в науці (наприклад, лінгвістиці, психології, мистецтві тощо), як правило, давало негативні результати, оскільки не враховувалося основне — значення знаків (наприклад, слів).

Результатом стало те, що сам автор імовірнісної теорії інформації К. Шеннон назвав роботи із застосування створеної ним концепції теорії інформації до мови, психіки людини, творів мистецтва — необґрунтованим, а дослідників, які намагалися це зробити — „бандвагоном”.

Етап застосування теорії інформації в кібернетиці й промисловості (зв’язку). З 80-х років 20-го ст. починає широко розвиватися комп’ютерна (цифрова) мережа каналів зв’язку. На якісно новий рівень виходять канали телефонного зв’язку (вони також стають цифровими). Все це дає широке поле для застосування класичної теорії інформації К. Шеннона в техніці.

Новітні концепції теорії інформації. Незважаючи на широке застосування класичної теорії інформації, проблема інформації як знань залишається невирішеною. Тому науковці продовжують свої дослідження. У цьому напрямі йде ціла низка досліджень, виконаних на основі алгоритмічної теорії інформації.

2.2. Методологічні засади теорії інформації

Основні розділи теорії інформації. На сучасному етапі теорія інформації містить такі розділи як:
— аксіоматична база;
— принципи вимірювання кількості інформації;
— кодування інформації;
— передача інформації.

Пов’язаність інформації з процесами керування в кібернетичних системах. Найперше вкажемо, що інформація є лише там, де є процеси керування, а, отже, керуючі системи . Там, де керуючих систем нема (наприклад, у неживій природі), інформації не існує. Тому відбиток коліс автомобіля на ґрунтовій дорозі — це лише відображення, але не інформація (інформацією цей відбиток може бути лише для керуючих систем — живих істот, комп’ютерів тощо).

Кібернетична система містить: керуючу підсистему й керовану підсистему.

Керуюча підсистема передає керованій підсистемі певну інформацію, що реалізується у вигляді сигналу чи їх ланцюжків (повідомлення). Керована підсистема здійснює зворотний зв’язок, надсилаючи керованій підсистемі свою реакцію — інформацію (повідомлення) про свій стан (змінений чи такий, що й був до передачі інформації керуючою підсистемою). Відповідно, керуюча підсистема повинна враховувати інформацію, надіслану в зворотньому зв’язку, й при потребі повинна вносити зміни в ті сигнали, що надсилаються керованій підсистемі.

Кібернетична система містить:
— пристрої для збору інформації;
— пристрої для кодування/декодування інформації;
— пристрої для передачі інформації;
— пам’ять для зберігання інформації.

Виділяють так основні види керуючих систем:
— механічні;
— електричні;
— електронні (комп’ютерні);
— біологічні (в тому числі людина);
— соціальні.

Класична схема передачі повідомлення.

Джерело інформації — безпосередньо генерує інформацію. Джерелом інформації може, наприклад, бути: людина, точніше — її мозок; комп’ютер космічного корабля, що посилає сигнали з поверхні Місяця; комп’ютер, що автоматично генерує листи-відповіді на серверах електронної пошти тощо.

Передавачем інформації можуть бути органи мовлення людини (голосові зв’язки, ротова й носова порожнини, язик, зуби, губи тощо). Передавач інформації виконує функціє кодування інформації (перетворює інформацію в коливання повітря) й передає її в канал зв’язку.

Передача інформації відбувається у формі окремих сигналів. Сигнал — це зміна стану речовини чи поля, що передається на певну віддаль. Сигнал може бути електричний, хімічний, механічний, аудільний, візуальний, гравітаційний тощо. У порівняно простих кібернетичних системах ланцюжки сигналів безпосередньо утворюють повідомлення, а в складніших — об’єднуватися в образи, з яких складаються повідомлення. Образ — це множина вхідних сигналів, що відображають один фрагмент світу й записані в сенсорну пам’ять скануючого пристрою кібернетичної системи.

Канал передачі інформації — це речовина або поле, які під впливом зовнішніх факторів можуть змінювати свої фізичні властивості в часі чи просторі. Канал зв’язку має вхід і вихід. У каналі зв’язку на сигнал впливають шуми, які частково спотворюють цей сигнал. Тому отримувач інформації може отримати не той сигнал, який передало джерело інформації.

Приймач інформації виконує такі функції: отримує повідомлення, для чого потрібні певні запам’ятовуючі пристрої для нагромадження сигналів, та проводить її розкодування (наприклад, перетворює коливанням повітря в певні біофізичні сигнали, присвоює їм певні звуки мови, а звукам — слова тощо). Приймачем інформації в людини є, наприклад, органи слуху, зору, нюху, смаку, тактильні аналізатори.

Отримувач, одержавши розкодоване повідомлення (слова), зіставляє сигнали з наявними у внього образами, групує ці образи й у такий спосіб отримує з них певну інформацію. У людини отримувачем інформації є мозок.

Аксіоми, закони, визначення й одиниці вимірювання інформації.

Аксіоми.
Аксіоматична база сучасної теорії інформації поки що несформована. Річ у тім, що кожна її концепція може висунути свою множину таких аксіом.

Проте, незважаючи на різні підходи до формування такої аксіоматичної бази, можна було б, на нашу думку, сформулювати такі аксіоми, що не залежать від різних концепцій.

Аксіома 1: інформація має ідеальний характер. Проілюструвати цю аксіому можна в такий спосіб. Колись відомий письменник Б. Шоу наводив такий приклад: коли в когось є яблуко, й він передає його іншому, то після цього яблука в нього вже немає; коли в когось є якась думка [тобто інформація. — П. З.], й він повідомляє її іншому, то після цього ця інформація є вже у двох. Від себе додамо, цю думку можна повідомити не одному, а безконечній кількості отрмимувачів інформайції. Якби інформація була матеріальним об’єктом, як яблуко, її можна було б передати лише одній людині; той факт, що інформацію можна передати безконечну кількість разів, підтверджує, що інформація має ідеальний характер. А

ксіома 2: інформації зберігається і передається тільки на матеріальному носії. У наш час інформація передається або на матеральних носіях (раніше — на камені, корі, вузликами тощо; зараз — на папері, дисках тощо) або коливаннями поля (електромагнітного, гравітаційного тощо). Наприклад, одна людина передає інформацію іншій у разі використання усної природної мови за допомогою коливань повітря. Іншого способу людство не виявило.

Аксіома 3: інформація існує тільки в кібернетичних системах. Якщо немає процесу керування, а, отже, кібернетичної системи, то інформації не існує. Наприклад, сам по собі відбиток шини автомобіля на розмитій польовій дорозі є лише відображенням, а не інформацією. Інформацією це відображення може стати лише тоді, коли його сприйматиме якась кібернетична система, наприклад людина. Це зовсім не заперечує того, що в неживій природі не передається інформація, як наприклад, у різних видах механічних систем, тих же ж двигунах.

Аксіома 4: чим менша імовірність якоїсь явища, тим більше інформації воно несе, і навпаки. Розглянемо два повідомлення: 1) громадянин N прокинувся о восьмій годині ранку й побачив поруч зі собою будильник; 2) громадянин N прокинувся о восьмій годині ранку й побачив поруч зі собою слона. Інтуїтивно зрозуміло, що друге повідомлення несе значно більше інформації, ніж перше, оскільки імовірність його появи вкрай мала. Ця аксіома лежить в основі такого добре відомого правила працівників ЗМІ, які всі найбільш сенсаційні події виносять або на початок передач, або на пршу сторінку видань.

Хоча описані нижче концепції теорії інформації базуються на зовсім різних принципах вимірювання кількості інформації в повідомленнях, проте всі вони враховують закономірність, сформульовану у четвертій аксіомі теорії інформації, вказаній вище.

Закони.
Закон 1: на отримання інформації кібернетична система повинна затратити певну кількість енергії.

Для отримання інформації слід витрачати енергію, кількість якої для кожної керуючої системи є обмеженою. Так, за наявними даними, для отримання одного біта інформації теоретично потрібно затратити 0,693 kT дж енергії (на практиці ці затрати завжди значно більші) . Якби керуючі системи мали або надзвичайно довгі за місцем у пам’яті (як екстремум — безконечні) або довготривалі в часі (як екстремум — безконечні) програми розпізнавання, то вони або не змогли б функціонувати, або завжди опинялись би в стані поразки, що визначає саму можливість їх функціонування. У біологічних системах цьому протидіє інстинкт самозбереження.

Сформульований принцип не заперечує того, що в різних системах програми розпізнавання одного й того ж образу можуть мати відмінні довжину та час виконання.

Закон 2: будь-яка інформація впливає на її отримувача.

Вплив може реалізуватися різними шляхами: а) шляхом запам’ятовування інформації і її використання у наступних діях кібернетичної системи в тому випадку, коли ця інформація стає цінною щодо життєдіяльності системи; б) шляхом забування цієї інформації (стирання з пам’яті).

Якщо інформація не впливає в даний момент на отримувача, то вона обов’язково вплине тоді, коли виникне ситуація її недостатності (про недостатність див. нижче).

Визначення інформації.

Традиційно під інформацією (від латинського informatio — роз’яснення, виклад, обізнаність) розуміють “одне з найзагальніших понять науки, яке означає певні відомості, сукупність якихось даних, знань і т. ін.” . Проте очевидно, що таке визначення не можна сприймати як наукове, оскільки воно містить явну логічну помилку (визначення невідомого через невідоме), визначення інформації через відомості, дані, знання, що також вимагають визначень (пов’язані з цим помилки див. у будь-яких тлумачних словниках).

Даючи визначення інформації, найперше потрібно враховувати, що воно повинно охоплювати всі можливі типи кібернетичних систем. Тому запропонуємо визначення цього терміна, а далі перевіримо його на низці прикладів із різними кібернетичними системами — від найпримітивніших (механічних) до найскладніших (людини).

Отже, враховуючи пов’язаність інформації з поняттям знятої невизначеності (ентропії), дамо їй таку дефініцію: інформація — це знята невизначеність, яку кібернетична система у своїй пам’яті декодує та зберігає. Тут невизначеність — це стан, коли кібернетична система повинна отримати інформацію (сигнал), але час його надходження або його зміст в цей момент часу є невідомими.

Перевіримо це на прикладі з механічною системою (наприклад, паровий двигун). Справді, в керованій підсистемі приймач інформації перебуває в стані невизначеності й очікує надходження сигналу, що несе лише один біт інформації. Після надходження певного сигналу інформація про нього передається в керовану підсистему, невизначеність приймача зникає, і він знову переходить у стан невизначеності до моменту надходження нового сигналу. При цьому інформація зберігається в пам’яті підсистеми лише на час передачі інформації (після передачі інформації вона стирається). Отже, такі системи мають лише короткочасову пам’ять, в якій сигнал запам’ятовується лише на час передачі інформації.

Складніші типи систем (наприклад, клітини, електронні мікросхеми — чіпи) можуть отримувати не тільки один конкретний сигнал, а й цілі їх ланцюжки (значно більшу, ніж біт кількість інформації — десятки чи сотні біт інформації). При цьому, оскільки такі системи вже володіють довгочасовою пам’яттю, то така невизначеність вже відображається, тобто з кортокочасової може передаватися в довгочасову пам’ять. Тому стосовно таких систем можна вже говорити, що для них знята невизначеність (сигнал, що несе лише один біт інформації) фактично є групою сигналів, тобто відображеною різноманітністю. Отже, можна сказати, що для для такого типу систем інформація — це відображена різноманітність, яку кібернетична система в своїй пам’яті декодує та зберігає.

Ще складніші типи систем (наприклад, сучасні ком’ютери, біологічні системи — тварини, люди) можуть сприймати й опрацьовувати не тільки групи сигналів, а й цілі їх комплекси. Для таких систем сигналами (відображеною різноманітністю) стають образи, що містять уже тисячі, десятки чи сотні тисяч біт інформації. Такі сигнали (образи) опрацьовуються в спеціальному підвиді короткочасової пам’яті — сенсорній вже за зовсім іншим принципом (наприклад, як у нейрокомп’ютерах). При цьому процедура декодування сигналу перетворюється в значно складнішу процедуру — розпізнавання образу. Отже, для складних типів систем інформація — це відображені образи, які кібернетична система в своїй пам’яті розпізнала та зберігає.

Звертаємо тут увагу на дві особливості. Перша та, що нерозпізнані образи інформацією не є (вони залишаються лише тлом (фоном) в органах сприйняття системи). Друга особливість та, що не всі образи мусять бути відображеними. Річ у тім, що складні системи, як наприклад людина, можуть самогенерувати образи, які можуть і не бути відображенням реального світу (наприклад, людини в стані галюцинацій може генерувати такі образи). Очевидно, що такі образи також несуть певну інформацію.

Повертаючись до поданого вище псевдовизначення інформації як відомостей, даних, знань тощо, тепер можна сказати, що в отриманій інтерпретації (інформація як образ) вона вже збігається з поданим псевдовизначенням. Справді, відомості, дані й знання можна передати за допомогою ланцюжків образів, якими є, наприклад, знаки, хоча б тіж лінгвістичні — слова.

У наш час теорія інформації в основному займається тим значенням, яке базується на понятті „знята невизначеність”. На друге значення цього терміну („відомості, знання”) спрямовано багато сучасних досліджень, проте вагомих результатів у цьому напрямі поки що немає. Запропонований вище підхід може бути одним з можливих підходів до роз’язання цієї проблеми.

Одиниці вимірювання кількості інформації.

У літературі вказують, що одиницею вимірювання інформації є біт. При цьому йому дають таке визначення: біт — це кількість інформації, яку отримує кібернетична система на запитання, що передбачає лише два можливі варіанти відповіді [так (1) або ні (0)]. Типовим прикладом може служити запитання: “Ви вмієте їздити автомобілем”. Варіантів відповіді може бути лише два: так (1) або ні (0).

У наш час в електроніці біти об’єднують у байти — елементи з восьми бітів, що зроблено суто з практичних міркувань, хоча кількість бітів у байтах може бути й зовсім іншою. Інші одиниці: кілобайти, мегабайти, гігабайти, терабайти.

2.3. Будова повідомлення

Повідомлення — це ланцюжок сигналів визначеної довжини, що позначають (кодують) певну інформацію.

Структуру повідомлення M можна записати як множину сигналів:

M = ,
де Oi — сигнал, а i — його порядковий номер (i = 0, 1, 2, 3 … n). Для випадку, коли i = 0, маємо порожнє повідомлення.

Образи повідомлення можуть певним чином об’єднуватися й утворювати групи — слова, речення тощо. При потребі сигнали можуть об’єднувати в певні групи (наприклад, у байти — по 8 бітів). Такий метод використовують у комп’ютерній техніці.

Структура незнакового повідомлення.

Незнакова інформація не має конвенціонального характеру. ЇЇ струтура відповідає тій, що вказана вище, тобто:

M = ,

Прикладом може служити генетична інформація, що предається певними видами клітин.

Структура знакового (вербального) повідомлення з позиції логіки.

Інформаційні одиниці й рівні. Знакова інформація завжди є конвенціональною, тобто такою, що передбачає угоду між передавачем і приймачем інформації про способи позначення фрагментів світу певними кодовими образами.

У структурі повідомлення доцільно виділити три рівні: слів (з позиції логіки — знаків, що позначають поняття), речень (простих без однорідних членів; з позиції логіки — тверджень) та сюжету (з позиції мови — надфразних єдностей, блоків, дискурсу; з позиції логіки — безпосередніх виводів, силогізмів, полісилогізмів). Таке виділення повністю відповідає рівням логічного аналізу тексту, де також виділяють три рівні (понять, тверджень та висновків).

Для порівняння вкажемо, що з позицій лінгвістики в повідомленні виділяють вісім рівнів: фонем (літер), морфем, слів, словосполучень, речень, надфразних єдностей, блоків та дискурсу. Проте така ієрархія поки що не може бути використана для потреб теорії інформації, оскільки є надто складною.

Структура слова.

Внутрішня структура слова. Кожне слово як будь-який вербальний знак включає чотири компоненти (див. рис. 1): 1) кодовий образ (код) номена — ланцюжок літер чи звуків; 2) еталонний образ фрагмента світу, тобто значення цього номена; 3) відображений образ фрагмента світу, тобто об’єкта чи їх групи, ознаки, процесу, відношення, часу, місця, кількості і т. д.; 4) посилання на фрагмент світу.

Приклад. Скажімо, в українській письмовій мові існує номен, що має такий кодовий образ (код): <я, б, л, у, к, о>. Цей кодовий образ позначає об’єкт фрагмента світу, наприклад, якесь конкретне яблуко. Відображеним образом цього номена може бути “фотографія” такого конкретного яблука, що з’являється в пам’яті керуючої системи в момент сприймання номена. Еталонним образом цього номена буде зображення типового яблука (наприклад, зображення яблука в ілюстрованому словнику). На основі еталонного образу керуюча система може розпізнати відображений образ конкретного яблука на “фотографії”, що є в пам’яті системи.

Приклад. Припустімо, існує злочинець Іваненко. Тоді фрагментом світу є сам Іваненко, кодовим образом — літери <І, в, а, н, е, н, к, о>, відображеним образом — фотографія Іваненка, а еталонним образом — його фоторобот.

Зовнішня структура слова визначається тим, у які відношення вступає кожне конкретне слово з іншими словами. Ці відношення задають такі словники, які називають тезаурусами.

За однією з моделей структури тезауруси мають ієрархічну будову. На найвищому рівні такого словника (залежно від світогляду укладача) може стояти, наприклад, слово “Бог” чи “матерія”. Далі всі слова можуть бути поділені на назви: об’єктів, ознак, процесів, відношень, одиниць часу, місць, кількостей і т. д. Назви об’єктів, припустімо, можуть бути поділені на назви ідеальних об’єктів та матеріальних. Серед останніх може бути слово фрукти, а серед слів, що належать до фруктів, — слово яблуко.

Структура речення.

Структура типового простого речення Sj (j = 1, 2, 3 … m):

Sj = MjTjLjKj[Pj(Xj1 … Xjn, Yj1 … Yjp)], (6)
де Mj — квантор світу (значення: реальність, псевдореальність (тобто імовірна реальність), ірреальність, невизначеність);
Tj — квантор часу на однонапрямленій прямій (значення: завжди, на відрізку часу, в точці — моменті — часу, невизначеність);
Lj — квантор місця в тривимірному просторі (значення: всюди, частина простору, точка простору, невизначеність);
Kj — квантор кількості (значення: всі, деякі, один, невизначеність);
Pj — предикат твердження;
Xj1 … Xjn — змінні твердження (i = 1, 2, 3 … n), які в реченні відіграють роль підметів (суб’єктів дії).
Yj1 … Yjp — змінні твердження (h = 1, 2, 3 … p), які в реченні відіграють роль прямих додатків (об’єктів дії).

У цій структурі змінні (Xi, Yh) відтворюють іменники з прикметниками; R — предикат — дієслово з прислівниками; K — квантор кількості — числівники; L — обставину місця — найчастіше прислівники, іменники з прийменниками чи самі прийменники; T — обставину часу — найчастіше прислівники, рідше прислівники з іменниковими конструкціями; M — відношення до дійсності — найчастіше вставні слова.

Приклад. Речення, яке відтворює структуру типового речення за формулою (6): Справді, вже два роки в нашому університеті двоє чудових хлопців безнадійно кохають смагляву темноволосу дівчину.

Сучасна логіка предикатів часто використовує в твердженнях квантор кількості, якому найчастіше дають такі значення: всі, деякі (тут під словом “деякі” розуміють будь-яке число), один, невизначено.

Найперше з модальних логік для моделювання структури простого речення — за аналогією до теорії можливих світів — використаємо вказаний квантор світу (M) зі значеннями: реальність, псевдореальність, ірреальність, невизначеність.

Значення реальність описує реальний (дійсний) світ. Стосовно будь-якого твердження, яке описує цей світ, можна сказати, що воно є або істинним (істинність дорівнює 1), або хибним (істинність дорівнює 0).

Значення псевдореальність описує псевдореальний (імовірно реальний), або фіктивний, світ . Кожне з таких тверджень стосовно реального світу, як правило, є хибним; проте, коли в ньому замість існуючих значень змінних підставити інші, то таке твердження може стати істинним у реальному світі. Щодо таких тверджень будемо вважати, що їх істинність стосовно реального світу перебуває в межах 0,0 … 1,0, тобто є імовірною, причому, чим менше підстановок слід робити у твердженні, тим ступінь цієї ймовірності вищий. Сюди ж слід віднести всі гіпотетичні щодо реального світу твердження.

Значення ірреальність описує ірреальний світ. Такі твердження стосовно реального світу завжди є хибними, оскільки в реальному світі нема таких змінних і/чи предикатів, які вжиті в цих твердженнях. Стосовно реального світу істинність таких тверджень завжди дорівнює 0. Приклад ірреального світу — казки.

Значення невизначеність описує невизначений світ. Стосовно будь-якого твердження невідомо, який зі згаданих вище трьох світів воно описує, а тому говорити про його істинність — безпідставно.

Приклад. Невизначене повідомлення: Рятувальна команда розшукала в морі шхуну, яка ще годину тому подавала сигнали “SOS”. Проте екіпажу на кораблі рятівники не виявили. Рятівникам лише вдалося знайти пляшку з повідомленням про напад на екіпаж шхуни космічного корабля.

Далі введемо з темпоральної логіки квантор часу (T) і запропонуємо такі його значення: завжди, упродовж (тобто відрізок часу), момент часу (тобто точка в часі), невизначено. Введемо з ситуативної логіки квантор місця (L) і запропонуємо такі його значення: всюди, частина простору, точка простору, невизначено.

Для моделювання структури простого речення можна використовувати й інші модальні логіки. Наприклад, епістемічну логіку (значення квантора: доведено, спростовано, знаю, вірю…), деонтичну логіку, тобто логіку норм (значення квантора: дозволено, обов’язково, заборонено…), алетичну логіку (значення квантора: необхідно, можливо, випадково…), оцінювальну логіку (значення квантора: добре, посередньо, погано…), логіку бажань (значення квантора: хочу, можу, не хочу…), імовірнісну логіку (значення квантора вказує на ступінь істинності того, що стверджується предикатом, і перебуває в межах від 0,0 до 1,0) тощо.

Приклад. Речення з переліченими модальностями:
— з квантором епістемічної логіки: Вірю, що один чудовий хлопець одружиться зі смаглявою темноволосою дівчиною;
— з квантором деонтичної логіки: Заборонено, щоби два хлопці одружувались із однією дівчиною;
— з квантором оцінювальної логіки: Це прекрасно, що один чудовий хлопець одружився зі смаглявою темноволосою дівчиною.

Структура сюжету. Для передавання більших, ніж речення, порцій інформації їх об’єднують спеціальними зв’язками (сполучниковими) у ланцюжок — сюжет. Сюжет фіксованої довжини утворює повідомлення. У мовознавсті повідомленню відповідає окремий текст , в програмному забезпеченні електронних керуючих систем — база даних чи окремий файл, у програмуванні — програма як єдине ціле.

Щодо зв’язків, то їх є обмежена кількість. Наприклад, в логіці виділяють такі зв’язки (тут їх називають сполучниками): І, АБО, НЕ, ЯКЩО… ТО . Такі зв’язки можна задати як дескриптори на певній осі. В цьому випадку їх також можна розглядати як образи, що мають свою окрему сферу застосування. Останній сполучник вказує на кінець повідомлення.

Подамо приклад структури повідомлення:

M = S1  S2  S3  …  Sm ○ , (8)
де M — повідомлення, Sj — j-е речення, а  — сполучники (логічні оператори); ○ — останній сполучник.

У реальних текстах найчастішим сполучником є І, причому, як правило, порожній. Роль такого порожнього сполучника на границях речень виконує крапка, знак оклику, знак запитання, всередині складнопідрядного речення — кома, а також інші лінгвістичні засоби (трикрапка тощо). Інші сполучники, як правило, задають явно.

Останній сполучник (іноді він є порожнім) свідчить про кінець повідомлення (у лінгвістиці це кінець будь-якого тексту — оповідання, повісті роману, статті тощо, — а в програмному забезпеченні — кінець файла, програми чи бази даних).

Структура знакового (вербального) повідомлення з позиції лінгвістики.

Одиниці мови й текстів показано в табл. 1.

Таблиця 1

Одиниці мови й текстів

Рівні	Мова	Тексти
	усна	писемна	усні	писемні
Фонемно-графемний	фонеми	графеми (літери чи лігатури —залежно від мови)	мовні звуки	графеми (літери чи лігатури — залежно від мови)
Морфемний	морфеми (ланцюжки фонем)	морфеми (ланцюжки літер або лігатур чи ієрогліфи —залежно від мови)	морфи (ланцюжки мовних звуків)	морфи (ланцюжки літер або лігатур чи ієрогліфи —залежно від мови)
Лексемний	лексеми (ланцюжки морфем)	лексеми (ланцюжки морфем)	фонослова (ланцюжки морфів зі службовими словами)	словоформи (ланцюжки морфів)
Синтаксичний-1	непредикативні синтаксичні конструкції (синтаксеми-1)	непредикативні синтаксичні конструкції (синтаксеми-1)	синтагми (ланцюжки фонослів)	словосполучення (ланцюжки словофрм)
Синтаксичний-2	предикативні синтаксичні конструкції (синтаксеми-2)	предикативні синтаксичні конструкції (синтаксеми-2)	фрази, або висловлювання (ланцюжки синтагм))	речення (ланцюжки словосполучень)
Надфразний	—		надфразні єдності	надфразні єдності
Блоковий	—		блоки	блоки
Дискурсний	—		дискурс	дискурс

Одиниці, що мають однакову будову й характеристики, утворюють один лінгвістичний рівень, як у мові, так і тексті.

У мові маємо п’ять рівнів (фонемно-графемний, морфемний, лексемний, синтаксичних непредикативних і предикативних конструкцій). Можливо, у мові існують ще й вищі рівні, як у тексті (див. про це далі), проте наукові дослідження одиниць на цих рівнях поки що не проводили.

У текстах, крім вказаних, як у мові, п’яти рівнів, з’являються ще три додаткові, які утворюються внаслідок об’єднання (агрегації) речень у більші єдності (одиниці). Внаслідок цього утворюються рівні надфразних єдностей (НФЄ), блоків і дискурсу (див. визначення одиниць цих рівнів далі). Таким чином, у тексті виділяють вісім рівнів.

2.4. Концепції теорії інформації

2.4.1. Імовірнісна (класична) концепція теорії інформації

Класична теорія інформації Р. Хартлі та К. Шеннона базується на теорії ймовірностей (далі — імовірнісна ТІ) . Кількість інформації для рівноймовірних завершень випробувань в цій теорії вимірюється як логарифм від кількості можливих варіантів (N) завершення випробування:

I = log2 N = log2 mn = n log2 m, (1)
де N — кількість можливих варіантів завершень випробування, тобто кількість можливих повідомлень; n — кількість розрядів у повідомленні (наприклад, 3); m — кількість символів в алфавіті (наприклад, два: 0 та 1).

Одиницею вимірювання кількості інформації служить біт.

Ця основна формула була вдосконалена К. Шенноном для випадку, коли завершення подій не є рівноймовірним: оскільки формула (1) Р. Хартлі I = log N внаслідок звичайних математичних перетворень дорівнює I = - log (1/N), де (1/N) є ймовірністю (p) завершення випробовування, то можна записати, що I = - log p. Якщо ж завершення подій нерівноймовірне, то для варіанту завершення i кількість інформації в ньому становитиме:

Ii = - pi log2 pi. (2)

Застосування цієї формули показує, що чим менша ймовірність завершення варіанту i певного випробування, тим більше інформації він несе.

Кількість інформації у всіх випробуваннях експерименту визначають як арифметичну суму по всіх завершеннях i.

Ця математична модель досконало працює для тих випадків, коли мова йде про кодування інформації, тобто при передачі інформації каналами зв’язку чи її зберіганні на носіях інформації. Проте вона зовсім не працює, коли йдеться про визначення кількості інформації в об’єктах, позначених цими кодами. Покажемо це на прикладах.

Приклад. Визначаючи кількість інформації в літері Р, ця теорія зовсім не аналізує, що ця літера, по-перше, складається з двох компонентів: прямої лінії та півкола; по-друге, пряма та півколо з’єднані між собою; по-третє, товщина лінії, яка утворює півколо, в різних точках є різною; по-четверте, пряма лінія нахилена під певним кутом тощо.

Приклад. Вимірюючи кількість інформації у слові мама, ця теорія визначає лише кількість інформації в літерах цього слова, тобто Iмама = (-pм log pм) + (-pа log pа) + (-pа log pа) + (-pм log pм), проте зовсім не визначає, скільки інформації міститься в значенні цього слова (мама — людина, мама — жінка, мама — має двоє очей, ніг, рук і т. д., а конкретна моя мама має ще й певний вираз обличчя, колір очей, ріст, вагу тощо). Зрозуміло, що семантична інформація (що таке мама), тут повністю проігнорована, так само, як інші види інформації, що є в текстах — синтаксична, стилістична, граматична тощо .

Приклад. Візьмемо дві сторінки газети. На першій — всі літери записані в ланцюжки на основі даних генератора випадкових чисел (з врахуванням частот появи літер і впливу на них контексту як це має місце в реальних текстах); в ілюстраціях піксели (з чорним чи білим зображенням) записані на площині в порядку, заданому на основі того самого генератора випадкових чисел. При цьому вказана сторінка нічого спеціально не шифрує, тобто ключа до її розшифрування в принципі немає. На другій сторінці газети — осмислені тексти; ілюстрації є фотографіями об’єктів реального світу. Коли порівняти кількість інформації на цих двох сторінках за Шеннонівською теорією інформації, то виявиться, що вони є практично однаковими, хоча кожна людина з власного досвіду знає, що це не так.

Важливими вадами цієї теорії є те, що вона:
а) стосується вимірювання кількості інформації лише в технічних пристроях — каналах зв’язку та носіях інформації (наприклад, пам’яті комп’ютерів) тощо ;
б) не має методів, які давали б можливість виміряти кількість інформації стосовно тих подій, які вже відбулися, оскільки їх імовірність завжди дорівнює одиниці (в цьому випадку I = 0);
в) не має методів, які давали б змогу виміряти кількість семантичної інформації не тільки в словах, реченнях, текстах, а й загалом у будь-яких знаках, що позначають образи (наприклад, географічних картах).

2.4.2. Алгоритмічна концепція теорії інформації

Кількість інформації за теорією інформації, що базується на алгоритмах перетворення (далі — алгоритмічна ТІ ), вимірюється як довжина програми, що дає змогу перетворити об'єкт A в об'єкт B, тобто

I = L[G(A,B)], (3)
де L – функція отримання довжини програми (в байтах чи бітах), а G – програма перетворення.

У поданому вище прикладі алгоритмічна ТІ дасть цілком інший результат. Згідно з її методикою кількість інформації в літері Ф стосовно Р буде рівною, наприклад, кількості байтів програми, яка перетворює літеру Ф в Р. Тут, правда, можливі різні результати залежно від того, що вибрати за елемент перетворення: коли цілі літери, то кількість інформації буде найменшою; коли стандартизовані елементи літер — середньою; коли піксели — максимальною. Виміряти ж кількість інформації в будь-якій літері, взятій окремо, взагалі неможливо, хіба що порівнювати її з пробілом. Розглядати ж можливість перетворення літери на себе саму немає сенсу, оскільки тоді довжина програми перетворення рівна нулю, а, отже, й кількість інформації в ній виявиться також рівною нулю.

Спосіб вимірювання кількості інформації в значенні слова мама за цією теорією — невизначений (на нашу думку, неможливий).

Вадами цієї теорії є те, що вона:
а) в методі вимірювання як параметр використовує довжину алгоритму, який залежить від кількості “будівельних елементів”, що дають змогу перетворити один об’єкт на інший (чим дрібніші “будівельні елементи”, тим довшою виявляється програма перетворення для однієї й тієї ж пари об’єктів);
б) не має методу, який дає змогу виміряти кількість інформації в одному об’єкті, оскільки для вимірювання їх завжди потрібно як мінімум два;
в) не враховує, що одна й та ж програма може бути призначена для перетворення не одного, а цілого класу об’єктів; при цьому така програма матиме сталу довжину, хоча для різних об’єктів кількість виконаних команд може бути різною.

Образна концепція теорії інформації як різновид алгоритмічної концепції теорії інформації.

У будь-якому повідомленні M кількість інформації в образі O (Io) будемо вимірювати за напівемпіричною формулою, яка узгоджується з положеннями інформаційних підходів А. Колмогорова:

Io = q-1 L[G(O1, O2)], (3-7)
де q — ймовірність правильного розпізнавання образу O1 кібернетичною системою;
L — функція отримання довжини розгорнутої програми;
G — програма розпізнавання образу, біти;
O2 — еталонний образ кібернетичної системи.

Тут імовірність q визначається апостеріорно, за допомогою багаторазових експериментів.

Для простішого оперування у формулі (3-7) величину L[G(O1,O2)] позначимо як Q, тобто приймемо, що L[G(O1,O2)] = Q. Тоді формулу (3-7) можна скорочено записати як

Io = q-1 Q. (3-8)

Саме в такому вигляді й користуватимемося цією формулою далі.

Інтерпретація інформації як розпізнаного образу.

Нерозпізнані образи не є інформацією. Такі образи — це лише відображення.

Приклад. „Далі в книзі він [Тарзан. — П. З.] знайшов кілька маленьких мавп… Спочатку Тарзан намагався зняти пальцями маленькі фігури зі сторінок, але швидко зрозумів, що вони не справжні… Пароплави, потяги, корови і коні не мали для нього ніякого змісту, вони ковзали повз його увагу і не хвилювали його… Але що особливо зацікавило Тарзана і навіть збивало його з пантелику, це численні чорні позначки внизу і між розфарбованими картинками, — щось наче комашки, подумалося йому, - бо в багатьох з них були ноги, але у жодної з них не було ні рук, ні очей. Це було його перше знайомство з літерами алфавіту” .

2.4.3. Семантична концепція теорії інформації

Вимірювання кількості інформації в семантичній теорії інформації, що базується на фігурах математичної логіки (логічна ТІ) , можливе лише для тверджень за формулою

I = log2 F(S), (4)
де F – функція отримання кількості інформації, що залежить від кількості можливих станів у складових (змінних і предикатах) твердження; S – саме твердження.

Знову повернемося до нашого прикладу. В цій теорії виміряти кількість інформації в літері Р або в значенні окремого слова мама взагалі неможливо, оскільки літера чи слово подані окремо, поза складом тверджень.

Вадами цієї теорії є те, що вона:
а) не дає можливості виміряти кількість інформації як у словах (семантичну інформацію ), так і в тексті (тобто інформацію, що є в тексті за межами тверджень);
б) не дає можливості виміряти кількість невербальної інформації, що свідчить про її незаперечну обмеженість.

Близькою за своєю суттю до семантичної теорії інформації є концепція М. Мазура .

2.5. Кодування інформації

Мета: за одиницю часу передати більше інформації. Способи оптимального кодування інформації. Рівновеликі й нерівновеликі коди.

Приклади з кодування для комп’ютерної техніки. Можливості кодування цифри „1”. Рівновеликі коди; одночасне передавання групи сигналів (побайтна передача).

Конвенціональність кодування (одну й ту ж інформацію можна кодувати різними способами).

Імовірність появи різних кодів у повідомленні.

Кодування в суспільстві:
— знакової інформації (природна мова людини; штучні мови);
— аудіальної інформації (звуки музики — нотна грамота);
— графічної інформації — площинної і просторової (картини, скульптура — закони перспективи, кольорові гами, масштаб);
— графічної динамічної інформації (кіно, телебачення — відео — частота кадрів у кіно, піксельна передача методом горизонтального й вертикального розгортання).

Детально особливості кодування різних видів письма буде описано в наступних лекціях.

2.6. Передача інформації

Канал зв’язку передає інформацію в просторі (не в часі).

Кожен канал передачі інформації характеризується певною пропускною здатністю, тобто кількістю інформації, яку він може передати за одиницю інформації при умові, що приймач інформації зможе її правильно розкодувати. Вимірюють у кількості бітів за секунду (біт/с) — бод.

Види каналів зв’язку: а) для людини; б) для технічних пристроїв.

Канали й носії для людини.

Канали зв’язку для людини: повітря, світлові промені (80%) тощо.

Крім того, людина може використовувати й технічні канали зв’язку.

Канали й носії для технічних пристроїв.

Канали зв’язку: радіохвильові й кабельні. Приклади радіохвильових: канали зв’язку радіо, телебачення, інфрачервоних хвиль для ПК тощо. Приклади кабельних: телефонні, оптиковолоконні тощо.

Способи оптимальної передачі інформації: послідовна передача цілого повідомлення, передача порціями (пакетами).

Постійна передача: радіо, телебачення.

Передача порціями (пакетами): комп’ютерна техніка.

Проблема необхідності дотримання найвищої достовірності інформації при її передачі каналами зв’язку.

Достовірність інформації вимірюють у кількісті помилок на фіксовану порцію інформації, наприклад на 1000 знаків. Для підвищення достовірності разом із кожною порцією інформації передають також контрольні розряди.

Приклад перевірки за допомогою контрольного розряду: всі коди порції інформації сумують, результат ділять на 11, а частку від ділення записують у порції як останнє число (це — контрольний розряд) й передають приймачеві. Розкодовуючи, приймач перевіряє, чи контрольний розряд (частка від ділення), який отримав він, дорівнює тому, що надіслав передавач. Якщо не рівний, то це означає, що під час передачі внаслідок шумів десь виникло спотворення повідомлення, а тому цю порцію інформації потрібно передати ще раз (передача повторюється доти, доки не буде отримано збігу контрольних розрядів).

Максимальна довжина контрольних розрядів може дорівнювати повторній передачі повідомлення (контроль методом дублювання). Застосування методу дублювання журналістами.

Контрольні розряди, що не відновлюють інформацію і самовідновлюють інформацію. Приклад самовідновлення для людини (відновлення при пропущених голосних у словах, спотворення окремої літери тощо).

2.7. Носії інформації

Носій інформації на відміну від каналу зв’язку передає інформацію не тільки в просторі, а ще й у часі.

Види носіїв інформації: а) для людини; б) для технічних пристроїв.

Носії для людини: папір, фотоплівка, грампластинки, магнітофонні плівки, полотно для малювання, дисплеї тощо.

Носії для технічних пристроїв (для ПК): диск (магнітний, оптичний); магнітні плівки; пристрої постійного запам’ятовування тощо.

Носії інформації оцінюють за щільністю інформації, яку можна розмістити в одиниці об’єму, наприклад одному кубічному сантиметрі (біт/см3).

Зараз існують такі носій інформації, що дають змогу записати всю інформацію, створену людським суспільством за весь час його існування в 1 м3.