Текст работы

ВВЕДЕНИЕ

Информатика - молодая наука. На немецком языке слово "Informatik" в данном контексте было впервые употреблено в 1968 г. В английском языке термин "computer science" означает “Вычислительная наука”.

Современная информатика является результатом бурного развития общества за последние 35 лет. Многие ее корни уходят далеко в историю. Можно сказать, что информатика началась тогда, когда впервые попытались механизировать так называемую интеллектуальную деятельность.

Исторической основой информатики являются такие направления науки и техники как теория автоматического управления (ТАУ), техническая кибернетика (ТК) и вычислительная техника.

Методологические и теоретические аспекты этих наук применительно к преобразованию информации и построению информационных систем (ИС) составляют математические основы информатики, изложению которых посвящено данное учебное пособие.

Работа предназначена в качестве учебной литературы по курсу "Информатика" для студентов, обучающихся по специальности "Информационные системы" и по направлению "Информатика и вычислительная техника".

1. ПОНЯТИЕ ИНФОРМАЦИИ И ПОДХОДЫ К ЕЕ КОЛИЧЕСТВЕННОЙ ОЦЕНКЕ

            1.1. Понятие и виды информации

Термин "информация" происходит от латинского слова "Informatiо"- разъяснение, изложение, осведомленность. Можно считать, что этот термин в начальном представлении является общим понятием, означающим некоторые сведения, совокупность данных, знаний и т.д. Понятие информации должно быть с определенным объектом, свойства которого она отражает. Кроме того, наблюдается относительная независимость информации от ее носителя, поскольку возможны ее преобразование и передача по различным физическим средам с помощью разнообразных физических сигналов безотносительно к ее содержанию, т.е. к семантике, что и явилось центральным вопросом многих исследований, в том числе и в философской науке. Информация о любом материальном объекте может быть получена путем наблюдения, натурного либо вычислительного эксперимента, а также на основе логического вывода.

Поэтому говорят о доопытной (или априорной) информации и послеопытной (т.е. апостериорной) полученной, в итоге эксперимента.

Для человека любое восприятие реальных объектов окружающей действительности происходит через ощущения. Органы чувств человека и высшая нервная система позволяют ему воспринимать объекты. При обмене информацией имеют место источник в виде объекта материального мира и приемник - человек либо какой-то материальный объект. Информация возникает за счет отражения, которое является свойством всей материи, любой материальной системы. Свойство отражения совершенствуется по мере развития материи от элементарного отражения до высшей его формы - сознания. Процесс отражения означает взаимодействие объектов материального мира. Этот процесс наиболее прост в неорганической природе. Здесь преобладают механические, химические и физические взаимодействия. При таком отражении объекты пассивны. Новые формы отражения (физиологическое и психологическое) возникают в органической природе. В живом организме на основе отражения формируется способность приспосабливаться к изменяющимся окружающим условиям. У человека получают развитие более сложные формы отражения: познавательная и творческая. Эти формы носят сознательный характер и позволяют человеку активно воздействовать на окружающий мир.

Выделяют следующие аспекты информации:

- прагматический,

       - семантический,

           - синтаксический.

Прагматический аспект связан с возможностью достижения поставленной цели с использованием получаемой информации. Этот аспект информации влияет на поведение потребителя. Если информация была эффективной, то поведение потребителя меняется в желаемом направлении, т. е. информация имеет прагматическое содержание. Таким образом, этот аспект характеризует поведенческую сторону проблемы.

Семантический аспект позволяет оценить смысл передаваемой информации, соотнося ее с информацией, хранящейся до появления данной. Семантические связи между словами или другими смысловыми элементами языка отражают словарь-тезаурус. Он состоит из двух частей: списка слов и устойчивых словосочетаний, которые сгруппированы по смыслу, и некоторого ключа, т е. алфавитного словаря, позволяющего расположить слова и словосочетания в определенном порядке. Тезаурус имеет особое значение в системах хранения информации, в которые могут вводиться семантические отношения, в основном подчинения, что позволяет на логическом уровне осуществлять организацию информации в виде отдельных записей, массивов и их комплексов. Существуют развитые тезаурусы, в которые включаются сложные высказывания и семантические связи между ними. Это позволяет хранить более сложную информацию и детально оценивать семантическое содержание вновь поступающей информации. Наличие тезауруса позволяет переводить поступающую семантическую информацию на некоторый стандартизированный семантический язык в соответствии с выбранным тезаурусом. Таким образом, при возникновении информации можно изменить исходный тезаурус. Степень изменения тезауруса может быть принята как характеристика количества информации.

Синтаксический аспект информации связан со способом ее представления. В зависимости от реального процесса, в котором участвует информация, т.е. осуществляется ее сбор, передача, преобразование, отображение, представление, ввод или вывод, она представляется в виде специальных знаков, символов. Характерным носителем информации является сообщение, под которым обычно понимают все то, что подлежит передаче. Сообщения представляют в виде электрического сигнала, передаваемого по выбранной физической среде. Для этого сообщение подвергают преобразованию, т. е. придают ему электрический характер, далее кодированию, при котором сообщение превращается в некоторую. последовательность символов, однозначно его отображающих, и модуляции, при которой каждый элемент кода (либо код в целом) переводится в электрический сигнал, способный передаваться на заданное расстояние по выбранному каналу связи. Процессы преобразования, кодирования и модуляции исключительно многообразны, а синтаксический аспект информации при ее передаче в настоящее время хорошо развит. Иной характер синтаксический аспект имеет, например, при хранении информации. В этом случае могут быть предложены такие формы, при которых удается осуществить быстрый поиск, введение новой информации, вывод требуемой информации из информационной базы и в целом обновления базы данных. Требуемому представлению информации при ее хранении отвечают разработанные к настоящему времени типовые структуры баз и банков данных, которые позволяют наилучшим образом реализовать информационное обслуживание пользователей в системе управления. Таким образом, развитие общества привело к тому, что оказалось необходимым хранить, обрабатывать, передавать, преобразовывать огромные объемы данных.

Виды информации

Все виды деятельности человека по преобразованию природы и общества сопровождались получением новой информации. Логическая, адекватно отображающая объективные закономерности природы, общества и мышления получила название научной информации. Ее делят по областям получения или пользования на следующие виды: политическую, техническую, биологическую, химическую, физическую и т.д.; по назначению- на массовую и специальную. Часть информации. которая занесена на бумажный носитель, получила название документальной информации. Любое производство при функционировании требует  перемещения документов, т.е. возникает документооборот. Для автоматизированных систем управления информация в документах составляет внешнее информационное обеспечение. В то же время большая часть информации хранится в памяти ЭВМ на магнитных лентах, дисках и т.д. Она определяется как внутримашинное информационное обеспечение.

Наряду с научной информацией в сфере техники при решении производственных задач используется техническая информация. Она сопровождает разработку новых изделий, материалов, конструкций агрегатов, технологических процессов. Научную и техническую информацию объединяют термином научно-техническая информация: в сфере материального производства может циркулировать технологическая информация, закрепленная в конструкторско-технологической документации. В плановых расчетах существует планово-экономическая информация, которая содержит интегральные сведения о ходе производства, значения различных экономических показателей.

Информация с точки зрения ее возникновения и совершенствования проходит следующий путь: человек наблюдает некоторый факт окружающей действительности, это факт отражается в виде совокупности данных, при последующем структурировании в соответствии с конкретной предметной областью данные превращаются в знания. Таким образом, верхним уровнем информации как результата отражения окружающей действительности (результата мышления) являются знания. Знания возникают как итог теоретической и практической деятельности. Информация в виде знаний отличается высокой структуризацией. Это позволяет выделить полезную информацию при анализе окружающих нас физических, химических и прочих процессов и явлений. На основе структуризации информации формируется информационная модель объекта. По мере развития общества информация как совокупность научно-технических данных и знаний превращается в базу системы информационного обслуживания научно-технической деятельности общества.

В настоящее время информация используется всеми отраслями народного хозяйства и наряду с энергией, полезными ископаемыми является ресурсом общества. С развитием общества возникает необходимость целесообразной организации информационного   ресурса, т.е. конкретизации имеющихся фактов, данных и знаний по направлениям науки и техники. Признание информации как ресурса и появление понятия информационный ресурс дало толчок развитию нового научного направления- информатики. Информатика как область науки и техники связана со сбором и переработкой больших объемов информации на основе современных программно-аппаратных средств вычислительной техники и техники связи. Информатика изучает свойства информационных ресурсов, разрабатывает эффективные методы и средства их организаций, преобразования и применения. На основе достижений информатики формируются новые методы и алгоритмы преобразования информации, при которых не квалифицированный в вычислительной технике пользователь, на языке, близком к, естественному, может общаться с вычислительной средой для решения требуемых практических задач. На пользовательском уровне информатика дает основу для создания современных информационных систем, таких как автоматизированные системы управления, автоматизированные системы научных исследований, информационно-справочные системы, интеллектуальные системы, системы управления реального времени и др. Учитывая, что техническими средствами информатики являются вычислительные средства, ее современное состояние и направления дальнейшего развития в значительной степени определяются перспективами создания, развития и внедрения персональных ЭВМ, сетей связи, языков общения пользователя с вычислительной техникой. Информатика как область науки и техники требует своего дальнейшего развития. В качестве основных направлений исследований в области информатики можно определить следующее: разработка новой информационной технологии проектирования систем; развитие интеллектуальных методов доступа пользователя к вычислительной среде; создание моделей анализа и синтеза информационных процессов: совершенствование программных и аппаратных средств вычислительной техники и техники связи: переход к интеллектуальным АСОИУ (автоматизированная система обработки информации управления) на основе гибридных экспертных систем.                        

   1.2. Понятие сообщения и кода

Сведения о состоянии объекта в ИС формируются в виде сообщений. Под сообщением понимается все то, что подлежит передаче. Независимо от содержания сообщение обычно представляется в виде электрического, звукового, светового, механического или других сигналов. Таким образом, сообщение отображает некоторые исходные сигналы любого вида и по свойствам зависит от исходных сигналов.

В ИС все исходные сигналы, поступающие от объекта, можно разделить на две большие группы: сигналы оптические, которые отображают устойчивые состояния некоторых объектов и могут быть представлены, например, в виде определенного положения элемента, системы, текста в документе, определенного состояния электронного устройства и т.д., и сигналы динамические, для которых характерно быстрое изменение во времени, отображающее, например, изменения электрических параметров системы.

Динамические и статические сигналы имеют свои области использования. Статические сигналы существенное место занимают при подготовке, регистрации и хранении информации. Динамические используются в основном для передачи информации. Однако заметим. что это не всегда является обязательным.

По характеру изменения сигналов во времени различают сигналы непрерывные и дискретные. Непрерывный сигнал отображается некоторой непрерывной функцией и физически представляет собой непрерывно изменяющиеся значения колебаний. Дискретный сигнал характеризуется конечным множеством значений и в зависимости от исходного состояния принимает значения, связанные с определенным состоянием системы. Исходя из физической сущности процесса, свойственного объекту управления, можно выделить некоторые разновидности непрерывных и дискретных функций, отображающих реальные сигналы:

1) непрерывную функцию непрерывного аргумента. Функция имеет вид f(t), непрерывна на всем отрезке и может описать реальный сигнал в любой момент времени. При этом не накладывается никаких ограничений на выбор момента времени и значения самой функции;

2) непрерывную функцию дискретного аргумента. Обычно такие сигналы возникают при квантовании непрерывных величин по времени. В этом случае задаются некоторые фиксированные моменты времени t_J, отсчитываемые через интервал Dt. который обычно определяется спектральными свойствами исходного физического процесса. Функция f(t_J) может принимать любые мгновенные значения, но она определяется лишь для дискретных значении времени. Этот вид сигналов и связанных с ним функций имеет место при формировании исходных сообщений из непрерывных величин;

3) дискретную функцию непрерывного аргумента f_J(t). В этом случае функция имеет ряд конечных дискретных значений, однако определена на всем отрезке времени t для любого мгновенного значения времени. Дискретизация самой функции связана с созданием шкалы квантования по уровню, что свойственно различным датчикам, при этом шаг квантования определяется требуемой точностью воспроизведения исходной величины;

4) дискретную функцию дискретного аргумента f_J(t_J). В этом случае функция принимает одно из возможных дискретных значений, общее число которых является конечным, и определяется для окончательного набора дискретных значений времени. Имеем дискретизацию как по уровням, так и по моментам времени.

В целях систематизации сообщений и обеспечения возможности передачи сообщений по каналам связи используются процедуры кодирования, с помощью кодирования сообщение представляется в форме, которая позволяет осуществить передачу его по каналам связи. Дискретное сообщение можно изобразить в виде некоторой последовательности цифр или букв, при этом каждая цифра или  буква представляет  собой одно сообщение. С помощью кода каждая цифра или буква отображается некоторым набором импульсов, которые составляют кодовую комбинацию. Основное требование, предъявляемое к кодовым комбинациям, состоит в возможности различения их на приемной стороне при определенных воздействиях помех в каналах связи. Общее число кодовых комбинаций равно числу возможных сообщений М.

При построении кода учитывается ряд особенностей, связанных с возможностями передачи информации по каналу связи, кроме того. вопрос реализации технических средств преобразования сообщений в код, т.е. построение кодирующих устройств и соответствующих им средств обратного преобразования - декодирующих устройств. Весьма важными являются вопросы обеспечения требуемой верности и скорости передачи информации. В настоящее время в раз

-личных системах передачи информации и в том числе в информационных сетях получило распространение большое число кодов. Рассмотрим их обобщенную классификацию.

1. По основанию системы счисления коды делятся на двоичные, троичные,  четверичные и т.д. В каждой системе счисления используется определенная совокупность символов, причем число возможных символов для К-ой системы равно К. Двоичные коды строятся с помощью символов 0,1; троичные-0,1,2, при этом нуль означает отсутствие передачи информации по каналу, т.е. отсутствие импульса, единица означает символ с одним значением сигнального признака, двойка- с другим. Под сигнальным признаком понимается некоторое значение тока или напряжения, позволяющее отличить один символ от другого.

2. По построению коды делятся на систематические и несистематические. Особенность построения систематических кодов как разделимых заключается в том, что в них четко разделены часть кода, несущая основную информацию, и часть кода, служащая для обнаружения и исправления ошибок, которая представляет собой контрольную информацию. Систематические коды могут быть построены по детерминированным алгоритмам, в соответствии с чем можно осуществить достаточно простые способы выявления этих кодов с обнаружением или исправлением ошибок.

Несистематические коды строятся с использованием различных методов комбинирования. Это коды на одно сочетание, размещение перестановки и т.д., и при их выявлении осуществляется анализ путем сопоставления принятой комбинации с известным набором кодов на приемной стороне.

3. По наличию избыточности коды делятся на избыточные и неизбыточные. Для неизбыточных кодов характерно то, что при каждом отображении сообщения кодовой комбинацией для числа М возможных кодовых комбинаций, основным свойством является возможность их различения. Тогда код при основании системы счисления К может быть построен как отображение множества десятичных чисел от нуля до М-1 с числом разрядов n в каждой кодовой комбинации. Например, для М=4 двоичный избыточный код может быть получен при представлении чисел 0,1,2,3 двухэлементным двоичным кодом: 00,01,10,11 соответственно. Переход от К-го числа к десятичному можно осуществить по формуле:

где n-число элементов в коде, или длина кода: К- основание системы счисления кода: a_J- значение символа в J-м разряде, причем младшим является разряд, расположенный справа. Следует отметить, что символы кода в линии связи и передаются в обратном порядке, т.е. сначала старший разряд и далее остальные.

Если необходимо представить, например, четыре сообщения троичным неизбыточным кодом, то исходные десятичные числа 0,1,2,3 запишем в виде 00,01,02,10. В общем случае m-элементным неизбыточным кодом в К-ой системе счисления можно представить М=К^m сообщений. Например, при двухэлементном неизбыточном троичном коде можно иметь 3²=9 сообщений.

Переход от неизбыточного кода к избыточному при использовании систематических кодов осуществляется путем добавления некоторых контрольных позиций, которые можно получить либо путем различных логических операций, выполняемых над основными информационными позициями, либо путем использования детерминированных алгоритмов, связывающих избыточный и неизбыточный коды. Например, если нужно перейти от неизбыточного кода к простейшему избыточному, то для случая двоичного кода, рассчитанного на четыре сообщения, отображением которых являются кодовые комбинации 00,01,10,11,  достаточно ввести одну контрольную позицию, значение символа на которой будет определяться как сумма значений предшествующих символов по модулю два. Эта логическая операция в двоичной системе определяется равенствами 0  0=0, 1  1=0, 0  1=1, 1  0=1.  Для рассматриваемых сообщений получаем 000, 011, 101, 110. Особенность такого кода заключается в том, что он позволяет обнаружить любую одиночную ошибку. Таким образом, отличие неизбыточных кодов от избыточных состоит в том, что из-за отсутствия избыточности они не способны обнаруживать ошибки и поэтому не могут быть использованы для передачи информации по каналам с шумом. С целью обеспечения достоверной передачи информации по каналу связи при заданных вероятностно-временных ограничениях необходимо вводить избыточность в код, что можно осуществить путем использования дополнительных контрольных позиций.

4. По корректирующим свойствам коды делятся на обнаруживающие и исправляющие, или корректирующие. Обнаруживающие коды при введении в них избыточности позволяют находить ошибки, с помощью корректирующих кодов возможно исправление ошибок, при этом доля вводимой избыточности по сравнению с предыдущим существенно возрастает. Следует отметить, что в настоящее время в ИС при передаче информации более широко применяются обнаруживающие коды в сочетании с дополнительными алгоритмами повышения помехоустойчивости за счет использования обратного канала связи.

5. По расположению элементов кода во времени различают последовательные, параллельные и последовательно-параллельные коды. В ИС чаще применяются коды с последовательной передачей элементов во времени в связи с особенностями использования средств модуляции и демодуляции в каналах связи. Трудность реализации параллельных кодов заключается в том, что должны быть использованы либо такие сигнальные признаки (например, частотный),  которые допускают одновременную передачу нескольких своих значений, либо совокупность сигнальных признаков при одновременной передаче по одному значению каждого сигнального признака.

В качестве  примера рассмотрим возможность параллельной передачи нескольких сообщений при использовании амплитудного, полярного и сигнального признаков по длительности. Тогда, если требуется передать три сообщения, одно из которых передается импульсом большой амплитуды, другое импульсом отрицательной полярности, а третье импульсом большой длительности, то передача этих сообщений будет означать появление импульса большой амплитуды, отрицательной полярности и большой длительности. Очевидно, нетрудно рассмотреть возможность передачи любой совокупности двух сообщений одновременно.

Следует отметить, что параллельные коды могут быть эффективно использованы при передаче относительно небольших объемов информации, так как основанные на них модемы обладают малой скоростью передачи.

          1.3. Количество информации в     равновероятных сообщениях

При оценке количества информации прежде всего возникает вопрос о виде исходной информации, а поэтому измерение информации в значительной степени зависит от подхода к самому понятию информации, т.е. от подхода к ее содержанию. В настоящее время существуют три основные теории, в которых к понятию содержательного характера информации подходят с разных позиций. Статистическая теория оценивает информацию с точки зрения меры неопределенности. снимаемой при получении информации. Как правило, она не затрагивает смысла передаваемой информации, т.е. ее семантического содержания. В статистической теории основное внимание обращается на распределение вероятностей отдельных квантов информации и построение на его основе некоторых обобщенных характеристик, позволяющих оценить количество информации в каком-то кванте.

Совершенно иной подход наблюдается в семантической теории, которая учитывает в основном ценность информации, полезность ее и тем самым помогает связать ценность информации со старением, ценность информации и количество ее - с эффективностью управления в системе. Наконец, структурная теория рассматривает принцип построения отдельных информационных массивов, при этом за единицу информации принимаются некоторые элементарные структурные единицы кванты, и количество информации оценивается простейшим подсчетом квантов в информационном массиве.

Выбор единицы информации в настоящее время является весьма актуальной задачей. При передаче непрерывных сообщений зачастую используется их дискретизация во времени, поэтому применяется геометрическая мера. позволяющая определить количество информации в отдельных отсчетах, снимаемых за некоторый интервал времени, т.е. количество передаваемых сообщений в этом случае определяется числом отсчетов. При передаче дискретной информации простейшей мерой информации может служить число кодовых комбинаций, отображающих передаваемые сообщения. Число комбинаций получается на основе комбинаторного метода и определяется структурой построения кода. его избыточностью, т.е. способом построения. Недостатком данной меры является нелинейная зависимость между числом кодовых комбинаций и числом элементов в коде. Например, для неизбыточного кода число кодовых комбинаций М=Кⁿ. Обычно по каналу связи предается последовательность n символов, поэтому целесообразно иметь характеристику, линейно связанную с числом элементов в коде.

Будем считать, что число сведений f в сообщении линейно зависит от длины кода: f=kn. Формулу для числа сведений в сообщении выведем при следующих условиях: 1) осуществляется передача дискретных сообщений; 2) сообщений являются равновероятными и взаимно независимыми; 3) символы, выдаваемые источником, взаимно независимы: 4) система счисления конечна. Тогда df=kn. Если M=Kⁿ, то dM = Kⁿ lnKdn,  dn=dM/Kⁿ lnK и df = kdM/M lnК

f =k lnM/lnK =k₁ log_a M/lnK=k₀ log_a M,                 (1.2)

где k₀=k₁/lnK.

В теории информации за единицу количества информации принято число сведении, которое передается двумя равновероятными символами, или сообщениями. Эта единица называется двоичной единицей информации.

Учитывая сказанное, имеем при f =1 и M=2  1=k₀ log_a. Если k₀=1, то а=2,

 f = I =log₂M, где I - количество информации в некотором усредненном сообщении. Формула I=log₂M называется формулой Хартли, она справедлива в соответствии с принятыми выше ограничениями 1) - 4).

Рассмотрим, как влияет на число сведений основание кода. Пусть M сообщений передается двумя кодами с основаниями K₁ и K₂ , и числами элементов n₁ и n₂. Будем считать, что оба кода передают одинаковое число сведений, т.е. M=К₁ⁿ¹=K₂ⁿ², тогда k(K₁)n₁=k(K₂)n₂, n₁log_aK₁=n₂log_aK₂ , k(K₁)/log_aK₁= k(K₂)/log_aK₂ Из полученного выражения видно, что коэффициент пропорциональности тем больше, чем больше основание используемого кода.

Свяжем количество информации с вероятностью появления отдельных сообщений. Если сообщения равновероятны и на выходе некоторого источника появляется M различных сообщений, то вероятность возникновения каждого сообщения р(x_{0 J})=1/М, I= -log₂p(x_{0 J}). Таким образом, получаем статистическую меру информации, связывающую вероятность появления каждого сообщения и количество информации. Поскольку за основание логарифма принята двоичная единица, то эта мера представляет собой двоичную единицу на сообщение и отражает количество информации, которое в среднем содержится в каждом равновероятном сообщении. Полученное выражение в общем случае определяет информацию, которая содержится в некотором событии x_{0 J} из множества Х₀ и является функцией ансамбля этого множества. Она всегда неотрицательна и увеличивается с уменьшением вероятности р(x_{0 J}). Физически данная информация может быть рассмотрена либо как некоторая априорная неопределенность события x_{0 J} из множества X₀, либо как информация, требуемая для разрешения этой неопределенности. Следует отметить, что данная формула является простейшей: в ней не учитываются некоторые закономерности, связанные с информацией, которая может иметься у наблюдателя до появления данного сообщения, а поэтому весьма существенное место занимает понятие взаимной информации.

Предположим, что на выходе некоторого источника появляется совокупность сообщений из множества X₀, которую мы каким-то образом определяем с учетом воздействующих помех посредством ансамбля Y₀. Появление некоторого события из ансамбля Y₀ изменяет вероятность р(x_{0 J}) от некоторой априорной вероятности р(x_{0 J}) до апостериорной вероятности р(x_{0 J}/y_{0 J}). Для оценки количественной меры изменения этой вероятности может быть использован логарифм отношения апостериорной вероятности к априорной, тогда информация о некотором событии из множества X₀, содержащаяся в некото­ром событии из множества Y₀

                                    I(x_{0 J},y_{0 J})=log₂[p(x_{0 J}/y_{0 J})/p(x_{0 J})]                                       (1.3)

С учетом всех событий, входящих в множества X₀ Y₀ можно получить окончательно взаимную информацию, как функцию некоторого ансамбля Х₀ Y₀

не зависящую от частных исходов, входящих в эти ансамбли. Суммируя по всем возможным событиям, составляющим ансамбли Х₀ Y₀ , получаем

I(X₀ ,Y₀)=å_J å_i p(x_{0 J},y_{0 i})*log₂[p(x_{0 J}/y_{0 i} )/p(x_{0 J})]                       (1.4)

Нетрудно видеть, что в частном случае, когда появление данного исхода y_0J однозначно определяет, что исходом x_{0 J} будет некоторый конкретный элемент множества X, получаем собственную информацию, содержащуюся в конкретном событии, т.е. в сообщении.

Рассмотренные формулы можно применять для оценки количества информации в реальных условиях передачи. Например, если передается множество двоичных последовательностей длиной т с вероятностью появления каждой последовательности 1/М, где М=2^m то собственная информация, содержащаяся в  каждом  сообщении,  или  количество  в  одном  усредненном  сообщении

I(Х₀)=log₂ p(x_{0 J})=m двоичных единиц, т.е., используя код без избыточности, получаем, что каждый элемент двоичного кода переносит одну двоичную единицу информации. При введении избыточности в код сохраняется число передаваемых сообщений М, однако длина кода возрастает до п. Количество передаваемой информации составит при равновероятности передаваемых сообщений, как и ранее, I=log₂М, т.е. т двоичных единиц. Поскольку для передачи m двоичных единиц используется n элементов в коде, где n>m, то каждый элемент кода передает m/n двоичных единиц информации, т.е. в одном элементе избыточного кода передается менее одной двоичной единицы информации за счет избыточности, которая тратится либо на обнаружение, либо на обнаружение и исправление ошибок.

Таким образом, аддитивная мера информации позволяет оценить количество информации, передаваемой в одном элементе кода с учетом статистических свойств источника информации, и дает возможность в дальнейшем перейти к оценке скорости передачи информации и сравнению ее с пропускной способностью канала связи, что в целом позволяет дать общую характеристику эффективности использования канала связи, т.е. эффективности согласования источника информации с каналом связи.

Don't sleep! 

    Скачать  текст.
                                          Скачать программу.
                                                                 

                             к началу страницы

                                                       
                                                        ZabrodMediaStudio 2001-2007