Измерение семантической информации с помощью относительной энтропии

Введение в теорию семантической информации

Наряду с шенноновской синтаксической теорией информации существует и еще одна теория информации - семантическая. Основоположником этой теории является советский математик Юлий Анатольевич Шрейдер (1927-1998). В семантической теории информации под информацией принято понимать сведения, обладающие новизной. Давайте попытаемся разобраться в двух часто встречающихся ситуациях. Ситуация первая - когда вам сообщают что-либо уже известное, например, что дважды два - четыре, или что после ночи наступает день. Ситуация вторая - когда вам сообщают что-либо на неизвестном вам языке, когда вы видите совершенно незнакомую математическую формулу, пусть даже имеющую богатый смысл, т.е. нечто совершенно вам непонятное. Обе ситуации можно описать при помощи выражений "известно все" или неизвестно "ничего". Эти выражения говорят о противоположности двух описанных ситуаций. Однако у них есть и нечто общее. Этим общим является наличие всех компонентов коммуникации: источника и приемника информации, потока информации от источника к приемнику. Однако, как в первой, так и во второй ситуации знания последнего остались без изменений, т.е. информация была передана, приемник ее получил, но обнаружить это невозможно! Если мозг приемника не отразил никаких изменений о внешнем мире после получения сообщения, а это случилось как впервой, так и во второй ситуациях, следовательно, передачи, точнее говоря, получения информации не произошло.

Таким образом, суть семантической теории информации состоит в том, что количество информации, извлекаемое человеком из сообщения, можно определить степенью изменения его знаний. Действительно, если о получении информации судить только по изменениям в знаниях, то чем больше изменений произошло в знаниях, тем больше информации было получено.

Все здание человеческого знания, согласно этой модели, можно рассматривать в виде множества смысловыражающих элементов (терминов), так называемого тезауруса русского языка $\Theta$, а знания конкретного человека (приемника информации) - как тезаурус индивидуума $\Theta_A$, который является подмножеством $\Theta$. Источником информации будем считать некоторый текст, который также обладает своим тезаурусом $\Theta_T\subseteq\Theta$. Свяжем с каждым термином $\theta'$ случайное событие $\theta$ - употребление этого термина конкретным индивидуумом.

Рис. 1 Представление тезауруса в виде семантической сети.

Определение1. 'Тезаурусом русского языка называется множество непересекающихся случайных событий $\Theta=\{\theta_1,\dots,\theta_N\}$, выбранных из алгебры $\mathfrak{F}$ вероятностного пространства $(\Omega,\mathfrak{F},\mathbf{P})$, образующих разбиение:

$\Omega=\sum_{\theta\in\Theta}\theta$

и имеющих эвентологическое распределение (Э-распределение) $p_{\theta}, \theta\in\Theta$, где $p_{\theta}=\mathbf{P}(\theta)$ - вероятность события $\theta$ - употребления термина $\theta'$ в русском языке, а

$\sum_{\theta\in\Theta}p_{\theta}=1.$

Определение2. Тезаурусом индивидуума $A$ называется подмножество тезауруса русского языка $\Theta_A\in\Theta$, заданное на вероятностном пространстве $(\Omega,\mathfrak{F},\mathbf{P}_A)$ с Э-распределением $p_\theta,\theta\in\Theta_A$, где $p_{\theta}=\mathbf{P}_A(\theta)$ - вероятность события $\theta$ - употребления термина $\theta'$ индивидуумом $A$, а

$\sum_\theta\in\Theta_{A}p_\theta=1.$

Определение3. Тезаурусом текста $T,$ автором которого является индивидуум $A$, называется подмножество тезауруса русского языка $\Theta_T\in\Theta$, заданное на вероятностном пространстве $(\Omega,\mathfrak{F},\mathbf{P}_T)$ с Э-распределением $q_\theta,\theta\in\Theta_T$, где $q_\theta= \mathbf{P}_T(\theta)$ - вероятность события $\theta$ - употребления индивидуумом $A$ термина $\theta'$ в тексте $T$, а

$\sum_{\theta\in\Theta_T}q_{\theta}=1.$

Тезаурус имеет сложную структуру, в которой одни понятия и отношения, группируясь, образуют другие, в свою очередь образующие все более сложные понятия и отношения. И так как тезаурус является способом представления знаний, а знания у разных людей различны, то, естественно, отличаются и соответствующие им тезаурусы. Тезаурус ребенка, например, намного беднее тезауруса взрослого человека, т.е. содержит гораздо меньше элементов и отношений между ними. Теперь можно четко сформулировать смысл семантической модели информации. Заменяя понятие «знание» понятием «тезаурус», можно утверждать, что человек получает информацию только в том случае, когда в его знаниях, т.е. в его тезаурусе после получения сообщения произошли какие-либо изменения. И чем больше изменений внесло сообщение в тезаурус приемника, тем большее количество информации он получил из этого сообщения. Изменить же тезаурус - это значит изменить случайные события, входящие в него, или распределение вероятностей этих событий.

Процесс передачи семантической информации

Рис.2 Тезаурус источника Θ_T полностью содержится в тезаурусе приемника Θ_A.

Попытаемся применить изложенный выше подход к моделированию процесса передачи семантической информации. Пусть имеется тезаурус русского языка $\Theta$ - множество случайных событий (употребления того или иного термина в русском языке) с вероятностным распределением (Э-распределением) этих событий. Пусть источник информации - это некоторый текст сообщения, имеющий фиксированный тезаурус $\Theta_T\subseteq\Theta$, т.е. фиксированный набор случайных событий с Э-распределением. Этот текст передается приемнику

Рис.3 Некоторые элементы тезауруса источника Θ_T содержатся в тезаурусе приемника Θ_A.

информации, обладающему некоторым тезаурусом $\Theta_A\subseteq\Theta$. При этом тезаурус источника накладывается на тезаурус приемника. В результате происходит сопоставление, сравнение их тезаурусов. Рассмотрим возможные варианты этого процесса. Если в тезаурусе приемника $\Theta_A$ тезаурус источника $\Theta_T$ (в дальнейшем вместо выражений тезаурус $\Theta_A$ и тезаурус $\Theta_T$ мы будем употреблять соответственно $\Theta_A$ и $\Theta_T$) содержится целиком, то никаких изменений в $\Theta_A$ не происходит, следовательно, приемник не извлекает из текста сообщения никакой информации. Этот случай совпадает с первой из двух ситуаций, о которых мы говорили ранее, когда сообщение содержит сведения, уже известные получателю. Графически это можно представить как полное вхождение, включение $\Theta_T$ в $\Theta_A$

Рис.4 В тезаурусе приемника Θ_A не содержится ни одного элемента из тезауруса источника Θ_T.

Предположим теперь, что какая-то часть $\Theta_T$ содержится в $\Theta_A$. Это значит, что в $\Theta_A$ можно обнаружить такие же случайные события, как и в $\Theta_T$; в последнем, кроме этого, содержатся события, которых нет в $\Theta_A$. Таким образом, $\Theta_A$ и $\Theta_T$ имеют «общую часть». Графически этот случай может быть выражен как пересечение двух тезаурусов. Когда в $\Theta_T$ входят случайные события, каких нет в $\Theta_A$, то приемник не извлечет из текста сообщения никакой информации и изменения его тезауруса не произойдет. Этот случай соответствует второй из рассмотренных выше ситуаций, когда сообщение является полной «загадкой» для его получателя. Графически этому случаю соответствуют непересекающиеся тезаурусы.

Если теперь предположить, что чем больше тезаурус приемника, тем больше вероятность того, что в нем будут содержаться события, составляющие тезаурус источника, то количество информации, получаемое из сообщения, будет зависеть в итоге от мощности тезауруса приемника. Пусть

Рис.5 Зависимость количества семантической информации I, воспринимаемой приемником, от доли мощности его тезауруса в мощности тезауруса источника.

$\hat{\theta}$ - это доля мощности тезауруса приемника информации $\Theta_A$ в мощности тезауруса источника информации $\Theta_T$. Тогда зависимость свидетельствует о том, что нулевой доле $\hat\theta=0$ соответствует нулевое количество полученной из сообщения информации (ситуация вторая). Такое же (нулевое)количество информации соответствует и максимальной доле $\hat\theta=1$ (ситуация первая). Наибольшее же количество информации $I_{max}$ извлекается приемником из текста сообщения, когда доля близка к $1/2$. Этой зависимости соответствует график на рис.5. Фактически тезаурус приемника измеряется относительно тезауруса источника информации. Таким образом, эффективность передачи информации зависит от соотношения тезаурусов источника и приемника.

Предложение1. В качестве измерителя семантической информации можно использовать приращение относительной информации, которая определяется следующим образом:

где $p_\theta$ - некоторое Э-распределение тезауруса приемника $\Theta_A$, а $q_\theta$ - некоторое фиксированное Э-распределение тезауруса источника $\Theta_T$ (распределение тезауруса некоторого текста). Приращение семантической информации по времени:

$\Delta I^{p/q}=I^{p/q}_{t_{1}}-I^{p/q}_{t_{0}}.$