l_0(u_i, u_j) равно
k_i k_i 2p
M[l_0(u_i, u_j)] = M[ \ВS\А \Вh\А_i] = \ВS\А M[\Вh\А_i] = -- (1+... +(k_i-1))=
i=2 i=2 n
2p k_i(k_i-1)
= -- --------Д.
n 2
Дело в том, что математическое ожидание суммы случайных
величин равно сумме их математических ожиданий, а M[\Вh\А_i] = P{\Вh\А_i=1}
= (i-1)2p/n.)
Лемма доказана.
СЛЕДСТВИЕ. Среднее значение связи l(u_i, u_j) двух имен,
входящих в правильный хронологический список Х, НЕ ЗАВИСИТ от
выбора пары имен (u_i, u_j) и, следовательно, является
ХАРАКТЕРИСТИКОЙ СПИСКА Х и параметров модели.
Это среднее мы будем обозначать через \Ва\А(Х). Из
доказательства леммы следует, что \Ва\А(Х) = 2p/n.
Генеральное (теоретическое) среднее \Ва\А(Х) мы будем называть
СРЕДНИМ ПО РАЗМЕЩЕНИЯМ в отличие от эмпирического СРЕДНЕГО ПО
МАТРИЦЕ, получаемого усреднением фактических значений связи пар
имен по всем парам имен, входящих в данный список Х.
Последнее название объясняется тем, что значения связи пар
имен списка естественным образом составляют некоторую квадратую
матрицу.
ЗАМЕЧАНИЕ. Сформулированное выше предположение aposteriori
подтверждается для реальных правильных хронологических списков
(летописей) тем, что для них ЭМПИРИЧЕСКОЕ СРЕДНЕЕ ПО МАТРИЦЕ
практически совпадает с ГЕНЕРАЛЬНЫМ СРЕДНИМ ПО РАЗМЕЩЕНИЯМ \Ва\А(Х)
(вычисленным с помощью этого предположения).
Если же список содержит дубликаты, то для него, как показали
расчеты, среднее по матрице обычно чуть больше, чем среднее по
размещениям.
Но различие между этими величинами было НЕВЕЛИКО для всех
рассмотренных нами реальных исторических списков. Это -- отражение
того обстоятельства, что даже в том случае, когда хронологический
список имен содержит дубликаты, доля пар-дубликатов среди общего
количества всех пар определяющих окрестностей, обычно невелика.
В соответствии с описанной в главе 1 моделью возникновения
дубликатов в хронологический списках (см., например, модельную
задачу о колодах карт), введем меру связи двух произвольных
определяющих окрестностей \ВД\А_r, \ВД\А_s в списке Х.
Эта мера отражает количество ``связывающих летописей'' для
данной пары отрезков списка, нормированное таким образом, чтобы
при отсутствии дубликатов в списке, оно сохраняло бы
приблизительно одно и то же значение для всех пар определяющих
окрестностей списка Х.
Более точно, мера связи двух отрезков списка подбиралась
таким образом, чтобы в случае правильного списка (который мы, в
соответствии со сделанным предположением, рассматриваем как
некоторый случайный элемент) среднее значение этой меры не
зависело бы от выбора конкретной пары отрезков, то есть было бы
единым для всего списка Х.
ОПРЕДЕЛЕНИЕ. Пусть дан хронологический список имен Х и
фиксированы параметры модели k и p. Назовем СВЯЗЬЮ ДВУХ
ОПРЕДЕЛЯЮЩИХ ОКРЕСТНОСТЕЙ \ВД\А_r и \ВД\А_s списка Х число
r+k s+k
c \ \
L_0(\ВД\А_r, \ВД\А_s) = -------- l(a_i, a_j).
(2k + 1)^2 / /
i=r-k j=s-k
jЬi
Здесь c -- постоянная масштаба, задаваемая из соображений
удобства вычислений (мы брали значение c=25).
ЛЕММА 2. Если хронологический список имен Х не содержит
дубликатов (является правильным) и выполнены предположения
Леммы 1, то среднее значение по размещениям для связи L_0(\ВД\А_r, \ВД\А_s)
НЕ ЗАВИСИТ от \ВД\А_r и \ВД\А_s и равно c\Ва\А(Х).
Доказательство. Утверждение Леммы 2 следует из Леммы 1 и из
того, что среднее значение суммы случайных величин равно сумме их
средних значений. Заметим, что число слагаемых в двойной сумме,
определяющей значение связи L_0(\ВД\А_r, \ВД\А_s), равно множителю (2k + 1)^2,
стоящему в знаменателе. Следовательно, среднее значение по
размещениям для связи L_0(\ВД\А_r, \ВД\А_s) равняется среднему значению по
размещениям для связи l(a_i, a_j), умноженному на c, то есть равно
c\Ва\А(Х). Лемма 2 доказана.
p3'3'4
4. ЗАВИСИМОСТЬ СВЯЗИ $L_0$ ОТ ЧИСЛА ОБЩИХ ИМЕН В
ОПРЕДЕЛЯЮЩИХ ОКРЕСТНОСТЯХ
Изучим характер зависимости между величиной связи $L_0$ двух
определяющих окрестностей \ВД\А_r и \ВД\А_s и количеством общих имен в
этих окрестностях (с учетом кратности вхождения имен в \ВД\А_r и
\ВД\А_s).
ОПРЕДЕЛЕНИЕ. ЧИСЛОМ ОБЩИХ ИМЕН двух определяющих
окрестностей \ВД\А_r(k) и \ВД\А_s(k) в списке Х (с учетом кратностей)
назовем число:
r+k s+k
\ \
O(\ВД\А_r, \ВД\А_s) = \Вд\А(a_i, a_j),
/ /
i=r-k j=s-k
где \Вд\А(a_i, a_j)=1 если a_i=a_j (то есть имена a_i и a_j одинаковы) и
равно нулю иначе.
Другими словами, O(\ВД\А_r, \ВД\А_s) -- это число пар из декартового
произведения \ВД\А_r\Иx\ВД\А_s, таких, что в паре стоят одинаковые имена.
В рассмотренных нами случаях реальных хронологических
списков, описывающих древнюю и средневековую историю Европы,
обнаружилось весьма примечательное обстоятельство:
ЗНАЧЕНИЯ L_0(\ВД\А_R, \ВД\А_S) И O(\ВД\А_R, \ВД\А_S) СВЯЗАНЫ МЕЖДУ СОБОЙ ТАКИМ
ОБРАЗОМ, ЧТО ПРИ УВЕЛИЧЕНИИ O(\ВД\А_R, \ВД\А_S) УВЕЛИЧИВАЕТСЯ (В
СТАТИСТИЧЕСКОМ СМЫСЛЕ) И L_0(\ВД\А_R, \ВД\А_S).
Этот вывод был получен на основе сравнения гистограмм частот
значений L_0(\ВД\А_r, \ВД\А_s) при условии, что значение O(\ВД\А_r, \ВД\А_s)
фиксировано.)
Может показаться, что значение связи L_0(\ВД\А_r, \ВД\А_s) увеличивается
при увеличении O(\ВД\А_r, \ВД\А_s) непосредственно за счет общих имен в \ВД\А_r и
\ВД\А_s (механизмы, приводящие к такому увеличению даже в правильных
списках действительно существуют, но они очень слабы). Однако это
не так. Чтобы показать это, введем еще две меры связи
определяющих окрестностей \ВД\А_r и \ВД\А_s в хронологическом списке Х.
Пусть дана пара определяющих окрестностей \ВД\А_r и \ВД\А_s в списке
Х. Определим соответствующие РАЗРЕЖЕННЫЕ ОПРЕДЕЛЯЮЩИЕ ОКРЕСТНОСТИ
следующим образом:
\ВД\А'_r= {множество различных имен из \ВД\А_r};
\ВД\А'_s= {множество различных имен из \ВД\А_s};
\ВД\А''_{r, s} = {множество имен из \ВД\А'_r, не совпадающих ни с
какими именами из \ВД\А_s};
Таким образом, окрестности \ВД\А_r, \ВД\А'_s и \ВД\А''_{r, s} разрежены таким
образом, что в них не осталось различных имен. Кроме того,
окрестность \ВД\А_{r, s} не содержит имен, общих с \ВД\А_s или с \ВД\А'_s.
ОПРЕДЕЛЕНИЕ. Положим
c
\
L_1(\ВД\А_r, \ВД\А_s) = --------Д l(a, b),
/
|\ВД\А'_r|\Иx\А|\ВД\А'_s|
a\ВEД\А_r, b\ВEД\А'_s
c
\
L (\ВД\А_r, \ВД\А_s) = ----------Д l(a, b).
2 /
|\ВД\А''_{r, s}|\Иx\А|\ВД\А'_s|
a\ВEД\А''_{r, s}, b\ВEД\А'_s
Здесь через |ч| обозначена длина (разреженной) определяющей
окрестности, то есть число имен в ней.
Легко проверить, что определенная таким образом величина
связи L_2 НЕ ЗАВИСИТ ОТ ПОРЯДКА определяющих окрестностей:
L_2(\ВД\А_r, \ВД\А_s) = L_2(\ВД\А_s, \ВД\А_r).
Величина связи L_2(\ВД\А_r, \ВД\А_s) уже не связана напрямую с общими
именами в \ВД\А_r и \ВД\А_s -- эти имена в ее определении вообще не
участвуют. Оказалось однако, что для реальных списков,
относящихся к древней и средневековой истории Европы, зависимость
связи L_2(\ВД\А_r, \ВД\А_s) от O(\ВД\А_r, \ВД\А_s) остается прежней (такой же, как и
описанная выше зависимость L_0(\ВД\А_r, \ВД\А_s) от O(\ВД\А_r, \ВД\А_s) ). То же верно и
для связи L_1(\ВД\А_r, \ВД\А_s).
Итак, в примерах, относящихся к древней и средневековой
истории Европы (о них -- ниже) было обнаружено, что в основе двух
внешне не связанных друг с другом величин L_2(\ВД\А_r, \ВД\А_s) и O(\ВД\А_r, \ВД\А_s)
лежит некий общий фактор (общая причина), приводящий к их
статистической зависимости.
Таким фактором может являться наличие дубликатовв
хронологических списках имен. В самом деле, как было показано
выше, дублирующие друг друга определяющие окрестности в
хронологическом списке имеют (в среднем) повышенное значение
связи L_0. То же верно и для связей L_1, L_2.
Но с другой стороны, и значение O(\ВД\А_r, \ВД\А_s) для них должно быть
в среднем выше, чем для пар независимых определяющих
окрестностей, так как дубликаты иногда (не далеко не всегда! )
используют одни и те же имена (точнее: использут одинаковые имена
чаще, чем недубликаты, что и приводит к повышению значения
O(\ВД\А_r, \ВД\А_s) ). Таким образом, присутствие в списке Х дубликатов
приводит к прямой зависимости (в статистическом смысле) величины
L_2(\ВД\А_r, \ВД\А_s) от O(\ВД\А_r, \ВД\А_s). Эту зависимость мы и обнаруживаем в
упомянутых примерах.
ЗАМЕЧАНИЕ. Может показаться, что для различения дубликатов в
хронологических списках можно было бы использовать значения
O(\ВД\А_r, \ВД\А_s) с тем же успехом, что и L_0(\ВД\А_r, \ВД\А_s). Отметим, что подсчет
O(\ВД\А_r, \ВД\А_s) вычислительных сложностей не представляет какова бы ни
была длина списка (т. к. сложность его вычисления вообще не
зависит от длины списка).
Между тем, вычисление связей L_0, L_1 или L_2 для реальных
списков, которые содержат сотни и тысячи имен, требует
многочасовых вычислений на современных ЭВМ (сложность их
вычисления пропорциональна квадрату длины списка).
Однако, использование O(\ВД\А_r, \ВД\А_s) в качестве меры связи
отрезков списка, дает слишком ``зашумленную'' картину и не
позволяет, в реальных примерах, надежно определить дубликаты в
нем. Дело в следующем. Если O(\ВД\А_r, \ВД\А_s) велико, то, как правило,
велико и значение L_0, L_1 или L_2.
Но обратное верно далеко не всегда. При больших значениях
связи L_0, L_1 или L_2 соответствующее значение O(\ВД\А_r, \ВД\А_s) часто
оказывается небольшим. Это означает, что дубликаты в значительной
доле случаев используют РАЗЛИЧНЫЕ имена для обозначения одних и
тех же деятелей (иначе они были бы все видны ``на глаз'').
Использование же связей типа L_0 позволяет ``выжать'' из
хронологического списка ту информацию о его структуре, которая на
глаз не видна и определить дубликаты даже в том случае если все
имена, используемые в них, попарно различны.
Для всех рассмотренных нами хронологических списков
использование связей L_0, L_1 и L_2 приводило к одному и тому же
виду ответа (обнаруживались одни и те же системы дубликатов).
Поэтому мы будем иногда говорить просто о связи L, подразумевая
под этим одну из связей L_0, L_1 или L_2.
p3'3'5
5. РАЗЛИЧЕНИЕ ЗАВИСИМЫХ И НЕЗАВИСИМЫХ ПАР
ОПРЕДЕЛЯЮЩИХ ОКРЕСТНОСТЕЙ В ХРОНОЛОГИЧЕСКИХ СПИСКАХ ИМЕН
Перейдем к описанию способа определения порогов в множестве
значений связи $L(\Delta_r, \Delta_s)$, разделяющих зависимые и независимые пары
определяющих окрестностей $\Delta_r, \Delta_s$. Приводимые ниже рассуждения
имеют КАЧЕСТВЕННЫЙ характер. Они оправдываются aposteriori, так
как позволяют получить более четкую картину структуры списка.
Важно, что наиболее существенные черты этой картины
оказываются (во всех рассмотренных нами реальных примерах)
