О принципах



Сухую статистику надо НЕ мочить, ее надо РАЗМАЧИВАТЬ, можно с пивом ...

271314@mail.ru

У - Енота

О принципах начисления рейтинга

Филимоненков Д.О.
26.10.05

Сам по себе термин "рейтинг" не несет в себе какого-либо конкретного смысла - разные люди понимают этот термин по разному и, соответственно, непрерывно возникают вопросы "а почему рейтинг начисляется так или иначе". Цель настоящей заметки - разъяснить, почему система расчета рейтинга на нашем сайте выбрана именно такой. Кроме того, совершенствование любой системы - процесс длительный, если не бесконечный, а поэтому вторую цель статьи автор видит в том, чтобы, возможно дать основу для дискуссии по поводу методов начисления рейтинга.

Сначала несколько общих рассуждений. Что такое вообще рейтинг? Математически рейтинг - произвольная функция из некоторого множества во множество действительных чисел. Проще говоря, рейтинг - это правило, по которому каждому элементу множество ставится в соответствие некоторая числовая характеристика. Мы будем называть эту характеристику "рейтинг элемента", ну а поскольку у нас речь идеть только о множестве игроков, то "индивидуальный рейтинг игрока". Простейшим вариантом рейтинга является, например, любая таблица футбольного турнира. Рейтингом игрока в этом случае является, например, место, которое он занял.

Отсюда сразу несколько соображений. Эти правила можно устанавливать разными способами. Например, по результатам футбольного турнира можно составить еще и такие рейтинги как "количество набраных очков", "количество побед", "разность забитых и пропущеных мячей" и так далее. Какой из этих рейтингов лучше? А это смотря для какой цели. Например, для определения места в чемпионате правильный рейтинг "количество набраных очков" (это просто в правилах записано). А если мы хотим поднять зрелищность футбола, и для этого бороться с бесцветными ничьими - давайте учредим приз "самая бескомпромисная команда", и для его присуждения будем использовать рейтинг "наибольшее количество побед". А если речь идет о справедливом распределении призовых за турнир, то здесь нужны какие-то еще соображения. Эту тему, на мой взгляд достаточно интересно, развивает Евгений Потемкин, автор так называемого, e-рейтинга.

Легко заметить, что некоторые из рассмотренных рейтингов не являются независимыми. Например, понятно, что "число очков" и "место" взаимосвязаны. Или вот еще. Если посмотреть на формулы e-рейтинга, то видно, что он тоже зависит от числа очков. Чем больше очков имеет команда, тем больше ее e-рейтинг и наоборот. Зачем же рассматривать две системы ранжирования команд? А затем, что раз мы имеем возможность один и тот же порядок игроков задать разными рейтингами, то у нас появляется "степень свободы", чтобы учесть какие-нибудь дополнительные соображения. В зависимости от числа очков мы можем построить как грубый рейтинг "место в турнире", который, однако, нагляден и традиционен, так и более тонкий e-рейтинг, который более справедлив (по мнению его авторов) при распределении призов. Такие вот дополнительные соображения и будем называть "принципами рейтинга".

Таким образом, видим, что разработка рейтинга включает в себя следующие этапы:

Выбор основной цели рейтинга (по какому показателю будем упорядочивать?)
Выбор объекта, к которому рейтинг применяется (Кого рейтинговать будем?)
Выбор принципов рейтинга
Построение собственно рейтинга

Теперь применительно к нашему проекту. Выбор цели: основной целью рейтинга является ранжирование участников турниров в зависимости от из результатов в турнирах в разных играх. Своего рода чемпионат в многоборье. И все. Никакого другого смысла во фразу "игрок A имеет больший индивидуальный рейтинг, чем игрок B" мы не вкладываем. И более того, было бы просто ошибкой пытаться ранжировать по двум показателям сразу. Для иллюстрации могу предложить следующее математическое упражнение: попробуйте задать какой-нибудь порядок для точек на плоскости, а потом доказать какое-нибудь геометрическое утверждение, опираясь на свойства этого порядка. Что вы сможете сказать, кроме того, что "вот порядок"?

Далее. Выбор объекта. Ну, тут все вроде бы понятно: ранжировать будем игроков. Только вот надо быть чуть более аккуратными. Следует помнить, что общая задача проекта не спортивная, а исследовательская, а поэтому во-первых, не следует заставлять участников проекта быть в рейтинге, если они того не хотят. Отсюда первое уточнение: рейтинг начисляется только тем участникам, которые играют в турнирах, заранее объявленых как "рейтинговые". И при этом разработчикам сайта следует взять на себя заботу о том, чтобы нерейтинговые турниры тоже имели место. Во-вторых, раз уж спортивная сторона проекта все-таки присутствует, то следует заботиться о том, чтобы на начисление рейтинга на влияли никакие обстоятельства, кроме спортивных результатов турнира. В частности, необходимо позаботится, чтобы все желающие имели равную возможность играть в рейтинговых турнирах. И раз уж проект предполагает наличие турниров с ограниченным доступом (так называемые "корпоративные"), то с необходимостью превозглашается правило: "корпоративный турнир не может быть рейтинговым".

Теперь о принципах рейтинга. Вообще-то их выбор довольно произволен. Некоторый обзор вариантов применительно к игре "Что? Где? Когда?" предлагает Константин Кноп. Взятый у нас набор принципов в целом навеян идеями профессора Эло, автора известного шахматного рейтинга. Популярное их изложение можно найти, например, в книге Е.Я.Гика "Шахматы и математика". Во-главу угла положено следующее соображение: более весомые достижения должны поощряться большим приростом рейтинга. Ну, то есть, если мастер выигрывает у новичка, то он ничего особого не показал, если его поощрять приростом индивидуального рейтинга, то не очень сильно (а то ведь так и будет слабых обижать). С другой стороны, если игрок, потратив на эксперименты время и накопив за счет собственных поражений статистику в турнирах показывает сильный результат, то он должен быть поднят в рейтинге достаточны высоко, так как именно такое исследовательское поведение и является целью проекта в целом. Нам кажется, что этот принцип соответствует так "проблеме 2" у Константина Кнопа.

Теперь о реализации. Раз нам нужно сравнивать силу противников, а рейтинг по нашему замыслу и есть показатель такой силы, то первым данным, которое будет использоваться в расчете, является текущий рейтинг игрока R_тек. Далее, раз нам нужно оценить силу противника, а противником у нас является вся совокупность других игроков, а не какой-то конкретный игрок (именно в этом специфика игр в нашем проекте!), то и в качестве характеристики противника следует брать некоторую обобщенную их характеристику. В этом качестве наиболее естественным выглядит средний рейтинг турнира. И теперь следует вычислять изменение рейтинга в зависимости от разницы между R_тек и средним рейтингом турнира. Обозначим эту разницу dR.

Теперь для каждого игрока рассчитаем его ожидаемый результат. Общая идея такова: если результат участника совпадает с ожидаемым, то значит относительно своих предыдущих результатов он никак не изменился, и следовательно, не должен измениться его рейтинг. Если он показывает результат выше ожидаемого - рейтинг должет расти. Ниже - падать. Все просто.

Какой результат считать ожидаемым? По итогам турнира мы получаем таблицу, которая так или иначе расставляет игроков по местам в данном турнире. Заметим, что места в конкретном турнире зависят от набраных очков, но сама процедура подсчета очков зависит от правил конкретной игры. А мы строим рейтинг, по которому собираемся определять победителя в многоборье! Следовательно, процедура подсчета ожидаемого результата не может опираться на ожидаемое число очков, а поэтому ожидаемый результат можно указать только в терминах занимаемого по итогам турнира места. А это в свою очередь зависит от того, скольких противников данный игрок оставил позади себя, скольких пропустил вперед и со сколькими поделил места. Это можно математически описать, например, следующей процедурой: за каждого противника, которого игрок обогнал, начислим ему один учетный балл, а за каждого, показавшего с ним одинаковый результат - половину учетного балла. Таким образом, победитель получит N-1 учетный балл, где N - общее количество участников турнира (конечно, если не было дележа первого места), а остальные игроки - меньшее количество баллов, которое может быть выражено в процентах от максимального.

Итак, нужно сравнить, какой процент от максимально возможного количества баллов мы можем ожидать от игрока, и сравнить с реально полученным результатом. Осталось выяснить, чего от игрока можно ожидать... Тут соображения следующие. Вообще-то никто никому не гарантировал, что даже более сильный игрок будет непременно выигрывать у более слабого. Как писал Юрий Ряшенцев, "и что такое рыцарь без удачи?!". Все игры допускают наличие случайных стратегий, и, следовательно, ожидаемый выигрыш (напомним, он меряется в процентах от максимального числа учетных баллов) есть случайная величина от dR. Так как туринры повторяются, а результаты их представляется разумным считать независимыми между собой, будем полагать, что эта случайная величина является нормально распределенной.

Нормально распределенная случайная величина характеризуется, как известно, двумя параметрами: матожиданием и дисперсией. Если для какого-то игрока выполнено dR=0, то это означает, что его сила равна силе "среднего игрока турнира". Следовательно, если он покажет в турнире средний результат, то значит по отношению к своим предыдущим результатам он никак не изменился, и, следовательно, рейтинг его измениться не должен. Все это как раз и означает, что матожидание с необходимостью должно быть равно нулю. Что же касается дисперсии, то она является параметром, задающим "масштаб" рейтинга, ее выбор произволен, и под влиянием рейтинга Эло на сегодня она выбирается так, чтобы значению dR=200 соответствовало значение ожидаемого выигрыша 75%. Другими словами, дисперсия выбрана так, чтобы игрок, чей индивидуальный рейтинг на 200 пунктов выше среднего рейтинга турнира, для неухудшения текущего положения должен оказаться в верхней четверти таблицы.

По окончании турнира смотрим, какой процент условных баллов от максимально возможного числа набрал конретный игрок (N_Факт). Кроме того, по описаной процедуре вычисляем, сколько условных баллов следовало ожидать от игрока (N_Ож). Далее новый рейтинг вычисляется по формуле

R_Новый = R_тек + 10*(N_Факт-N_Ож).

Все.

Приведенных алгоритм обеспечивает расчет изменения индивидуального рейтинга для для каждого участника турнира, то есть для получения конечного значения нужно знать начальное. А как быть с теми, кто играет в первый раз? Тут ответ простой - каждому игроку, впервые участвующему в турнире присваивается начальный рейтинг 1500. Собственно, величина начального рейтинга не имеет никакого значения, так как для вычисления ожидаемого результата используется разность между рейтингом игрока и рейтингом турнира, а с изменением начального рейтинга эти величины изменяются на одно и то же число. Так что выбор этой величины делался из чисто эстетических соображений - нехорошо иметь в таблице отрицательный рейтинг, 1500 должно быть достаточно, чтобы отрицательных чисел не появилось. Впрочем, может это и не так - будущее покажет.

Есть и еще одно соображение, которое правильно считать дополнительным принципом построения рейтинга. Можно представить себе такую ситуацию: игрок неплохо выступает в одном или нескольких турнирах, добивается высокого рейтинга, и в дальнейшем начинает уклоняться от участия в турнирах, чтобы без риска сохранить высокое место в таблице рейтингов. Такая ситуация очевидно противоречит общим целям проекта. Для того чтобы избежать этого, вводится правило: игрок, не участвующий в соревнованиях достаточно длительное время автоматически исключается из рейтинга. На сегодняшний день правила говорят, что "достаточно длительное время" - один год. Однако именно этот момент в текущем рейтинге представляется наиболее спорным, и, возможно, практика покажет, что этот период следует пересмотреть в сторону уменьшения.

Суммируем сказанное. Предложеная система подсчета индивидуальных рейтингов игроков а) не зависит от специфики конкретных игр б) чувствительна к относительной силе игроков, показаной в предыдущих турнирах. в) предусматривает некоторые меры для поощрения к участию в турнирах. Наверное, правильным будет также перечислить те выводы, которые НЕ могут быть получены из этой системы. Во-первых, рейтинг не позволяет сказать что-либо об абсолютной силе игрока - все зависит еще и от противников, с которыми приходится встречаться. Во-вторых, наш рейтинг не позволяет сравнивать относительную силу игроков, выступавших в разные периоды времени. Если у игрока индивидуальный рейтинг такой же, как и, скажем, три года назад, то это вовсе не означает, что игрок остался на том же уровне. И наконец, рейтинг не в состоянии быть объективным показателем для игрока, имеющего небольшое количество игр. Наш рейтинг - показатель статистический, и, следовательно, не является обязательно правильным - он лишь стремится к правильному значению, когда число испытаний (в нашем случае - турниров) становится достаточно большим. Последняя формулировка не совсем аккуратная с математической точки зрения, но суть отражает в общем-то верно.

И самое последнее. Все в наших руках и, как было сказано в самом начале, текущая ситуация предполагает дальнейшее развитие. Вот несколько вопросов, ответы на которые могут привести к изменениям в рейтинге. Начнем с того, что есть ряд параметров, которые были приняты без какого-либо обоснования, и сейчас представляют из себя просто масштабирующие переметры. Прежде всего это величина дисперсии при определении ожидаемого результата игрока, а во-вторых, это величина начального рейтинга для новых игроков. Например, подход может быть следующим: раз при текущем наборе принципов эти параметры остаются "степенями свободы", то, может быть, можно указать какие-нибудь дополнительные принципы, которые можно воплотить без ущерба для уже превозглашенных. Другой вопрос, требующий решения - правила для выбытия из рейтинга игроков, покинувших проект. И вообще, есть ли возможности в рамках данной схемы выработать процедуры, поощряющие более активную игру.

Если Вам интересны затронутые в этой заметке проблемы, мы были бы рады обсудить их с Вами. Пишите нам или воспользуйтесь гостевой книгой на нашем сайте. Можно также встретится на личной странице в "Живом журнале" автора статьи.

Спасибо за интерес к нашему проекту.

Copyright Eugene Potemkin 1985 - 2008 271314@mail.ru. Last updated: 07/11/08.
Самые неприступные крепости в головах наших ...