|
|
|
|
|
|
||
| |||||||||
|
•
|
А судьи кто? А действительно, прежде чем разбираться в самих программах ранжирующих участников, попробуем разобраться с самими программами. Как определить лучшую программу? На рубеже тысячелетий американский статистик студенческого футбола Кеннет Массей придумал замечательную вещь. Он решил собрать “мнения” все известных ему программ ранжирования и вывести так называемое «консенсусное» ранжирование. С Кеннетом Массеем мы знакомы в Интернете с 1995 г. Как только он создал такую страничку и собрал более полусотни ранжирований 100 с лишним команд дивизиона 1А американского студенческого футбола, написал ему достаточно резкое письмо с доводами против этого. Ведь это – то же самое, что голосованием определять - круглая Земля или нет. Думаю, многие отреагировали бы так на появление подобного консенсуса. Однако, Кеннет продолжал вести эту таблицу рейтингов. И правильно сделал! Ценность такого консенсусного ранжирования не в его результатах, а в собранных «экспериментальных» данных. Имея адреса и «явки» авторов значительно легче разбираться с сутью вопроса. Любое оригинальное ранжирование содержит в себе информацию о той или иной черте самой природы ранжирования. Это очень полезно в понимании самой сути вопроса.
Сколько будет пятью пять, Гоги? Что же касается «консенсуса» или попросту согласия между разными ранжированиям, то открытым остается вопрос о том, надо ли его искать вообще? Первое требование при «голосовании» это «независимость» голосующих. Только в этом случае мы получим более или менее объективную картину. А что мы имеем в случае с ранжированиями? В современном спортивном ранжировании господствует «система Эло» Это нормальная, хорошо обоснованная система для шахмат, которую многие любители ранжирования используют для своего вида спорта. Естественно, изменение некоторых параметров в этой системе не изменяет самого характера ранжирования. Таким образом, большинство выскажется за ранжирование типа Эло. Но это отражает только популярность хорошей системы, не более и не менее. А мы хотим найти «объективно верное» ранжирование. И вполне возможно, что такое ранжирование будет в абсолютном меньшинстве. Как в меньшинстве оказались практики астрономы, опровергавшие систему Птолемея, считавшего Землю пупом вселенной. Одного из новаторов просто сожгли ретивые сторонники здравого смысла. Другого, просто заставили отречься от крамольной идеи. Правда, этот оказался хитрее «зажаренного» правдолюбца, как утверждает легенда, перед смертью он сказал «А все-таки она вертится!» Здравомыслящие, было, кинулись на него с проклятиями, но он был уже не досягаем… Ладно, допустим в ранжировании команд не такая критическая ситуация. Все ранжирования оригинальны и независимы, насколько это возможно. Более того, правые и неправые распределены более-менее равномерно. Одни хорошо разбираются с лидерами, другие - с аутсайдерами, третьи объективно ранжируют середняков. А как проводить голосование? Здесь же многозначные ответы. Здесь не проголосуешь «сердцем» по принципу «да, да, нет, да» Кеннет Массей взял самое простое. Так поступают все, кому надо как-то объединить результаты разных ранжирований. Он просто стал суммировать ранги. Первое место – единица, второе двойка и так далее. Вот он соблазн простой арифметики. Мы избегли его только благодаря тому, что стали в поединках победы, ничьи и поражения обозначать буквами. Если бы в практике ранжирования порядковые номера обозначались не числами а например словами, то вряд ли кто додумался их складывать. Например, в одном ранжировании Иванов «первый», во втором – «пятый» в третьем – «второй». Кто из вас читатель скажет, что слова «первый» «пятый» «второй» можно складывать. Да и вообще что можно сделать со словами? Разве что представить в виде одного слова - «первыйпятыйвторой» Однако, суммируют! И не только ранги футбольных студенческих клубов, но и ранги лидеров мирового бизнеса! Неужели все ошибаются!? В принципе, формально, действительно ошибаются все, кто складывает ранги. Однако есть ошибки и ошибки. Если вы опрашиваете большое число журналистов и просите их назвать тройку лидеров отечественного футбола, как это делает любимый мой еженедельник «Футбол», то вы ошибаетесь совсем немного и, возможно даже, не ошибаетесь вовсе. А если вы «опрашиваете» только четыре показателя, каждый из которых расставляет 2000 участников, как это делает американский журнал «Форбс», ранжируя крупнейшие компании мира, то вы ошибаетесь сильно. Например, загоняете бедного Билла Гейтса на 30-е место, тогда как он вполне может быть оценен как 6-й. Ранжирование, по какому либо показателю, - то же самое что спросить одного журналиста. Только показатель может расставить любое число участников, а журналист, скорее всего, споткнется на первом десятке. Дело в том, что соотношение числа опрашиваемых (показателей) должно быть обязательно больше числа ступенек или числа участников ранжирования. Тогда мы можем пользоваться суммированием, неявно полагая, что распределение рангов одной команды будет близко к нормальному (гауссовому). Статистики наверняка могут доказать это строго и даже оценить ошибки. Нам же, наверное достаточно просто сослаться на то, что существуют математические законы разрешающие, или запрещающие токую простую операцию, как сложение оцифрованных рангов. Вот и получается, что и собирать консенсус ранжирований достаточно бессмысленно, и процедура определения консенсуса достаточно не точное. Позже я приведу пример абсурдности расчета консенсуса. Но до этого давайте определимся с критериями наилучшего ранжирования. Основная причина в невозможности складывать ранги в том, что при этом мы «забываем» кого обошел, или кому уступил данный участник ранжирования. Представьте себе вы сыграли в большом шахматном турнире и заняли там 10-е место. Но вы обязательно подчеркнете своим знакомым, что при этом вы обошли самого мастера Палкина. Или не скажете ничего о том, что после вас оказались лишь четвертокатегорники – Галкин и Залкинд. Как ранжировать сами ранжирования? Для того, чтобы определить критерии оценки ранжирований, займемся правдоподобными рассуждениями. Представим себе, что в одном из ранжирований участник Галкин оказался ниже Палкина. Однако, личный поединок Галкин выиграл. Естественно представить себе, что и сам Галкин и все его поклонники, не вдаваясь в подробности метода, ранжирования будут недовольны. И, в крайнем случае, они вообще откажутся в следующий раз участвовать в соревнованиях, где итоги подводит такая система ранжирования. Организаторы же соревнования естественно заинтересованы в том, чтобы Галкин участвовал и дальше. Они приглашают другого математика, который расставит участников так, что Галкин будет стоят выше Палкина. Все довольны и неудачный автор первой системы уходит дорабатывать свое детище. Однако в спорте не все так просто. Результаты поединков зачастую таковы, что просто невозможно расставить участников так, чтобы все результаты поединков не противоречили итоговому ранжированию. А раз так, то организаторы вынуждены отбирать систему ранжирования по наименьшему количеству «ошибок» Единственным исключением является олимпийская или кубковая система, организованная по принципу – «проигравший - выбывает». Но там свои проблемы о которых чуть позже. Итак – первое, что приходит в голову при оценке систем ранжирования – это подсчет количества «ошибок». Однако любой болельщик скажет, что «ошибка» в ранжировании среди лидеров и ошибка в ранжировании среди аутсайдеров вещи разные. Причем естественно с увеличением числа участников значимость ошибки возрастает. Впрочем, и здесь не все - однозначно. В чемпионатах без выбывания (НХЛ или НБА), принцип роста значимости ошибки, представляется правдоподобным. Если речь идет о российском чемпионате по футболу, с выбыванием 2-х последних, то значимость ошибок растет и у лидеров и у аутсайдеров. И только серединное болото слабо реагирует на ошибки. В конце концов, какая разница – 7-й или 10-й. Впрочем, мы не знаем размеров внеспортивного вознаграждения участников… В простейшем случае можно рассмотреть такую модель. Пусть «значимость» ошибки определяется произведением двух величин – «размером ошибки» и «весом поединка». «Размер ошибки» – разность рангов участников в поединке, который завершился победой младшего по общему рангу. Допустим, в итоговом ранжировании Иванов стоит 5-ым, а Петров – десятым. Но в личном поединке Петров оказался сильнее (лучше) Иванова. В этом случае размер ошибки составит 10 – 5 = 5 баллов (или очков). Эту разность удобно представить в виде Размер ошибки = (N – Ранг Петрова) – (N – Ранг Иванова). Величина N – общее число участников. Ее добавление в выражение разности ничего не меняет. Но такое изменение будет удобно в дальнейшем. Вес поединка – эта величина определяет насколько вообще был важен этот поединок (сравнение) с точки зрения общего ранжирования. Вроде бы понятно, чем больше участников опередили данные спортсмены, тем больше вес поединка. Простейшей мерой здесь можно считать сумму числа участников, которых опередили данные спортсмены (команды). Эту величину выразим через их ранги – Вес поединка = (N – Ранг А) + (N – Ранг В) Взяв произведение Размера ошибки на Вес поединка мы и получим значимость в удобном виде: Значимость ошибки = (N – Ранг А)^2 – (N – Ранг В)^2 Это лишь один из возможных методов оценки значимости ошибки. Возможно его простота окупает нестрогость ее вывода. Сумма значимостей ошибок ранжирования и позволяет нам оценить то или иное ранжирование. Чем меньше эта сумма – тем лучше. Однако это точка зрения болельщиков, или ее еще можно назвать «точка зрения после того». Но вот с точки зрения участников вес всех ошибок должен быть одинаков. В конце концов участнику важнее всего, чтобы с ним не ошиблись, или ошиблись как можно меньше. Эту точку зрения можно назвать «точка зрения до того». (Прошу не путать с кличем чешских болельщиков) Если же нам одинаково важны все ступени ранжирования, то придется ограничится суммой размеров ошибок. Здесь уже важно задать точку отсчета. Возможно с точки зрения участников соревнований именно вторая оценка ранжирования (по весам) более справедлива. Однако с точки зрения болельщиков, зрителей наверняка предпочтительнее учет значимости ошибок. Вот и говори после этого о всеобщем принципе спортивной справедливости… В конце-концов, участникам чемпионата не так и важно, каким способом вы ранжировали и что принимали во внимание. Важно чтобы как можно меньше было ошибок ранжирования, или как можно меньше была сумма “взвешенных” ошибок. Итак, имея набор итогов поединков (сравнений) просто тасуем «колоду» участников и каждый раз считаем либо количество ошибок, либо сумму «значимостей» ошибок. Найдя вариант с наименьшей суммой ошибок, мы и дадим ответ на вопрос кто же чемпион. Вполне возможно, что таких вариантов будет несколько. В таком случае мы должны будем честно признать, что одного чемпиона определить НЕВОЗМОЖНО. И ничего страшного жизнь вовсе не обязана нам давать ответ на все наши вопросы. Конечно, в этой ситуации можно назначать финальный матч, но это уже будет другая система. |
|
|
