Давайте поговорим о том, как можно улучшить систему оценивания задач пользователями.

Для начала пара слов о целях. Оценка задач призвана помочь:
1. Новым игрокам найти наиболее интересные задачи.
2. Модераторам учесть интересы/пожелания игроков, очищая сайт от неинтересных задач.

Напомню, что ранее существовала пятибалльная шкала оценок: 1, 2, 3, 4, 5, - которая называлась "рейтинг". Участвовать в голосовании могли все пользователи, независимо от того, зачтена им задача или нет. Основным недостатком такой системы было отсутствие ясных представлений о критериях голосования. Кто-то оценивал интересность, кто-то - сложность (путая рейтинг задачи с ее весом), да и градация оценок тоже была не совсем ясна.

Около года назад была предложена ныне действующая система голосования, названная "симпатии решивших". Описывать ее не буду, так как все с ней хорошо знакомы. К плюсам этой системы можно отнести простоту и понятность. К минусам - недостаточное количество градаций оценок и тенденциозность получаемых результатов (оценка отражает только мнение тех, кому задача зачтена; общее мнение игроков неизвестно).

Вопрос о предоставлении права на голосование только решившим задачу достаточно неоднозначный.
С одной стороны:
- решившие задачу имеет наиболее полное представление о ней (знают и условие, и ответ), тогда как нерешившие могут судить о задаче лишь по формулировке;
- у нерешивших может возникнуть желание проголосовать против только потому, что они не могут решить задачу.
С другой стороны:
- лишение значительной части игроков права голоса приводит к нерепрезентативности получаемых оценок, особенно по сложным задачам с небольшим числом зачтенных ответов (такие задачи решают преимущественно те, кому они нравятся, поэтому итоговая оценка оказываются завышена);
- если человеку не понравилась задача и он не хочет ее решать, мы об этом никак не узнаем (даже если таких игроков большинство).

Итак, вопрос ко всем: как бы вы предложили усовершенствовать систему голосования?
Это касается всего: названия, дизайна, перечня пунктов, правил допуска к голосованию, методики подсчета итоговой оценки и т.п. Желательно, чтобы новая система оценок удовлетворяла следующим требованиям:
1. Компактность (места на сайте очень мало).
2. Понятность (любому игроку должно быть интуитивно понятно, за что именно он голосует).
3. Достаточное количество градаций оценок, при этом назначение каждого варианта оценки должно быть понятно.
4. Объективность итоговой оценки (чтобы итоговая оценка давала наиболее точное представление об интересности задач для игроков и целесообразности нахождения ее на сайте).

Все, наверное, согласятся, что есть веселые/интригующие условия, обычные и просто скучные/непонятные. Мнение пользователей узнаем только в комментариях. Поэтому было бы, неплохо сделать "СИМПАТИИ" для ВСЕХ игроков, причем дать три варианта (например):
- прикольно
- нормально
- ацтой

А для решивших сделать 5-бальную "ОЦЕНКУ РЕШИВШИХ":
5 - экстаз от решения!!!
4 - ух ты, даже не думал =)
3 - интересная задачка
2 - не интересная задачка
1 - "в топку"
Ведь иногда, решив задачку, хочется просто кричать от удовольствия, какая она клевая, а есть только...

Из серии объять необъятное.
Поставьте счетчик по ip. Считайте сколько прочитало задачу, сколько решило.
Вы хотите облегчить себе задачу анализа отношения всех посетителей к выкладываемым задачам?
Малая посещаемость сайта?

Sunday
Мне кажется, что делать две разные системы оценок для решивших и всех - слишком хлопотно. Да и решившим голосовать дважды - тоже не в кайф. На мой взгляд, всё-таки система голосования должна быть одной и доступной для всех.

Для учета мнения решивших, предлагались два разных подхода:
1. Голос решивших засчитывать с большим весом.
2. Отображать двойную статистику оценок - по всем и только по решившим, например: 4.2/4.9.
Правда, во втором случае будет путаница, где какая оценка.
По этой причине более оптимальным, наверно, является вариант 1.

Минусы обоих вариантов - придется пересчитывать оценку при каждом зачете и отзыве зачета. Так что главный вопрос, стоит ли овчинка выделки: так ли уж необходим особый учет мнение решивших или ограничиться общей оценкой?

---------------

Насчет балльности. Мне тоже кажется, что 5-балльная шкала все-таки оптимальна. Она хорошо всем знакома со школы, так что смысл каждой оценки интуитивно понятен:
5 - отличная (максимальный восторг)
4 - хорошая (понравилась, но не сильно)
3 - удовлетворительная (посредственная)
2 - плохая
1 - очень плохая

Кнопки с цифрами занимают мало места, поэтому их легко разместить на странице. К сожалению, текстовые значения (отличная, хорошая и т.д.) подписывать негде.

Систему оценки можно делать одну, а уже нам не сложно выбрать решил человек задачу или нет.
Конечно, каждый человек мнение по задаче может менять после решения, да и вообще в любой другой момент.


А что если пересчёт статистики делать раз в сутки?


А если сделать два больших пальца вверх, один вверх, два/один вниз и нечто среднее: кулак или вопрос?

Не спорю. Но есть такие задачи ("пилим куб" например), читая условия каких, думаешь "фу, как скучно", но когда решаешь - восторгу нет придела. В первом случае я бы поставил "3", после решения - "6". Если игроки будут видеть обе шкалы, то действительно красивые задачки выйдут из тени "рутинных". А если сделать смайлики? А при наведении на них будет выплывать подсказка с надписью (или как оно называется?)

Тоже была такая мысль. Даже пытался как-то нарисовать два пальца. Но ничего приличного не получилось (но, может, кто-то сумеет).
С пальцами также не совсем понятно соответствие между нажатой кнопкой и итоговой усредненной оценкой. Для числовых значений 1,2,3,4,5 соответствие с средней оценкой более наглядно.


Могу ошибаться, но вроде бы всплывающие подсказки не везде работают.

Почему? По-моему, все понятно... Игрок видит симпатии задачи, например 5.4 и 5 вариантов оценки задачи в виде смайлов/пальцев - очень даже круто!Могу взяться Разве это не от программистов зависит?

например.

Уже в ступоре

Первый смайлик - оценка 5, но чтобы не писать "задача понравилась очень" используем радостный смайлик. Если игрок выбирает его - система считает, что он проголосовал "5" и т.д.

Видите ли, смайлики слишком крупные и слишком яркие. Представьте, что на странице несколько задач и под каждой будут эти изображения. Они будут отвлекать взгляд. Мне кажется, что здесь нужно что-то неброское.

Скажите, пожалуйста, как может нравиться или не нравиться задача, если не знаешь ее решение. Формулировка задачи - это упаковка, внутри которой приз - решение задачи. Может, конечно, кто-то интересуется упаковкой, но мы - не дети, думаю, большинство предпочитают приз. Давайте будем оценивать не задачу вообще, а именно красоту и изящество ее решения. Чем оценивать смайликом, цифрой - вопрос второй, помните анекдот "хоть тушкой, хоть чучелом", главное - иметь информацию о степени удовольствия, которое можно получить решив задачу. Согласитесь, на сайте есть немало задач, мимо которых было бы очень обидно пройти мимо. Почему бы, не рассекретить перечень таких задач. Существует Тор трудно решаемых задач. Может есть смысл создать Тор задач "не проходите мимо"?

Я против попсятины со смайлами, пальцами, звездочками и рвотными пакетиками. Количественного показателя вполне достаточно.
Адекватно оценить задачу можно только решив ее. Можно давать оценивать не решив, но нелья мешать эти оценки с оценками решивших.

Не могу с вами согласиться. Задача - это условие плюс ответ. Чтобы задача понравилась, должно понравиться и то, и другое.


Да нет, давайте все-таки оценивать задачу целиком. Не знаю, как для вас, а для меня решение не имеет самостоятельной ценности. Если условие не заинтриговало, то глубоко наплевать, какой у задачи ответ. А вот гениальные задачи имеют свойство затягивать самой постановкой вопроса. Ты не можешь ни есть, ни спасть, ни работать - всё время думаешь о ней. Причем происходит это еще до того, как узнал ответ!

Вы говорите обидно. "игра в 15". Кто скажет, что условие заинтриговало, пусть бросит в меня камень. Аналогично, пусть поступит тот, кто скажет, что на решение этой задачи глубоко наплевать. Как такая задача может не понравиться??? А ведь, условие то - самое рядовое. Если кто-то и возьмет в руки камень, думаю, это будет лишь то исключение, которое только подтверждает мои слова.
Оставим ненужные споры, боюсь, дискуссия начинает напоминать спор "яйцо или курица". Наша задача должна заключаться в том, что бы посетитель сайта не прошел мимо, например, "игры в 15", как это сделал я пару раз. Думаю, это сделать просто. Повторюсь. Давайте создадим Тор задач "не проходите мимо".
Upd: Кстати, чем может заинтриговать условие, как не предвкушением красивого, изящного, нестандартного, неожиданного решения?