Rant mode on
Acredito que uma parcela significativa das pessoas que passam algum tempo moderando o site já viveu alguma experiência frustrante com as auditorias de moderação.
Existem muitas perguntas que receberam upvotes / downvotes por receber. Além do fator "voto de ocasião", temos ainda mudanças "ideológicas" do site (vide discussão no chat) que invalidam decisões anteriores.
Enquanto entendo que não há como implementar auditorias perfeitas (e sei que o algoritmo de auditoria ainda está sendo calibrado), acredito que há espaço para melhorias nessa frente.
Partindo do pressuposto que a hipótese testada pela auditoria seja "O usuário que está moderando não está prestando atenção no que está fazendo", devemos tentar evitar ao máximo tanto erros do tipo I quanto erros do tipo II. Se a ideia da auditoria é garantir que os usuários prestem atenção naquilo que estão fazendo é importante evitar perguntas que induzam ao erro. Não queremos usuários que estão prestando atenção falhando testes de auditoria da mesma forma que não queremos usuários que não estão prestando atenção passando na auditoria.
Ilustrando o problema
Eis o último exemplo de auditoria em que falhei:
Não é que a pergunta em questão não seja "salvável". Porém a escolha de palavras do OP foi confusa. No meu caso foi difícil entender que por "exibir a linha" o que o OP realmente queria fazer era incluir double tInicio
na compilação.
Meu instinto natural nesse caso seria votar para fechar a pergunta como "não está clara o suficiente".
Na sequência minha intenção era deixar um comentário pedindo para o OP clarificar a pergunta. Por sinal o @bigown fez o mesmo em julho, ou seja, me parece que meus instintos estavam corretos (ou ao menos tão errados quanto os instintos de outro moderador experiente).
Enfim, nesse caso realmente a "Auditoria de análise falhou". Porém não acho que minha análise falhou (isso é, continuo achando que existem problemas com a pergunta).
Reação típica: Vamos driblar a auditoria!
É claro que, sabendo que eventualmente posso estar sendo auditado, é possível contornar a auditoria seguindo alguns passos mecânicos:
- Abrir as perguntas em uma nova aba/janela
- Verificar o número real de votos
- Se número de votos na pergunta real é diferente do número de votos na janela de auditoria então tome a mesma decisão que a comunidade tomou na pergunta real.
Mas isso não significa que eu estou prestando mais atenção do que antes no que estou fazendo. Pelo contrário, estou adotando passos mecânicos para fazer com que o sistema de auditoria pare de me atucanar.
Sugestão para melhorar a auditoria
Meu ponto aqui é: Há algo que possa ser feito para melhorar o sistema de auditoria e minimizar esse tipo de coisa?
Minha sugestão é incluir um link "Eu discordo da auditoria, acredito que existam problemas reais com a pergunta/resposta" quando alguém falhar na auditoria.
Perguntas marcadas dessa maneira poderiam cair em uma fila de moderação e, com um número suficiente de votos descartaríamos perguntas problemáticas dos testes. A votação nesse caso impediria que usuários abusassem do mecanismo de "auditoria da auditoria".
O que vocês acham? Alguém tem uma sugestão melhor? Outras pessoas estão satisfeitas com o sistema de auditoria ou vocês possuem mais histórias de horror para contar?