Frequentemente, no SO, em geral, eu tenho enfrentado o mesmo caso várias vezes, que se define no seguinte:
Alguém posta uma pergunta, e você acha boa, e da +1 vote, passa alguns minutos e alguém comenta uma coisa que você não tinha percebido mas achou isso mais do que motivo pra retirar seu voto, porém você tenta retirar e não pode até que a questão seja editada, porém na maioria dos casos ela nunca é editada, e você fica com aquele voto ali pra sempre, mesmo querendo com todas as forças retira-lo.
Ou ao contrario: alguém postou uma resposta que você achou ruim e deu downvote, porém alguem comentou algo que fez te enchergar de uma forma diferente e você pensou: "Droga mas isso tá muito certo!" você tenta retirar o downvote, e não consegue, porque o cara nunca mais vai editar a resposta.
Eu acho que isso seria uma Maravilha, e quem sabe poderia ter uma fila de "Revisão" para esses "Pedidos para retirar voto" assim aumentando a responsabilidade dos usuários em manter o SO nos trinques, aumentando a confiabilidade dos Votos investidos em uma pergunta, tornando-a auto explicativa se ela está ruim ou boa, pelos Votos.
O ser humano é passível a errar, pois não é perfeito e por natureza temos a indecisão carregada em nossas costas.
Se temos a possibilidade de desfazer um voto de fechamento, de editar uma pergunta, de editar um comentário, de excluir um comentário, porque não podemos desfazer nossos votos??
Pois os Votos devem expressar a opinião do povo aqui do SO. São a função deles, votos errôneos só dificultariam essa expressão.
Concordam ou discordam?