Não ligue pra isso. O que mais tem são usuários com o dedo pesado para dar downvote sem ao menos deixar o motivo. É como se estivessem sempre ávidos pra votar negativo.
Você fez certíssimo, em dar o down e ainda deixar o motivo. Parabéns! Poucos usuários fazem isso. Mas eu seria um pouco mais tolerante: antes de dar o down, deixaria uma mensagem alertando o problema, e depois voltava lá e, caso não houvesse resposta ou mudança, aí sim o down.
Mas é o velho assunto já abordado muitas vezes: a subjetividade do voto. Cada um vota como quer, não tem como julgar de forma categórica que foi "vingança". Você pode ter a suspeita de que, como mesmo disse:
[...]a pessoa percebeu que fui eu quem dei o -1 e também deu em minha
resposta..
Como você sabe que foi esse usuário? O melhor é a consciência tranquila de que você contribuiu de forma positiva postando uma resposta correta. Se recebeu -1 por vingança, inveja ou sei lá o que, faça vista grossa pra isso. Usuários com esse tipo de comportamento geralmente não são usuários assíduos e, tenho certeza, sua resposta será valorizada.
Quanto a "tratar uma birrinha", não entre nessa. Se o usuário quiser entrar nesse jogo, dê apenas uma resposta educada e esqueça-o, deixe-o falando sozinho. Em qualquer comunidade, principalmente online, tem muita gente mal educada que se esconde atrás do monitor. Mas os rastros são deixados e todos irão ver quem está levando a sério ou não a comunidade.