Ótima pergunta. Investigando a sua reputação eu sai com mais dúvidas do que quando comecei.
A aba de reputação pode ser algo bem confuso por envolver privilégios de ver perguntas removidas, questões do sigilo do voto negativo e outras coisas que eu não faço nem ideia do que podem ser (desculpa se desapontei).
Olhando um determinado período da sua aba de reputação pela minha conta que vejo isso:

Já olhando o mesmo período sem estar logado eu vejo isso:

Na maioria dos casos você perdeu pontos que foram reversões de sugestões de edições aprovadas que haviam lhe rendido dois pontos no momento da aprovação e em algum outro momento a publicação foi removida e os pontos descontados, como por exemplo a variação do dia 08/04 nessa questão: 500 Internal Server Error - value assigned to parameter REPORT_SCRIPTLET - IReport 1.3.3
Agora, por que tem por exemplo um +1 nos dias 29/03 e 23/02 que só eu vejo e ainda assim sem nenhuma explicação é algo difícil de entender, e também por que não apareceu para você as variações de reputação que eu vejo nos dias 01/04, 18/03, 11/03, 04/03, dentre outros.
Eu sei que minha resposta responde apenas parcialmente a sua dúvida, mas achei que era melhor do que nada ;-)