Recompensa é um assunto que costuma causar desconforto.
Oferecer uma recompensa pode te custar bastante, especialmente se você é novo no site. E normalmente você não tem como recuperar esses pontos - afinal, é o preço que você paga parar ter destaque, aparecer numa seção especial do site, etc.
Responder uma pergunta com recompensa é participar de um jogo diferente do normal do site. Você não está apenas concorrendo contra os outros usuários por uma quantidade ilimitada de reputação, ou um extra de 15 pontos quando sua resposta é aceita. Você está tentando ganhar um prêmio maior, o valor total de recompensa.
Dessa maneira, fechar uma pergunta durante o período de recompensa vai necessariamente frustrar a expectativa de alguém. Ou o autor da pergunta vai ter menos destaque do que pagou pra receber (se a recompensa não for devolvida), ou quem responder perderá a chance de ganhar seu prêmio (se a recompensa for devolvida). Se a pergunta for fechada e depois reaberta, tudo fica ainda mais confuso.
A melhor alternativa, então, é votar para fechar perguntas antes que elas ofereçam recompensa (pra isso existe o período de espera), ou esperar até que o período de recompensa acabe, se for necessário (se a pergunta for reaberta, a recompensa não é afetada).
Em casos extremos, moderadores podem intervir, devolver a recompensa oferecida e fechar a pergunta mas só em casos muito particulares, por conta de tudo que foi dito acima. Particularmente, só ajo assim em casos em que é extremamente provável que a pergunta acabe sendo removida do site (já que isso acaba cancelando a recompensa de qualquer maneira). Se for possível, o melhor a fazer é editar a pergunta e corrigir quaisquer problemas que ela tenha.