No caso das medalhas de tags, elas podem ser "confiscadas" caso você passe a não satisfazer mais os critérios para seu recebimento (como apontado por @brasofilo nos comentários) - ao contrário das medalhas "normais", que uma vez que você ganha elas são suas pra sempre.
De acordo com esses dois posts no MSE, retagear uma pergunta afeta sim as medalhas. No caso, era a discussão de um abuso - acrescentar tags para se ganhar mais medalhas - mas pela lógica isso deve funcionar pros dois lados: ao se remover uma tag da pergunta, um usuário que a respondeu pode perder a medalha. Seria bom ter uma confirmação "oficial", mas para todos os efeitos esse deve ser o comportamento esperado na ausência de informação em contrário.