Devem apenas ser fechadas as perguntas cuja duplicata já tem resposta?
Sim.
Essa resposta deve estar aceite?
Se não estiver aceita, pelo menos deve ter uma pontuação positiva, caso contrário o próprio sistema te impedirá de votar para fechar a pergunta.
O fato de não exigir uma resposta aceita é por que muitas vezes os APs abandonam suas perguntas e nunca voltam para aceitar a resposta, mas a pergunta já foi respondida do melhor jeito possível só não foi marcada como aceita.
Um belo exemplo é a Quais são as técnicas para se fazer animações baseadas em scroll?, que já está perfeitamente respondida entretanto sem nenhuma delas aceitas, mas já possui 5 outras perguntas marcadas como duplicada dessa.
Ou devem ser consideradas como candidatas a ser fechadas todas as perguntas que já tenham sido feitas?
Não adianta você fechar uma pergunta só por que outra pergunta similar já existia antes, mas não possui uma resposta. As pessoas perguntam no site para obterem respostas, e não para ganharem um tour entre diversas perguntas de pessoas que tiveram a mesma dúvida e não obtiveram nenhuma resposta.
O fato de já existir uma pergunta similar não muda o fato de que a pergunta mais nova possa ser uma duplicada dela, mas a pergunta mais antiga simplesmente não é útil para o AP da pergunta nova.
Se se tratar de um usuário novato, nem se pode argumentar que "ele que ofereça uma recompensa na pergunta já existente". Se se tratar de um usuário que tenha o privilégio de edição, pode ser que ele decida sequestrar a pergunta mais antiga para poder inserir mais detalhes nela ou para tentar descrever melhor o problema.
Por todos esses motivos, não faz sentido em fechar como duplicada uma pergunta que não tem resposta em lugar nenhum do site.
Alguns trechos da minha resposta se basearam nessa outra resposta: This question does not have an upvoted or accepted answer. (PS: eu votei contra a resposta aceita nesse link.)