A pergunta Desenvolvendo um WebCrawler em Python está bem votada e possui uma resposta na mesma situação, mas estou incerto se devo ou não votar pra fechar:
- Não está claro se é uma pergunta de recomendação ou se o AP espera algo diferente das resposta;
- Não está claro sequer o que se espera que recomende: uma ferramenta ou um tutorial?
- A edição sugere que ele quer um passo-a-passo, mas a resposta recebida só indica ferramentas prontas.
- Os critérios estão um tanto vagos, primeiro ele fala de obter valores de tags HTML no conteúdo buscado e salvar num BD, depois diz que é só para "obter somente textos de links especificos";
- Por fim, o que está sendo pedido me parece amplo demais (lembrei logo do quebra-cabeça numa resposta do Gabe), pois envolve "crawlear", interpretar o HTML e salvar resultados num BD.
O que acham? A pergunta está boa como está, precisa ser melhorada, devia ser fechada? Poderia simplesmente votar pra fechar como "não clara", mas prefiro sugerir algo concreto pro AP fazer em vez de simplesmente dizer "está ruim, se vira"...
pergunta-especifica
, acabamos com um monte de perguntas tipo "o que há de errado com essa pergunta?" "essa pergunta pode ser reaberta?" "essa pergunta é isso? essa pergunta é aquilo?" etc. Com o tempo, não sei onde isso vai dar... (no Meta.SO, esse tipo de pergunta fica assim mesmo?)