Criaria um mecanismo semiautomatizado que fosse informando o usuário como o site funciona e como resolver seus problemas. Talvez envolvendo alguma forma de IA em algumas partes. A lista de mecanismos específicos é enorme do que pode ajudar. Sempre dando alguma margem para interferência humana, por isso não deveria ser 100% automatizada. O mais importante é ter ações padrões e boas indicações.
Pra mim o grande problema é os usuários terem que lidar com tudo manualmente, junto com os novatos não entenderem o site. Precisava de algo que vá informando como o site é gradativamente. Quase tudo que a pessoa reclama já foi tratado antes. Precisa facilitar pros usuários ativos ajudarem os novatos se adequarem ao site, de forma simples e precisa. Assim reduz o trabalho e a impedância natural que ocorre pelo tratamento mais pessoal.
Isto inclui restrição maior ao usuário que não quer, ou não consegue (analfabeto funcional) seguir as instruções. Tudo tem limite. O que não dá para fazer é lidar com pessoas que não conseguem nem ler e interpretar as mensagens que são postas até pelo sistema. A pessoa reclama de algo que não está acontecendo com a pergunta dela.
Jájá o site fará 15 anos, a computação mudou muito de lá pra cá, hoje este site é ultrapassado.
Ajudaria se os motivos de fechamento tivessem uma aprofundamento e poder escolher um motivo mais específico que o usuário seria notificado. Eu acho que as novas mensagens deixaram tudo muito vago, acho que precisa ser mais detalhado e específico possível. E é loucura acha que todo mundo ficará criando comentários personalizados para cada caso na proporção que temos hoje de muitas perguntas ruins e poucos usuários ativos.
Outro mecanismo que já ajudaria muito até porque acontece com frequência quase inacreditável (e diz muito do comprometimento que a pessoa está quando digita a pergunta): Que tal um alerta para perguntas em outro idiomas?.
Um exemplo de caso que nem precisa de IA: Sistema orientar "automaticamente" usuários em perguntas duplicatas.
Entre as informações que podem ser dadas para a pessoa é indicar um IDE online para ele postar o código de forma que já possa ser verificado, o que pode fazer com que a pessoa ache o erro sozinha. O sistema precisa ser mais assertivo para ajudar a pessoa resolver seu problema sozinho ou então fazer uma pergunta melhor. Relacionado: Por que não integrar o SOPT com o Ideone (ou outra ferramenta do tipo)?.
Outra que ajudaria: Que tal um alerta para perguntas com apenas código?.