10

ATUALIZAÇÃO: O período de testes terminou, mas como a mudança foi bem recebida pela comunidade, optamos por não voltar a configuração para 5 votos enquanto os dados são analisados.

Por favor me digam se há algum problema quanto a isso, ou se vocês acham que deveria voltar para 5 votos, nem que seja temporariamente. Estarei de volta em algumas semanas com os resultados.


Para entender o impacto do Teste dos 3 votos para fechar perguntas, temos que entender o impacto que ele está tendo em vocês. Gostaria de pedir a quem quiser que responda a esta pergunta e nos conte sobre sua experiência nas últimas semanas.

Que tipo de coisa você gostaria de saber (sintam-se à vontade para falar sobre todas, ou nenhuma, ou sobre algo que não foi mencionado):

  • Está ajudando?
  • Está atrapalhando?
  • Você se interessou mais em votar para fechar/reabrir? Ou menos?
    • Há outras coisas além dos 3 votos que mudam o seu interesse em analisar os fechamentos e reaberturas?
  • Se você não pode votar mas pode sinalizar, você passou a sinalizar mais? Ou menos?
  • Gostaria de voltar para 5 votos?
  • A mudança deveria ser permanente?
  • Depois que o teste for concluído, o que você gostaria que eu analisasse?
  • Houve algum efeito colateral (seja bom ou ruim) que você gostaria que eu soubesse?

Estas são apenas ideias, então sintam-se à vontade para acrescentar qualquer coisa que você ache que valha a pena. O foco é: como você está se sentindo sobre o teste e quais dados gostaria que eu olhasse, então não precisa responder como se você tivesse que analisar os dados dos últimos 30 dias - embora você possa fazê-lo se achar necessário.

Caso tenham alguma dúvida, fiquem à vontade para perguntá-las aqui também.

O teste continuará até 21 de Junho, quando então voltaremos a configuração para 5 votos de fechamento, e eu revisarei as respostas daqui e começarei a analisar os dados coletados.

1
  • 1
    Passado algum tempo o nível de uso dos votos de fechamento está muito baixo, e a mudança serviu mais para reabrir perguntas ruins que nunca deveriam ser reabertas e que se o moderador fechar de novo é chamado de autoritário. Ficou fácil um pequeno grupo, até mesmo combinado, reabrir perguntas, ainda que não aconteça tanto, mas que antes praticamente não acontecia porque achar 5 pessoas é mais difícil que achar 3. A melhora no fechamento é bem pequena, já que o maior motivo das pessoas não fazerem é que seu nome fica exposto, elas preferem o negativo anônimo.
    – Maniero Mod
    Commented 19/09/2021 às 12:18

4 Respostas 4

10

Minha impressão é que tenho visto mais perguntas fechadas pela comunidade (por não-moderadores). Isso não quer dizer "muitas", e sim "mais do que tinha antes do teste" (considerando que o volume de fechamentos do site sempre foi alto, se comparado a outros sites da rede, claro).

Acho que um dado interessante seria analisar quantas perguntas (antes do teste) ficavam com 3 ou 4 votos de fechamento e permaneciam abertas, versus quantas ficaram com 2 votos durante os testes (ou seja, faltando apenas um voto). Desta forma saberíamos quantas perguntas que deveriam ser fechadas não foram, mas seriam se a quantidade de votos necessários fosse 3 (e se essa quantidade de perguntas "quase fechadas" mudaria tanto assim).
Acho que no fim isso seria algo como: "Com 5 votos essas perguntas não foram fechadas, mas se fosse com 3, seriam. E com 3 votos, a quantidade de perguntas que só faltou um voto pra fechar caiu/subiu em X%". Pois um dos problemas atuais é que tem muita coisa que deveria ser fechada mas não é (e aí surgem respostas ruins, o site vai ficando mais poluído, a qualidade geral cai, etc).

Eu também passei a votar mais, pois ao notar um certo aumento nos fechamentos, senti que meu voto "valeria a pena" em muitos casos. Antes, com 5 votos, muitas vezes você vê que a pergunta ficou esquecida (passou batido) e não adianta muito dar o terceiro voto, sendo que ainda faltariam dois (não tenho dados, mas já vi vários casos em que eu votei mas no fim a pergunta não foi fechada). Só que isso gerou outro problema: todos os dias estou gastando todos os meus 24 votos de fechamento, e eles não são o suficiente para fechar tudo que precisa.

Parte do problema é que a comunidade não está tão ativa. São poucos os usuários ativos com pontuação suficiente para votar para fechar. Aliás, seria possível ver se aumentou a participação? Algo como: usuários que passaram a votar mais durante o teste (ou que não votavam antes e passaram a fazê-lo). Tenho visto um caso ou outro, mas seria interessante saber se - e quanto - aumentou a quantidade de usuários efetivamente votando.


Por fim, digo que, embora eu seja totalmente a favor de manter a configuração de 3 votos, ainda sinto que estamos tratando do sintoma, e não da causa. Afinal, se há tantas perguntas para serem fechadas, é porque as pessoas não estão conseguindo fazer uma pergunta dentro do escopo. E por que elas não estão conseguindo isso? Talvez porque a interface não ajude:

  • a página de fazer pergunta é, com todo o respeito, uma piada de mau gosto, já que eu posso basicamente digitar qualquer coisa ali que mesmo assim ela diz que "a pergunta está ok" (se ela fosse um wizard que de fato guiasse o usuário, orientando a fazer uma boa pergunta, colocar um MCVE, etc, quem sabe diminuiria a quantidade de perguntas mal-feitas)
  • de forma geral, a interface do site deveria guiar o usuário, como sugerido aqui, e a comunidade deveria cuidar apenas das exceções. Hoje é o contrário, e nós temos que fazer todo o trabalho de orientação, e isso não escala bem (ainda mais porque são poucos os que ainda tentam fazer isso)

English version

My impression is that I've seen more questions closed by the community (non-mods). This doesn't mean "lots of questions", just "more than it was before the test" (considering, of course, that our closing volume was always high, comparing to other network sites).

I think it'd be interesting to know how many questions (before the test) stayed with 3 or 4 close votes and remained opened, versus how many stayed with 2 votes during the test (aka just one vote missing). With this, we could know how many questions that should be closed weren't, but they would if only 3 votes were enough (we'd also know if the amount of "almost closed" questions would change that much).
For short, I'm suggesting: "With 5 votes these questions weren't closed, but with 3, they would be. And with 3 votes, the amount of almost closed questions changed X%". Because one of our current problems is that many questions that should be closed remain opened (and then they receive bad answers, the site's noise increases, and overall quality drops, etc).

I'm also voting more than before, because I feel that "my vote counts" more now. With 5 votes, many times the question seems to be "forgotten" and casting the third vote isn't worth it, because it'd still need 2 more (I don't have the data, but I've seen many cases that I voted and question wasn't closed). But this has created another problem: everyday I'm casting all my 24 votes, and that's not enough to close everything that needs to be closed.

Part of the problem is that the community is not so active anymore. There are few users with the close-vote privilege who actually cast their votes. BTW, would it be possible to see if the participation increased? Something like: users who started casting more votes during the test (or who never voted before and started doing it). I've seen one case or another, but I'd like to know if - and how many - users have been actually voting.


As a side note, I must say that, although I'm totally in favor of keeping the 3-vote config, I feel like we're treating the symptom, not the cause. After all, if there are so many questions that deserve closure, it's because people aren't figuring out how to do an on-topic question. And why? Maybe because the site UI doesn't help:

  • the Ask Question Page is, with all due respect, a shame, because I can basically type anything and it says "it's ok" (what if this page was an actual wizard, that helps and guides the user about how to ask a good question, put a Minimal Complete Verifiable Example, etc, maybe we'd have less off-topic questions)
  • in a general way, the site UI should guide the user, as suggested here, and the community could handle only the exceptions. Today is the opposite, and we have to do all the guiding job, and that doesn't scale well (partly because there are few active users doing it)
9

Está ajudando?

Sim. Algumas vezes aconteceu da pergunta receber dois votos de fechamento e o terceiro demorar a chegar, dando tempo da pergunta receber uma resposta, mas me parece bem melhor do que antes. Vi várias perguntas fechadas sem votos de moderadores. "Várias" comparadas com o período de 5 votos.

Está atrapalhando?

Não. Para falar a verdade, não consigo imaginar como isso atrapalharia a não ser com "guerras de votos" ou com votos de má fé. Acredito que, por termos poucos usuários votando com consistência, não vi acontecer nenhuma dessas coisas.

Você se interessou mais em votar para fechar/reabrir? Ou menos?

Mais. Do meu ponto de vista, meu voto tem mais significado agora, já que, em alguns casos, demoravam-se semanas até juntar cinco votos.

Além disso, cheguei a "zerar" minha fila algumas vezes. Antes tinham algumas centenas de perguntas para votar para fechamento. Acredito que pouco mais de 50% dos meus votos de fechamento foram dados nesse período de testes.

Há outras coisas além dos 3 votos que mudam o seu interesse em analisar os fechamentos e reaberturas?

Meu voto faz a diferença. Foi o que mais me motivou a votar. Não está diretamente relacionado aos "3 votos", mas é uma consequência disso.

Medalhas. Não tenho as medalhas de 1.000 votos em Fechamento nem Abertura, mas a nova possibilidade de "repetir" as medalhas a cada 1.000 análises me dão mais vontade em continuar analisando as filas do que antes.

Gostaria de voltar para 5 votos?

Não. Obrigado :)

A mudança deveria ser permanente?

Sim. Não vejo porque diria não. Talvez no futuro faça sentido aumentar os votos novamente, mas hoje creio que 3 seja um bom número.

Depois que o teste for concluído, o que você gostaria que eu analisasse?

Tem algumas estatísticas que eu gostaria de ver, tanto para fechamento quanto para a abertura. Todas as sugestões abaixo devem ser feitas sobre o período de testes (3 votos) e o período anterior (5 votos) de mesma quantidade de dias, com o objetivo de comparação.

  • Quantidade de usuários que votaram;
  • Mediana de votos por usuário;
  • Quantidade total de votos;
  • Representatividade percentual de perguntas fechadas/reabertas pela comunidade (ou moderador como último voto) e moderador;
  • Representatividade percentual de perguntas fechadas/reabertas dentro de 24 horas.

Houve algum efeito colateral (seja bom ou ruim) que você gostaria que eu soubesse?

Sim. Pela primeira vez, gastei todos meus votos de fechamento em um dia, 6 horas antes da contagem reiniciar. Não vejo porque limitar em uma quantidade tão baixa de votos por dia. Talvez pudesse ser como as sinalizações, aumentam conforme você vota mais.


English

Did this help?

Yes. Sometimes it happened that the question received two votes to close and the third one took longer, allowing time for the question to receive an answer, but it seems much better than before. I saw several closed questions without moderators votes. "Several" compared to the 5-vote period.

Did it hurt?

No. As a matter of fact, I can't imagine how that would get in the way other than "vote wars" or bad faith votes. I believe that because we have few users consistently voting, I didn't see any of these things happen.

Did it make you more interested in close/reopen reviewing? Less?

More. From my point of view, my vote is more meaningful now, since in the 5-vote system, some posts took weeks to close.

Also, I even "finished" my queue a few times. Before, I had a few hundred questions to vote for closing. I believe just over 50% of my closing votes were cast in this testing period.

Are there things other than 3-vote close impacting your interest in reviewing?

My vote makes a difference. That's what motivated me the most. It's not directly related to the "3-vote", but it's a consequence of that.

Badges. I don't have the 1,000 vote badges for Closing or Opening, but the new possibility to "repeat" the medals every 1,000 reviews makes me more willing to continue reviewing the queues than before.

Would you prefer to go back to 5?

No. Thank you :)

Should it be permanent?

Yes. I don't see why I would say no. Maybe in the future it makes sense to increase the votes again, but today I think 3 is a good number.

What would you like me to look into when it comes to analyzing the data from the test?

There are some stats I would like to see, both for closing and opening. All suggestions below should involves the testing period (3-vote) and the previous period (5-vote) of the same number of days, for comparison purposes.

  • Number of users who voted;
  • Median votes per user;
  • Total amount of votes;
  • Percentage representation of closed/reopened questions by the community (or moderator as last vote) vs moderator;
  • Percentage representation of closed/reopened questions within 24 hours.

Were there any side-effects (good or bad) that you want me to be aware of?

Yes. For the first time, I spent all my closing votes in one day, 6 hours before the count resets. I don't see why limit it to such a low number of votes per day. Maybe it could be like flags, they increase as you vote more.

6

O período de testes acabou mas a mudança está em vigor. Vou dar minha opinião de moderador fazendo uma análise um pouco mais profunda (mas sucinta no texto).

Está ajudando?

De forma geral, está.

Está atrapalhando?

Sim, também está.

Você se interessou mais em votar para fechar/reabrir? Ou menos?

Eu quis votar menos para dar chance às pessoas de fechar agora que poderia ser mais efetivo.

Mas eu me senti um pouco mal por deixar aberto coisas que deveria ser fechadas na hora. Por isso fechei algumas coisas imediatamente.

Há outras coisas além dos 3 votos que mudam o seu interesse em analisar os fechamentos e reaberturas?

Eu já não sei mais o que fazer para mudar a disposição das pessoas de votar, acho que todo mundo perdeu o interesse porque todo o sistema não funciona. Muita coisa precisaria ser mudada, mas todos sabem também que isto não acontecerá, é bem desestimulante.

Na verdade meu caso é que acabou me desestimulando também, estou em um pouco que acho melhor não "brigar" mais com oque está aí. è enxugar gelo e as ferramentas não são adequadas. Quase todo mundo que usa o site não o faz de forma adequado para qual ele foi idealizado, e é difícil para as poucas interessadas nisso manter o controle. Acaba sendo frustrante para todos. Hoje o SOpt é só um mural de helpdesk cheio de perguntas ruins, duplicadas, com respostas que só ajudam a pessoa que perguntou, ou nem isso porque muitas estão eradas total ou parcialmente. O SOpt mais recentemente é uma fonte de fake news sobre programação. E há muitas pessoas interessadas nisso.

Se você não pode votar mas pode sinalizar, você passou a sinalizar mais? Ou menos?

Vi isto ocorrendo um pouco, mas durou pouco. Não só sinalizar, mas as pessoas pararam de votar de novo. Houve um estimulo inicial durante o teste só, agora até estamos pior do que estava antes. Tem muitas perguntas bem ruins, sem nenhuma chance de obterem boas respostas que recebem zero votos para fechar.

Gostaria de voltar para 5 votos?

Sim para reabrir. Algumas reaberturas aconteceram porque o autor da pergunta mais duas pessoas que quiseram dar respostas ruins conseguiram reabrir algo que com 5 votos não seriam reaberta. A solução seria um moderador refechar e criar problema com a comunidade ou deixar aquele problema livre no site. Isso desestimula o moderador fazer seu trabalho.

A mudança deveria ser permanente?

Na verdade para fechar, se puder 1 voto, já não resolve o problema de conteúdo ruim, de tão prevalente que ficou e tanto que a comunidade desistiu. Ajudaria, claro, mas não resolve o problema. A solução dependeria de uma mudança muito mais radical.

Depois que o teste for concluído, o que você gostaria que eu analisasse?

Infelizmente toda mudança necessária para manter a qualidade não será feita, até porque aos poucos muitas cosias já foram pedidas e negadas. Até coisas muito simples, até mesmo pontuais, não são resolvidas.

Houve algum efeito colateral (seja bom ou ruim) que você gostaria que eu soubesse?

Além do exposto eu quero reforçar que a comunidade teve uma atuação mais forte durante os testes (isso quer dizer que meia dúzia de pessoas se esforçaram mais) e depois houve um relaxamento maior. As pessoas perceberam que não tem solução mesmo. 3 votos para fechar ajudou mas não resolveu o problema do excesso de má qualidade do site.

Só haverá uma solução o dia que a SE reconhecer que o problema é bem grande e determinar que ele precisa ser solucionado custe o que custar.

No momento está ruim usar o site. è muito ruído e pouco estímulo. E acho que falo por todos. Cada um tem um jeito de pensar, mas acredito que de formas diferentes todos veem o site como um problema. Ou ele melhora de vez ou deixa piorar de vez, pelo menos isso agradará algumas pessoas, atualmente agrada ninguém.

A não ser que ocorra um fato novo eu já tomei minha decisão de deixar o fluxo seguir, só estou preparando melhor para não desistir bruscamente.

O SOpt já foi ótimo. RIP.

Summary in English

We are f***ed.

1
  • 2
    +1 Gostei do resumo Commented 8/07/2021 às 16:18
4

Está ajudando?

Sim está ajudando.


Está atrapalhando?

Não está atrapalhando.


Você se interessou mais em votar para fechar/reabrir? Ou menos?

Acredito que o meu volume de votos é o mesmo de antes do teste, porém o diferencial que percebo é o efetividade de meus votos. Com os três votos me sinto mais atuante dentro da comunidade.


Há outras coisas além dos 3 votos que mudam o seu interesse em analisar os fechamentos e reaberturas?

Não compreendi a pergunta.


Se você não pode votar mas pode sinalizar, você passou a sinalizar mais? Ou menos?

Acredito que o meu volume de sinalizações seja o mesmo de antes do teste.


Gostaria de voltar para 5 votos?

Não!


A mudança deveria ser permanente?

Sim


Depois que o teste for concluído, o que você gostaria que eu analisasse? Houve algum efeito colateral (seja bom ou ruim) que você gostaria que eu soubesse?

Gostaria de o informar que em minhas observações durante esse período de testes, aparentemente, a comunidade tem se tornado mais participativa em comentários o que achei bastante positivo.

Gostaria de pedir aos membros comunitários que não se dispõe a fazer o fechamento de perguntas, independente de qual seja o motivo, que se focassem cada vez mais na sinalização, edição e melhorias visando reabertura das perguntas.

1
  • 1
    Como eu "te conheço" sei que está falando em focar na melhoria para a reabertura da pergunta e não na reabertura pura e simples.
    – Maniero Mod
    Commented 21/06/2021 às 19:10

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .