Um dos problemas desde o anúncio é identificar conteúdo gerado por IA muitas vezes que eles podem se misturar entre conteúdo gerado por humanos, mas com algumas observações interessantes feitas pela comunidade acabam auxiliando o processo de identificar conteúdo de GPT e sinalizar aos moderadores.
Nenhum destes itens abaixo é uma regra, ou ao menos sejam totalmente certeiros, no entanto, conteúdo ruim ainda pode ter sido criado por um humano real. Essa lista é baseada em padrões, que posteriormente é possível prever a origem do conteúdo.
Lista de padrões e sinais de contéudo possivelmente gerado por IA
- Comumente o conteúdo não possui links que apontam para fontes, documentações, manuais ou fiddles.
- Comumente o conteúdo não cita autores, não menciona documentações ou tópicos externos.
- É comum ver apenas um ou nenhum pedaço de código na publicação. O contexto é piorado quando o código inclui um "exemplo completo", desde o início até o fim do que a publicação diz.
- Em respostas, é comum a primeira frase da publicação já ser um indicativo de todo o escopo da publicação, e por muitas vezes já entrega a resposta.
- É muito comum o conteúdo incluir informação falsa ou errada.
- O conteúdo gerado sempre são intrapessoais e estão em terceira-pessoa. Raramente é encontrado indicativos de pronomes (eu, minha experiência, fiz, etc...).
- Não há nenhuma ou alguma opinião, seja para recomendar uma metodologia, solução ou até mesmo apresentar mais de uma solução. A IA costuma ser direta à responder exclusivamente a pergunta e normalmente não apresenta mais de uma solução.
Outros pontos relevantes para identificar GPT
Um dos pontos que gosto de analisar é olhar o perfil de quem tá publicando respostas geradas por IA. Das poucas vezes que teve casos assim no site, normalmente:
- O usuário pertencia a uma conta nova;
- Mais de uma resposta com estrutura similar era publicada no mesmo dia ou em uma janela de tempo curta ou curtíssima;
Mas claro que isso não é uma regra. Aliás, nenhum destes pontos é uma regra ou algo obrigatório na análise. Eles ajudam a identificar, e quanto mais pontos, maior a chance do conteúdo ser gerado por IA.
Mesmo se o conteúdo não for gerado por IA e ter mais de um ponto mencionado aqui, provavelmente é porque é conteúdo ruim e nós já temos um passo-a-passo para ter uma boa recepção aqui no site aqui, aqui, aqui, aqui, aqui e principalmente aqui.
Recentemente também descobri que ela é muito subjetiva ao que você pergunta.
Perguntei para a ChatGPT se propriedades CSS diferenciavam maíusculas de minúsculas e dei o exemplo de .minha-propriedade
e .Minha-Propriedade
. Ela disse que não, e que não havia problema escrever propriedades .assim
que ela seria interpretada como .ASSIM
.
Estava errado, e logo já percebi que ela estava confundindo porque havia mencionado "propriedades" no começo da pergunta, mas o exemplo que dei foi de um seletor.
Então se você pergunta sobre uma variável, mas usa o termo "constante" (ou qualquer outro), ela irá te responder usando os mesmos termos apresentados brevemente.
Isso pode ser ótimo para identificar quem está usando a ChatGPT, porque se está usando ela, muitas vezes não é programador, e se não é programador, não vai saber responder essas perguntas por si próprio.
O que fazer em possíveis casos?
O mais indicado do que fazer em identificar casos de conteúdo gerado por IA é sinalizar à um moderador e deixar sua opinião sobre aquele conteúdo.
Se você acredita que aquele conteúdo é ruim e pode prejudicar a comunidade, você já sabe o que pode fazer e seus votos são uma das suas ferramentas disponíveis.
Isso não vale somente para conteúdo gerado por IA, mas conteúdo ruim no geral. O voto é a sua melhor ferramenta, e o sistema interpreta seus votos (e de mais pessoas) e logo toma medidas automáticas.
Fique a vontade para colaborar com mais pontos e observações relevantes neste processo de identificação de IA e juntos vamos continuar tendo uma comunidade com conhecimento limpo, confiável e feito por humanos empenhados (sem bip bop).