12

Recentemente foi anunciado no Stack Overflow em Português (e no Stack Overflow) que conteúdo gerado por inteligência artificial (incluindo não só o ChatGPT, mas qualquer IA), não é permitido na rede.

A minha dúvida é: como podemos identificar conteúdo gerado por IA aqui no site? E após identificar este conteúdo, o que devemos fazer?

3
  • 1
    "O mais indicado do que fazer em identificar casos de conteúdo gerado por IA é sinalizar à um moderador e deixar sua opinião sobre aquele conteúdo." Como fazer isso? Seria marcar uma P/R como Qualidade muito baixa ou Precisa de intervenção de moderador? Commented 10/03/2023 às 15:06
  • 1
    @CmteCardeal isso depende do bom senso. Raramente vai precisar da intervenção de um moderador, sinalizar pro sistema já é suficiente. Dificilmente vai ser uma pergunta usada para IA, mas se for, o fechamento por baixa qualidade deve servir também. O sistema interpreta que o usuário está tendo muito conteúdo fechado e com pouca recepção, e acaba automaticamente limitando suas contas. Commented 10/03/2023 às 15:10
  • 3
    @CmteCardeal Como as respostas geradas por IA costumam ser ruins (ainda não vi um exemplo bom de verdade), faz-se o mesmo que já fazemos quando um humano gera uma resposta ruim: downvote e/ou comentar o que está errado e/ou sinalizar como baixa qualidade. Se vc desconfia que foi gerado por IA, sinalize para a moderação usando o motivo "Precisa de intervenção de moderador". Mas vale notar que são ações independentes (tratar respostas ruins, independente de quem fez - IA ou humano - e sinalizar casos suspeitos de ser IA)
    – hkotsubo
    Commented 10/03/2023 às 17:07

1 Resposta 1

5

Um dos problemas desde o anúncio é identificar conteúdo gerado por IA muitas vezes que eles podem se misturar entre conteúdo gerado por humanos, mas com algumas observações interessantes feitas pela comunidade acabam auxiliando o processo de identificar conteúdo de GPT e sinalizar aos moderadores.

Nenhum destes itens abaixo é uma regra, ou ao menos sejam totalmente certeiros, no entanto, conteúdo ruim ainda pode ter sido criado por um humano real. Essa lista é baseada em padrões, que posteriormente é possível prever a origem do conteúdo.

Lista de padrões e sinais de contéudo possivelmente gerado por IA

  • Comumente o conteúdo não possui links que apontam para fontes, documentações, manuais ou fiddles.
  • Comumente o conteúdo não cita autores, não menciona documentações ou tópicos externos.
  • É comum ver apenas um ou nenhum pedaço de código na publicação. O contexto é piorado quando o código inclui um "exemplo completo", desde o início até o fim do que a publicação diz.
  • Em respostas, é comum a primeira frase da publicação já ser um indicativo de todo o escopo da publicação, e por muitas vezes já entrega a resposta.
  • É muito comum o conteúdo incluir informação falsa ou errada.
  • O conteúdo gerado sempre são intrapessoais e estão em terceira-pessoa. Raramente é encontrado indicativos de pronomes (eu, minha experiência, fiz, etc...).
  • Não há nenhuma ou alguma opinião, seja para recomendar uma metodologia, solução ou até mesmo apresentar mais de uma solução. A IA costuma ser direta à responder exclusivamente a pergunta e normalmente não apresenta mais de uma solução.

Outros pontos relevantes para identificar GPT

Um dos pontos que gosto de analisar é olhar o perfil de quem tá publicando respostas geradas por IA. Das poucas vezes que teve casos assim no site, normalmente:

  • O usuário pertencia a uma conta nova;
  • Mais de uma resposta com estrutura similar era publicada no mesmo dia ou em uma janela de tempo curta ou curtíssima;

Mas claro que isso não é uma regra. Aliás, nenhum destes pontos é uma regra ou algo obrigatório na análise. Eles ajudam a identificar, e quanto mais pontos, maior a chance do conteúdo ser gerado por IA.

Mesmo se o conteúdo não for gerado por IA e ter mais de um ponto mencionado aqui, provavelmente é porque é conteúdo ruim e nós já temos um passo-a-passo para ter uma boa recepção aqui no site aqui, aqui, aqui, aqui, aqui e principalmente aqui.


Recentemente também descobri que ela é muito subjetiva ao que você pergunta.

Perguntei para a ChatGPT se propriedades CSS diferenciavam maíusculas de minúsculas e dei o exemplo de .minha-propriedade e .Minha-Propriedade. Ela disse que não, e que não havia problema escrever propriedades .assim que ela seria interpretada como .ASSIM.

Estava errado, e logo já percebi que ela estava confundindo porque havia mencionado "propriedades" no começo da pergunta, mas o exemplo que dei foi de um seletor.

Então se você pergunta sobre uma variável, mas usa o termo "constante" (ou qualquer outro), ela irá te responder usando os mesmos termos apresentados brevemente.

Isso pode ser ótimo para identificar quem está usando a ChatGPT, porque se está usando ela, muitas vezes não é programador, e se não é programador, não vai saber responder essas perguntas por si próprio.

O que fazer em possíveis casos?

O mais indicado do que fazer em identificar casos de conteúdo gerado por IA é sinalizar à um moderador e deixar sua opinião sobre aquele conteúdo.

Se você acredita que aquele conteúdo é ruim e pode prejudicar a comunidade, você já sabe o que pode fazer e seus votos são uma das suas ferramentas disponíveis.

Isso não vale somente para conteúdo gerado por IA, mas conteúdo ruim no geral. O voto é a sua melhor ferramenta, e o sistema interpreta seus votos (e de mais pessoas) e logo toma medidas automáticas.

Fique a vontade para colaborar com mais pontos e observações relevantes neste processo de identificação de IA e juntos vamos continuar tendo uma comunidade com conhecimento limpo, confiável e feito por humanos empenhados (sem bip bop).

1
  • 2
    Pra mim, o conteúdo do ChatCPT muitas vezes parece uma redação feita por uma criança: muita repetição e conteúdo raso (com todo respeito às crianças). Ex: "[assunto] é assim, mas [assunto] pode ser assado. [assunto] tem isso, [assunto] não tem aquilo. [assunto] é legal, etc". Várias vezes o primeiro parágrafo só repete a pergunta. E o principal, muitas vezes é um conteúdo errado, mas "dito com convicção", e quem não conhece o assunto pode ter a falsa impressão de estar certo (o que também acontece com conteúdo gerado por humanos, claro, mas pra isso temos o downvote)
    – hkotsubo
    Commented 13/03/2023 às 12:20

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .