[ENGLISH BELOW] Risk moderation: moderating on Discord isn't like other platforms, but that's not the only problem
Texto publicado em 18.08.2026, 16:26
A partir do trágico caso de Naviraí, que faleceu após supostamente ter sido incentivada, por live do Discord, à automutilação e ao suicídio, a suspensão preventiva estabelecida pela ANPD para o recurso “Go Live” foi, segundo a plataforma, implementada desde ontem, 17/08/2026, prazo final.
Reiteramos, no entanto: transmissões em tempo real, não somente em vídeo, e não somente por meio do recurso “Go Live” suspenso (ou seja: estende-se a recursos que ainda não foram suspensos, como os de interação apenas por voz, utilizando-se do VOIP, Voz sobre Protocolo de Internet ou Voice Over IP), não são "todas iguais" a publicações estáticas, como posts fixos em uma rede social; trazem desafios específicos e inerentes à sua característica de acontecerem e serem transmitidos em tempo real. Confiar plenamente em automações estatísticas falhas consolida uma falsa portaria tecnológica de um prédio, em resposta à analogia de Pedro Doria à Folha, ocultando as escolhas corporativas de subinvestimento que lucram direta e sistematicamente com a negligência.
O episódio é recente, mas a discussão sobre a vulnerabilidade do ambiente digital é antiga: a plataforma existe desde 2015 e muitas denúncias de extremismo com incitação ao ódio e ao terrorismo, bem como outras práticas criminosas e ilícitas, já haviam sido realizadas desde então (não exclusivamente no Brasil), como em 2017, em 2023 e em abril de 2025, quando ataques coordenados contra pessoas em situação de rua em quatro estados brasileiros teriam sido organizados na plataforma. Políticos e organizações da sociedade civil já clamavam por investigações e pela suspensão, ao menos temporária, do serviço. Contudo, para além do calor dos debates, uma pergunta de fundo formulada pela literatura de moderação de conteúdo persiste: será que moderar transmissões ao vivo em áudio e vídeo é estruturalmente igual a moderar posts? A resposta, já adiantamos, é não.
Primeiramente, transmissões ao vivo fogem completamente da clássica divisão dicotômica entre moderação ex ante (antes da publicação) e ex post (depois dela). Nas lives, mas também em outros recursos em tempo real, como o próprio chat de voz, os conteúdos são criados e distribuídos de forma simultânea, não havendo a mesma janela de checagem (e, quando existente, possui tempo de ação drasticamente reduzido) que publicações fixas como fotos, textos, áudios e/ou vídeos gravados possuem.
A barreira temporal supracitada inviabiliza o uso de ferramentas tradicionais e mais eficientes, como o hashing perceptual e a correspondência com bancos de impressões digitais, que dependem do reconhecimento de um material problemático já catalogado. Essas ferramentas de filtragem são capazes de barrar a reoferta de conteúdos antigos, mas são praticamente impotentes diante de transmissões inéditas em tempo real.
À UNIÃO EUROPEIA, SOB O REGULAMENTO RÍGIDO E EXISTENTE HÁ MAIS TEMPO DO DSA (DIGITAL SERVICES ACT), O DISCORD VEM REPORTANDO MILHÕES DE VIOLAÇÕES DE PROTEÇÃO DE MENORES. JÁ NO BRASIL, A RECENTE SUSPENSÃO DA FUNÇÃO “GO LIVE” PELA ANPD SINALIZA O INÍCIO DE UMA ARQUITETURA DE FISCALIZAÇÃO MAIS EFETIVA CONTRA A FALHA DA MODERAÇÃO DE RISCO, EM UM PRIMEIRO PASSO AINDA TÍMIDO, PORÉM NECESSÁRIO.
Para as transmissões ao vivo, as plataformas dependem majoritariamente de moderadores voluntários nos servidores (muitas vezes, selecionados para atuarem como tais pelos próprios donos do servidor, ou seja, não raro, há uma confluência de ideias, como em uma câmara de eco), de denúncias dos próprios participantes ou de classificadores estatísticos baseados em aprendizado de máquina em LLMs ou MLLMs, geralmente por meio de bots (um excelente para comunidades mais seguras é o Sentry Bot, mas ainda possui falhas, como todo sistema) da própria plataforma ou de terceiros. O aprendizado de máquina, todavia, depende de dados de treinamento volumosos (e, muitas vezes, culturalmente descontextualizados), e sua natureza estatística implica que o erro e a classificação incorreta são intrínsecos ao sistema.
O problema ético e humano central é que esse erro estatístico inevitável, metrificado em uma pontuação 0,12 de 0,95, como no caso Naviraí, tem custado vidas, principalmente vidas de jovens, especialmente vulneráveis: na tragédia em questão, a live que precedeu a morte da adolescente recebeu do sistema automatizado do Discord uma pontuação de risco de apenas 0,12, enquanto o limite para o disparo automático das defesas era de 0,95. Como muito bem assinalado pela ANPD, se há risco iminente de morte, automutilação ou lesão grave de menores, o custo de um falso negativo é incomensuravelmente superior ao custo de encaminhar o servidor para uma análise humana adicional que se faz necessária.
Argumentar, como fez o jornalista Pedro Doria em ensaio na Folha, no sentido de que suspender ou banir o Discord seria o equivalente a “demolir um prédio inteiro por uma falha na portaria”, é uma analogia que esconde a figura do dono do imóvel e como ele lucra. Isso ignora deliberadamente quem se beneficia financeiramente das decisões de design, gestão, moderação e de escala da plataforma. Não estamos lidando com uma mera falha isolada do porteiro, mas sim com um padrão documentado, por anos, inclusive reportado a Autoridades estrangeiras graças ao enforcement de outras jurisdições com arcabouço jurídico-normativo relativamente recente (o DSA - Digital Servies Act da União Europeia, por exemplo, entrou em vigor em 2022), de denúncias que revelam subinvestimento corporativo em segurança.
Conforme já demonstrado por meio de um estudo experimental do Coordenador de Redes Sociais da organização Ctrl+Z, Henrique Sampaio, no dia 13 de agosto, mesmo com a plataforma já sob investigação, em menos de 20 minutos se passando por uma adolescente de 14 anos de Discord, buscando por termos usados para descrever grupos de qualquer categoria, foram encontrados conteúdos criminosos com facilidade, sobretudo extremistas e voltados para autolesão - em nenhum momento, segundo o experimento, a plataforma solicitou a vinculação da conta a um responsável legal, contrariando o ECA Digital, além de não impedir a troca de mensagens privadas ou salvaguardas para evitar que adolescentes conversassem com adultos. Em um servidor de “webnamoro”, foram trocadas mensagens com uma garota vendendo fotos e vídeos sexuais de si, com alegados 17 anos. O próprio texto descritivo de um dos servidores já continha palavras que poderiam ser até mais facilmente detectadas do que os conteúdos em áudio e vídeo em live e, ainda assim, o servidor permaneceu ativo no momento do experimento, como demonstrado pela organização:
Foto: Reprodução de publicação da ONG Ctrl+Z (servidor do Discord)
O problema, portanto, não está ligado somente à dificuldade técnica de moderação de conteúdos de voz e de vídeo ao vivo, pois em tese, os textos acima já poderiam fazer soar o alarme de qualquer bot de detecção minimamente bem configurado. A velocidade com a qual os conteúdos são criados e “caem”, a demora na verificação automatizada e humana, o desinvestimento em segurança e a falta de compromisso da plataforma, no entanto, parecem ser o verdadeiro problema.
Os números reportados pelo Discord à Comissão Europeia, sob as obrigações instituídas pelo Regulamento em questão, desmistificam a suposta imprevisibilidade dessas falhas. Entre julho de 2024 e agosto de 2026, a SaferNet Brasil processou mais de 25 milhões de decisões de moderação enviadas pela empresa. A proteção de crianças e adolescentes é a categoria que, com folga, concentra o maior número de violações reportadas, representando 10,6 milhões de decisões (41,4% do total). O material de abuso sexual infantil é o termo mais recorrente, somando 4,37 milhões de registros (17% de todas as decisões).
Apesar da gravidade desse cenário, a SaferNet identificou que, a partir de setembro de 2025, o volume mensal de moderações do Discord caiu 65%. Esse colapso coincide exatamente com as demissões em massa promovidas pela empresa, que dizimaram equipes fundamentais de Trust & Safety. Agravante é o fato de que a automação de decisões na plataforma é estritamente binária, sem espaço para modelos híbridos de human-in-the-loop (que são os priorizados pela literatura e por entidades majoritariamente da sociedade civil, inclusive por revisão humana com contexto cultural, adequado ao grupo/servidor analisado em questão), o corte dessas equipes humanas gerou um apagão de segurança nas áreas mais críticas. De 7,8 milhões de decisões automatizadas, apenas 381 passaram por escrutínio humano, deixando o trabalho pesado sob a responsabilidade de moderadores voluntários e desamparados, que muitas vezes sequer compartilham a mesma nacionalidade dos integrantes de um servidor, mesmo idioma, mesmo contexto sociocultural.
Tampouco é possível que a defesa da responsabilização e da regulação do Discord seja confundida com ameaça à criptografia. Conforme muito bem manifestado pela Internet Society (ISOC) Brasil, as plataformas não devem utilizar o uso de criptografia de ponta a ponta (E2EE) como blindagem genérica para esquivar-se de obrigações legais e do próprio dever de cuidado. É perfeitamente possível adotar mecanismos preventivos perfeitamente compatíveis com a privacidade, como aferição etária, análise de sinais comportamentais, canais eficientes de denúncia e controle sobre as funcionalidades de transmissão, além de investir em equipes de moderadores humanos para revisão com contexto cultural adequado e que não sejam somente voluntários, tampouco apenas os elegidos pelo próprio dono do servidor ou grupo.
Não podemos observar a tragédia de Naviraí como uma fatalidade técnica imprevisível ou inexplicável: foi a materialização de um risco que a literatura acadêmica já descrevia há anos, inclusive em outras plataformas comumente relacionadas a jogos, como Twitch e YouTube, e que os próprios reportes do Discord já evidenciavam.
Resta a seguinte pergunta: o que fazer, então, para acolher tamanho sofrimento sem recair na inércia regulatória ou em banimentos e suspensões temporárias de caráter principalmente simbólico e que, inclusive, sequer atingem todos os recursos da plataforma que geram risco? O caminho exige uma fiscalização proporcional e baseada em riscos, sustentada por instrumentos como a LGPD, o Código de Defesa do Consumidor (CDC), o Marco Civil da Internet e o ECA Digital (Lei nº 15.211/2025). É preciso cobrar que as plataformas comprovem, por auditorias transparentes e investimento real, que a integridade física e mental de crianças e adolescentes não é tratada como um mero resíduo estatístico tolerável na busca pelo lucro.
Texto publicado em 18.08.2026, 16:26
Por Thayla Bicalho Bertolozzi, doutoranda em Relações Internacionais (IRI/USP), graduanda em Direito (FD/USP), pesquisadora do GT de Regulação de Plataformas do AqualtuneLab, fundadora e diretora executiva da Pause & Pense. Há nove anos, tem se dedicado a pesquisas envolvendo direitos digitais e regulação de jogos e plataformas relacionadas.
PAUSE & PENSE
ENGLISH BELOW
Following the tragic case in Naviraí, in which a girl died after allegedly being encouraged, during a Discord livestream, to self-harm and commit suicide, the preventive suspension established by Brazil's National Data Protection Authority (ANPD) for the "Go Live" feature was, according to the platform, implemented as of yesterday, August 17, 2026, the final deadline.
We reiterate, however: real-time broadcasts - not only video, and not only through the suspended "Go Live" feature (meaning this extends to features that have not yet been suspended, such as voice-only interaction using VoIP, Voice Over Internet Protocol) - are not "all the same" as static publications, like fixed posts on a social network. They bring specific challenges inherent to the fact that they happen and are transmitted in real time. Relying entirely on flawed statistical automation reinforces a false technological "building doorman," to use Pedro Doria's analogy in Folha, concealing the corporate choices of underinvestment that profit directly and systematically from negligence.
The episode is recent, but the discussion about the vulnerability of the digital environment is not new: the platform has existed since 2015, and many reports of extremism involving incitement to hatred and terrorism, as well as other criminal and illicit practices, had already been made since then (not exclusively in Brazil) - as in 2017, in 2023, and in April 2025, when coordinated attacks against homeless people in four Brazilian states were allegedly organized on the platform. Politicians and civil society organizations had already been calling for investigations and for at least a temporary suspension of the service. Yet beyond the heat of the debate, a fundamental question raised in content moderation literature persists: is moderating live audio and video broadcasts structurally the same as moderating posts? The answer, as we've already signaled, is no.
First, live broadcasts completely escape the classic dichotomy between ex ante (before publication) and ex post (after publication) moderation. In livestreams - but also in other real-time features, such as voice chat itself - content is created and distributed simultaneously, without the same checking window (and when one does exist, it has a drastically reduced action time) that fixed publications like photos, texts, audio, and/or recorded videos have.
This time barrier makes it impossible to use more traditional and efficient tools, such as perceptual hashing and matching against digital fingerprint databases, which depend on recognizing already-catalogued problematic material. These filtering tools can block the re-uploading of old content, but they are practically powerless against unprecedented real-time broadcasts.
IN THE EUROPEAN UNION, UNDER THE STRICTER AND LONGER-STANDING DSA (DIGITAL SERVICES ACT), DISCORD HAS BEEN REPORTING MILLIONS OF CHILD PROTECTION VIOLATIONS. IN BRAZIL, THE RECENT SUSPENSION OF THE "GO LIVE" FEATURE BY ANPD SIGNALS THE BEGINNING OF A MORE EFFECTIVE OVERSIGHT ARCHITECTURE AGAINST THE FAILURE OF RISK MODERATION - A FIRST STEP THAT IS STILL TIMID, BUT NECESSARY.
For live broadcasts, platforms rely mostly on volunteer moderators within servers (often selected for that role by the server owners themselves, meaning there is not infrequently a confluence of ideas, as in an echo chamber), on reports from participants themselves, or on statistical classifiers based on machine learning in LLMs or MLLMs - generally through bots (one excellent one for safer communities is Sentry Bot, though it still has flaws, like any system) belonging either to the platform itself or to third parties. Machine learning, however, depends on large volumes of training data (often culturally decontextualized), and its statistical nature means that error and misclassification are intrinsic to the system.
The central ethical and human problem is that this inevitable statistical error - measured at a score of 0.12 out of 0.95 in the Naviraí case - has been costing lives, mainly the lives of especially vulnerable young people: in the tragedy in question, the livestream that preceded the teenager's death received a risk score of only 0.12 from Discord's automated system, while the threshold for automatically triggering protective measures was 0.95. As ANPD rightly pointed out, when there is imminent risk of death, self-harm, or serious injury to minors, the cost of a false negative is immeasurably greater than the cost of referring the server for the additional human review that is needed.
Arguing, as journalist Pedro Doria did in an essay for Folha, that suspending or banning Discord would be equivalent to "demolishing an entire building over a doorman's failure," is an analogy that hides the figure of the building's owner and how he profits. It deliberately ignores who financially benefits from the platform's design, management, moderation, and scaling decisions. We are not dealing with a mere isolated failure by the doorman, but with a pattern documented for years - including reports made to foreign authorities thanks to enforcement under other jurisdictions with relatively recent legal frameworks (the European Union's DSA, for example, came into force in 2022) - of complaints revealing corporate underinvestment in safety.
As already demonstrated through an experimental study by Henrique Sampaio, Social Media Coordinator at the organization Ctrl+Z, on August 13, even with the platform already under investigation, in less than 20 minutes posing as a 14-year-old girl on Discord and searching for terms used to describe groups of any category, criminal content was easily found, especially extremist content and content aimed at self-harm. At no point, according to the experiment, did the platform request that the account be linked to a legal guardian, in violation of Brazil's Digital ECA (Statute of the Child and Adolescent), nor did it prevent the exchange of private messages or provide safeguards to keep teenagers from chatting with adults. In a "web dating" server, messages were exchanged with a girl selling sexual photos and videos of herself, claiming to be 17 years old. The descriptive text of one of the servers already contained words that could have been detected even more easily than live audio and video content, and yet the server remained active at the time of the experiment, as demonstrated by the organization.
Photo: Reproduction of a post by the NGO Ctrl+Z (Discord server)
The problem, therefore, is not tied solely to the technical difficulty of moderating live voice and video content, since in theory the texts described above should already have set off the alarm of any reasonably well-configured detection bot. The speed at which content is created and disappears, the delay in automated and human verification, the disinvestment in safety, and the platform's lack of commitment, however, appear to be the real problem.
The numbers Discord reported to the European Commission, under the obligations established by the Regulation in question, debunk the supposed unpredictability of these failures. Between July 2024 and August 2026, SaferNet Brasil processed more than 25 million moderation decisions submitted by the company. Child and adolescent protection is, by far, the category concentrating the highest number of reported violations, accounting for 10.6 million decisions (41.4% of the total). Child sexual abuse material is the most recurrent term, totaling 4.37 million records (17% of all decisions).
Despite the severity of this scenario, SaferNet identified that, starting in September 2025, Discord's monthly moderation volume dropped by 65%. This collapse coincides exactly with the mass layoffs carried out by the company, which decimated core Trust & Safety teams. Compounding the problem is the fact that automated decision-making on the platform is strictly binary, leaving no room for hybrid human-in-the-loop models (which are the ones prioritized by the literature and by civil society organizations, including human review with cultural context appropriate to the specific group/server being analyzed). The cutting of these human teams created a safety blackout in the most critical areas. Of 7.8 million automated decisions, only 381 underwent human scrutiny, leaving the heavy lifting to unsupported volunteer moderators - who often don't even share the same nationality, language, or sociocultural context as the members of a given server.
Nor can advocacy for Discord's accountability and regulation be confused with a threat to encryption. As the Internet Society (ISOC) Brasil has rightly stated, platforms should not use end-to-end encryption (E2EE) as a blanket shield to dodge legal obligations and their own duty of care. It is entirely possible to adopt preventive mechanisms fully compatible with privacy, such as age verification, behavioral signal analysis, efficient reporting channels, and control over broadcast features - in addition to investing in teams of human moderators for review with appropriate cultural context, who are not merely volunteers, nor solely people chosen by the server or group owner themselves.
We cannot view the Naviraí tragedy as an unforeseeable or inexplicable technical fatality: it was the materialization of a risk that academic literature had already been describing for years - including on other platforms commonly associated with gaming, such as Twitch and YouTube - and one that Discord's own reports had already made evident.
That leaves the following question: what, then, should be done to address such suffering without falling into regulatory inertia or into largely symbolic temporary bans and suspensions that don't even cover all of the platform's risk-generating features? The path forward requires proportional, risk-based oversight, backed by instruments such as the LGPD (Brazil's General Data Protection Law), the Consumer Protection Code (CDC), the Brazilian Civil Rights Framework for the Internet (Marco Civil da Internet), and the Digital ECA (Law No. 15,211/2025). Platforms must be required to prove, through transparent audits and real investment, that the physical and mental integrity of children and adolescents is not treated as a mere statistically tolerable residue in the pursuit of profit.
Text published on 08.18.2026, 4:26 PM
By Thayla Bicalho Bertolozzi, PhD candidate in International Relations (IRI/USP), law student (FD/USP), researcher with the Platform Regulation Working Group at AqualtuneLab, founder and executive director of Pause & Pense. For nine years, she has dedicated her work to research on digital rights and the regulation of games and related platforms.
PAUSE & PENSE
PAUSING TO THINK