Desde os primórdios do e-mail até às redes sociais de hoje, as plataformas online têm enfrentado abusos, incluindo mensagens em massa e comportamentos automatizados que espalham conteúdos problemáticos. O Whatsapp na luta contra o envio em massa adota uma abordagem multifacetada para esse desafio, ao mesmo tempo que trabalha para manter a natureza privada do serviço que oferece.
Sistemas sofisticados de aprendizado de máquina foram desenvolvidos para detectar comportamento abusivo e suspender contas suspeitas no registro, durante mensagens e em resposta a denúncias de usuários. Mais de 2 milhões de contas por mês foram excluídas devido a comportamento em massa ou automatizado.
WhatsApp foi criado para mensagens privadas
O WhatsApp foi criado para ajudar as pessoas a se comunicarem com seus entes queridos, fazer negócios ou conversar confidencialmente com um médico.
Em vez de incentivar os usuários a construir um público e compartilhar amplamente, o WhatsApp foi projetado para ajudar as pessoas a compartilhar com outras pessoas que conhecem ou a obter informações úteis de uma empresa. Para proteger a privacidade e a segurança dos usuários, o WhatsApp fornece criptografia de ponta a ponta por padrão, o que significa que apenas o remetente e o destinatário podem ver o conteúdo das mensagens.
WhatsApp não é uma plataforma de streaming
Limites são colocados no tamanho dos grupos e na forma como os usuários enviam mensagens.
Cerca de 90% das mensagens enviadas no WhatsApp são de uma pessoa para outra, e a maioria dos grupos tem menos de dez pessoas. O WhatsApp exige que o remetente saiba o número de telefone do destinatário. Cada vez que um usuário recebe uma mensagem de alguém que não está em sua lista de contatos, o usuário é questionado se deseja bloquear ou denunciar o remetente.
Exploração do serviço oferecido para envio em massa
Como acontece com qualquer plataforma de comunicação, às vezes as pessoas tentam explorar o serviço oferecido pelo WhatsApp.
Alguns podem querer distribuir links sensacionais destinados a obter informações pessoais, enquanto outros desejam promover uma ideia. Independentemente da intenção, o envio automatizado e em massa de mensagens viola os termos de serviço e uma das prioridades é prevenir e coibir este tipo de abuso.
A abordagem do WhatsApp contra abusos e envio em massa
Foi procurado um equilíbrio entre o desejo de transparência sem comprometer a eficácia destas medidas antiabuso. Devido à natureza da criptografia ponta a ponta, tem havido um foco no comportamento da conta e no conteúdo denunciado pelo usuário.
Uma equipe de engenheiros, cientistas de dados, analistas e pesquisadores com uma ampla gama de experiências e conhecimentos foi empregada para dissuadir e prevenir abusos.
WhatsApp dá muita atenção aos usuários
O WhatsApp presta muita atenção ao feedback dos usuários e interage com especialistas em desinformação, segurança cibernética e integridade eleitoral.
Através deste esforço abrangente, a plataforma procura dificultar o abuso do serviço criado para conectar pessoas pelos adversários.
- Embora muitos serviços online exijam um e-mail para registro, o WhatsApp usa números de telefone e exige que todos os usuários tenham um. Isso nos proporciona oportunidades únicas para identificar aqueles que tentam abusar de nosso serviço.
- Os números de telefone são ativados por meio de cartões SIM, que são distribuídos pelas operadoras. Comprar um cartão SIM geralmente é fácil para um usuário normal, mas comprá-los em grandes quantidades pode ser logisticamente difícil.
- Em alguns locais, é necessária identificação para a compra e os custos podem variar de acordo com a região. Projetamos nossa detecção de abuso com esses fatores em mente.
Números de telefone de áreas com histórico de fraude
Eles podem informar ao WhatsApp que há um problema com uma conta. Isso também pode ser um sinal para os usuários, pois receber uma mensagem de um número desconhecido geralmente indica que algo está errado.
É claro que outros tipos de serviços de mensagens também estão sujeitos a abusos. Uma análise recente dos serviços de comunicação nos Estados Unidos citada pela CTIA indicou que 2,8% das mensagens SMS e 50% dos e-mails são spam. Tal como nestas plataformas, impedir que os utilizadores recebam este tipo de mensagens é uma prioridade máxima.
O WhatsApp tem trabalhado para reduzir spam
Desde que a criptografia ponta a ponta foi ativada por padrão em 2016, o WhatsApp tem trabalhado para reduzir o spam e manter a integridade do serviço.
- Enviar mensagens em massa de um telefone celular é um processo lento. É por isso que as pessoas que tentam enviar mensagens em massa muitas vezes desenvolvem hardware ou software para automatizar o processo.
- No entanto, estas etapas acarretam custos e riscos financeiros. A tecnologia do WhatsApp tem como objetivo identificar contas que utilizam automação e tomar medidas para impedir sua ação.
- Ao fazê-lo, o objetivo é aumentar os custos associados a este tipo de abuso e impedir que atores maliciosos tentem novamente no futuro.
Detecte e combata abusos
A tentativa de distribuição de conteúdo em massa no WhatsApp exige que os usuários contornem o design da plataforma. Ao fazer isso, eles mostram sinais que usamos para identificar contas abusivas.
O objetivo é identificar e impedir contas abusivas o mais rápido possível, portanto, identificar manualmente essas contas não é realista. Em vez disso, o WhatsApp possui sistemas avançados de aprendizado de máquina que agem para suspender contas 24 horas por dia, 7 dias por semana.
Essa detecção de abuso opera em três fases da vida de uma conta: no registro, durante a troca de mensagens e em resposta ao feedback negativo que recebemos na forma de denúncias e bloqueios de usuários. Uma equipe de analistas complementa esses sistemas para avaliar casos específicos e ajudar a melhorar nossa eficácia ao longo do tempo.
O WhatsApp trabalha continuamente para detectar o abuso o mais cedo possível para ter o maior impacto na prevenção antes que o abuso possa afetar as pessoas.
WhatsApp proíbe mais de dois milhões de contas por mês
Nos últimos três meses, o WhatsApp baniu mais de dois milhões de contas por mês devido a comportamento em massa ou automatizado, e mais de 75% dessas contas não tiveram reclamações recentes de usuários. Para lidar com casos raros em que uma conta é banida por engano, temos uma equipe que analisa e responde às solicitações dos usuários. Nesse processo, às vezes os usuários são solicitados a fornecer informações adicionais para recuperar o acesso à sua conta.
Todas as contas devem passar por um ponto de verificação comum
O registro. Nesta fase, o WhatsApp envia um código temporário via SMS ou ligação telefônica. Os usuários devem inserir este código exclusivo para provar que têm controle sobre o número de telefone e o cartão SIM de sua conta.
A verificação em duas etapas também é oferecida opcionalmente para evitar que invasores tentem assumir o controle
de contas que não lhes pertencem.
Como todas as contas devem ser registradas antes que qualquer mensagem possa ser enviada, é um ponto de partida eficaz para concentrar esforços.
WhatsApp se preocupa com a privacidade do usuário
O WhatsApp se preocupa profundamente com a privacidade dos usuários, por isso não pedimos muitas informações deles. No entanto, mesmo as informações básicas da conta, juntamente com um endereço IP e informações da operadora associada, podem ser usadas para ensinar nossos sistemas de aprendizado de máquina a diferenciar entre inscrições em massa e inscrições regulares.
Como as contas que enviam um grande volume de mensagens são banidas, campanhas coordenadas muitas vezes tentam espalhar as suas atividades por várias contas diferentes. Por isso, trabalhamos para entender os sinais comportamentais que indicam registros em massa.
Os sistemas detectam se um número de telefone semelhante foi abusado
Por exemplo, os sistemas podem detectar se um número de telefone semelhante foi recentemente abusado ou se a rede de computadores utilizada para registo está associada a comportamento suspeito. Como resultado, eles podem detectar e banir muitas contas antes mesmo de se registrarem, impedindo-as de enviar mensagens. No mesmo período de três meses, aproximadamente 20% dos banimentos de contas ocorreram no momento do registro.
Para contas que completam o cadastro, avaliamos como elas se comportam em tempo real
Todas as mensagens são criptografadas de ponta a ponta, o que significa que o WhatsApp não consegue ver o conteúdo das mensagens que passam pelo nosso sistema, mas podemos analisar a frequência da atividade da conta.
Os usuários normais operam de forma relativamente lenta no WhatsApp, enviando mensagens uma por uma ou encaminhando conteúdo ocasionalmente. A intensidade da atividade dos usuários pode ser um sinal de que as contas estão abusando do WhatsApp.
Por exemplo, uma conta que se inscreveu cinco minutos antes de tentar enviar 100 mensagens em 15 segundos é quase certamente um caso de abuso, assim como uma conta que tenta criar rapidamente dezenas de grupos ou adicionar milhares de utilizadores a uma série de grupos. existir.
Essas contas são banidas imediata e automaticamente. Em situações menos óbvias, uma nova conta pode enviar mensagens para dezenas de destinatários que não possuem o número do remetente em seus contatos. Este pode ser o início de um ataque de spam ou simplesmente um usuário inocente informando seus contatos sobre um novo número de telefone.
Nestes casos, a plataforma considera informações históricas (por exemplo, suspeita de registo) para distinguir entre comportamentos anormais, mas inocentes, dos utilizadores. Em suma, os sistemas de detecção avaliam centenas de factores para combater o abuso.
Desenvolvimento de mecanismos de detecção de automação
Também são desenvolvidos mecanismos de detecção que visam diretamente a automação. Por exemplo, ele é exibido no início de uma conversa quando um usuário está digitando. Os spammers que tentam automatizar o envio de mensagens podem não ter a capacidade técnica de falsificar esse indicador de digitação. Se uma conta envia mensagens constantemente sem ativar o indicador de digitação, isso pode ser um sinal de abuso e a conta será banida. Isso é um bom exemplo de envio em massa e que o WhatsApp luta contra constantemente. Este é apenas um exemplo das combinações de ações ou omissões que a IA analisa automaticamente para tomar decisões sobre quais contas banir em casos de abuso.
A tecnologia avançou ao ponto de combinar sinais para tomar decisões rápidas sem intervenção humana. Aprendemos com o comportamento de outros usuários e inferimos a reputação de novas contas.
Por exemplo, se uma rede de computadores ativa foi usada recentemente por abusadores conhecidos, há mais motivos para acreditar que uma nova conta nessa rede é provavelmente abusiva.
Esses comportamentos, juntamente com outros sinais de comportamento atual e passado, são úteis na identificação de campanhas coordenadas que tentam abusar do WhatsApp.
Entenda as diversas motivações
É importante tentar compreender as diversas motivações envolvidas. Por exemplo, alguém com um incentivo financeiro pode querer induzir utilizadores insuspeitos a clicar num link suspeito que pode levar a um website que recolhe informações pessoais do utilizador.
O banimento de contas aumenta rapidamente seus custos, portanto, qualquer receita incremental obtida por meio dessas táticas pode não justificar o investimento inicial.
Os objectivos de alguém com motivação política, como tentar distorcer a discussão pública com informações falsas, podem ser diferentes. Procuram organizar e despertar o interesse num país, região ou mesmo numa cidade, muitas vezes dentro de um período de tempo limitado. Para fazer isso, eles podem adquirir listas direcionadas de números de telefone de terceiros para enviar mensagens aos usuários do WhatsApp sem o seu consentimento.
Por esta razão, são impostos limites ao número de grupos que uma conta pode criar num determinado período de tempo, e contas com comportamento suspeito em grupos são banidas, se aplicável, mesmo que as suas taxas de atividade sejam baixas ou ainda não tenham demonstrado altas taxas de atividade. escopo.
Sempre que um usuário é adicionado a um grupo por alguém que não está em sua lista de contatos, é exibida uma opção perguntando se o usuário deseja “denunciar” ou “sair” do grupo.
Comentários negativos acumulados
Por fim, se uma conta acumula comentários negativos, como quando outros usuários enviam reclamações ou bloqueiam a conta, os sistemas do WhatsApp avaliam a conta e tomam as medidas cabíveis.
O WhatsApp torna mais fácil para os usuários relatarem um problema, e os usuários são incentivados a fazê-lo. Sempre que um usuário recebe pela primeira vez uma mensagem de um número desconhecido, são mostradas opções que permitem “denunciar” ou “bloquear” a conta do remetente.
Relate um problema ao WhatsApp
Além disso, os usuários podem reportar um problema ao WhatsApp a qualquer momento, seja em uma conversa individual ou em grupo.
Quando um usuário envia um relatório, os sistemas de aprendizado de máquina da nossa empresa analisam e categorizam os relatórios para que possamos entender melhor a motivação da conta, como se ela está tentando vender um produto ou espalhar informações incorretas. Esta nova informação não só ajuda a banir contas, mas também melhora os nossos sistemas de aprendizagem automática para agir mais cedo no futuro (como no registo ou durante as mensagens, conforme descrito a seguir).
Adulteração da ferramenta de relatórios
Embora o WhatsApp procure proibir o abuso rapidamente, reconhece-se que a ferramenta de denúncia pode ser manipulada. Suponha que um grupo de pessoas queira impedir que alguém use o WhatsApp. Eles podem organizar outros usuários para registrar uma série de reclamações contra a vítima.
Se os sistemas do WhatsApp analisassem apenas as taxas de denúncia e banissem todas as contas que ultrapassassem um limite, ataques como esse poderiam prejudicar usuários legítimos da plataforma. Em vez disso, a relação entre o reclamante e o usuário denunciado é avaliada para avaliar rapidamente o comportamento.
Por exemplo, quando alguém denuncia a primeira mensagem que recebe de um número desconhecido, há maior confiança de que a denúncia é legítima. Nos casos em que o número denunciado não iniciou a comunicação, é feito um trabalho para garantir que não houve coordenação entre outras pessoas para denunciar falsamente a conta.
Esforços do WhatsApp contra abusadores
Os esforços do WhatsApp para se manter à frente de abusadores altamente motivados são constantes. Com a crescente popularidade da plataforma, os esforços de detecção se expandiram. Os sinais analisados tornaram-se demasiado complexos para serem avaliados individualmente em cada caso.
Felizmente, os computadores são muito bons em considerar um grande número de fatores ao mesmo tempo. Pensando nisso, o WhatsApp desenvolveu modelos de aprendizado de máquina para ajudar a identificar abusos rapidamente.
Os modelos de aprendizado de máquina exigem blocos de construção conhecidos, como recursos, tags e infraestrutura, para concluir suas tarefas. As características são sinais específicos, como o número de denúncias, a taxa de mensagens, a reputação de outros usuários que compartilham a mesma rede de computadores, entre outros, que fornecem informações sobre comportamentos abusivos.
Tags são usadas para marcar os infratores mais graves
As tags são usadas para sinalizar os infratores mais graves e distinguir seus comportamentos dos usuários comuns. Recursos e tags são usados para ensinar os sistemas a prever melhor se um usuário será banido no futuro.
Por exemplo, se eles determinarem que o comportamento de uma conta no momento do registro corresponde ao comportamento de outras contas que foram banidas, baniremos a conta antes que ela possa enviar qualquer mensagem. Se esses sistemas detectaram contas anteriormente após o envio de 50 mensagens, um modelo de aprendizado de máquina treinado com as características e rótulos dessas contas detectará tentativas semelhantes com muito mais rapidez.
Finalmente, é necessária infraestrutura para treinar esses classificadores, avaliar seu desempenho e analisar o comportamento de submissão de usuários reais. Neste sentido, tem sido feito um trabalho de adaptação do chamado “Sistema Imunológico do Facebook” para utilização nas redes sociais no serviço de mensagens.
No futuro, queremos aumentar a velocidade destes sistemas, garantindo que possam obter rótulos em tempo real de contas abusivas que foram perdidas e de contas legítimas que foram incorretamente identificadas como abusivas. Isso ajudará nossos modelos de aprendizado de máquina a se adaptarem e a responderem imediatamente a quaisquer novos tipos de abuso. Quanto mais aumentarmos o custo para aqueles que tentam abusar da plataforma, menos sucesso terão.
Enfrentando desafios além do produto
Também foi observado que alguns invasores tentam modificar o software WhatsApp e compartilhar arquivos APK não autorizados para contornar restrições codificadas no próprio cliente. Essas modificações não podem ignorar os sistemas de detecção executados nos servidores do WhatsApp e se aplicam a todos os usuários, sem exceção.
No entanto, a capacidade de detectar essas versões modificadas do WhatsApp está sendo aprimorada, pois elas violam os Termos de Serviço e representam um risco à segurança dos usuários que as instalam em seus dispositivos. Os usuários devem baixar o WhatsApp apenas no site oficial ou em lojas de aplicativos como Google Play ou Apple App Store.
Também vamos além da plataforma, quando possível. Trabalhamos com fornecedores para proibir aplicativos de terceiros que alegam fornecer serviços não autorizados para a plataforma. Além disso, quando as empresas afirmam que podem enviar mensagens em massa no WhatsApp, são obrigadas a cessar as operações e a reservar todos os direitos disponíveis ao abrigo da lei aplicável.
privacidade e segurança
O WhatsApp acredita firmemente que fornecer uma plataforma para comunicação privada contribui para a segurança dos utilizadores. Esperamos que as mensagens sejam protegidas para evitar que caiam em mãos erradas, e que não ocorra envio em massa no WhatsApp e uso abusivo e constante. Em alguns lugares, o WhatsApp torna-se uma tábua de salvação para organizações de direitos humanos e jornalistas. Através de uma combinação de esforços, podemos ajudar a prevenir abusos e continuar a fornecer os benefícios de privacidade e segurança que acompanham a criptografia de ponta a ponta.
Combater mensagens automatizadas e em massa é apenas uma das maneiras pelas quais ajudamos os usuários a se manterem seguros. Também fazemos modificações no design do produto com base em como ele é usado. Agora, as mensagens encaminhadas são marcadas para notificar os usuários quando a mensagem recebida não foi criada pelo remetente.
Limitamos o número de mensagens encaminhadas que podem ser enviadas de uma só vez. Em vários países, lançámos campanhas de educação pública para ajudar os utilizadores a identificar rumores e alertá-los para não espalharem informações falsas.
Concluindo, a abordagem que adotamos ao assumir uma visão abrangente da nossa responsabilidade em ajudar os usuários é essencial para manter a privacidade e a segurança no WhatsApp. Ao incentivar os usuários a bloquear e denunciar contas com mensagens indesejadas, continuamos a melhorar o aplicativo, fornecendo assim um serviço valioso e seguro em escala global.
