Ferramenta para remover texto duplicado

A ferramenta divide o seu texto em unidades, constrói uma chave de comparação para cada uma segundo as regras que você definir, agrupa as unidades cujas chaves são idênticas e reconstrói o texto com uma cópia de cada grupo. Tudo o que vem depois — que cópia fica, o que a saída mostra, como é ordenada, como as peças se unem de novo — é uma decisão sua sobre esse mesmo índice, e é por isso que mudar essas configurações é instantâneo mesmo numa lista muito grande.

Passo a passo

1. 1

   Adicione o seu texto

   Cole na caixa ou solte um arquivo .txt, .csv, .tsv, .log ou .md. Nada é enviado: o arquivo é lido no seu dispositivo.

2. 2

   Defina o que é um duplicado

   Escolha a unidade: linhas, palavras, parágrafos ou um delimitador como a vírgula. Depois ajuste as regras de comparação: maiúsculas, espaços, pontuação e acentos.

3. 3

   Decida que cópia fica

   Manter a primeira preserva a ocorrência mais antiga; manter a última preserva a final. Em ambos os casos as entradas que ficam mantêm a ordem original.

4. 4

   Reveja e leve o resultado

   Veja os contadores e a tabela de ocorrências, alterne entre únicas, só duplicados e removidas para ver exatamente o que mudou, e depois copie ou baixe.

Remover duplicados é uma operação e várias perguntas. A maioria das ferramentas online só responde à primeira.

• Conta cada repetição — a tabela de ocorrências lista cada entrada distinta com quantas vezes apareceu, e exporta para CSV.
• Mostra os próprios duplicados — mude a saída para listar só as entradas que se repetem, em vez das que não se repetem.
• Mostra o que foi removido — uma terceira visualização lista exatamente o que a desduplicação apagou, para você poder revisar a operação antes de confiar nela.
• Lê arquivos, não só colagens — solte um arquivo .txt, .csv, .tsv, .log, .md ou .list; codificações e marcas de ordem de bytes são tratadas.
• Divide em qualquer delimitador — uma vírgula, um ponto e vírgula, uma barra vertical ou uma palavra — não só em quebras de linha.
• Sem limite por hora — sem limite de tarefas, sem fila. O trabalho acontece no seu dispositivo.

A configuração mais importante é o que conta como uma unidade, porque todo o resto compara essas unidades. Quatro opções cobrem as formas em que o texto realmente chega.

Linhas

Cada linha é uma unidade. É o modo para listas, registros, colunas exportadas, conjuntos de URL, listas de e-mail e tudo o que vai um por linha. As linhas em branco são estrutura e não conteúdo, e nunca são comparadas, por isso o espaçamento do documento sobrevive.

Palavras

As unidades são sequências sem espaços, separadas por qualquer espaço em branco, incluindo quebras de linha. Use-o para extrair vocabulário, nuvens de etiquetas ou retirar um token repetido de um bloco de texto. A configuração de separador de saída decide se as sobreviventes voltam como frase, uma por linha, ou com o espaçamento original preservado.

Parágrafos

Uma unidade é um bloco de linhas consecutivas não vazias, separado do seguinte por uma ou mais linhas em branco. É o modo para seções repetidas em anotações, texto repetido em rascunhos e documentos mesclados que ficaram com a mesma passagem duas vezes. Uma linha com apenas espaços conta como vazia, porque para quem lê o documento é uma separação.

Um delimitador à sua escolha

Digite qualquer sequência e o texto é dividido nela: uma vírgula para uma lista de palavras-chave, um ponto e vírgula para uma célula de CSV europeu, uma barra vertical para um campo de registro, ou uma palavra inteira se for isso que separa as suas entradas. As sobreviventes são unidas de novo com o mesmo delimitador, por isso o resultado encaixa de volta onde estava.

Duas entradas são duplicadas quando as suas chaves de comparação são idênticas. Cada regra abaixo muda como essa chave é construída, e se combinam livremente — é essa a diferença entre um conjunto de interruptores e uma lista fixa de estratégias predefinidas.

Maiúsculas e minúsculas

Por padrão a comparação ignora as maiúsculas, por isso «Maçã» e «maçã» são uma só entrada. Ligue a sensibilidade quando a diferença tiver significado — identificadores, resumos criptográficos, código, tudo onde a maiúscula carregue informação.

Espaços nas pontas

Os espaços no início e no fim são ignorados por padrão. Você pode cortar só o início, só o fim, ou nada. Cortar só o fim é a configuração certa para uma lista indentada, onde os espaços iniciais são a estrutura que você quer manter e os finais são ruído da exportação.

Espaços repetidos dentro de uma entrada

«João Silva» e «João Silva» diferem num espaço. Reduzir as sequências de espaços a um só antes de comparar as transforma numa entrada — útil para nomes, endereços e tudo o que alguém escreveu duas vezes.

Pontuação

Ignorar a pontuação descarta os símbolos ASCII imprimíveis e as quatro aspas curvas que um processador de texto substitui, por isso «St. John's» e «St Johns» coincidem. Deixa deliberadamente intacta a pontuação de outras escritas, porque o ponto médio japonês e a vírgula árabe formam palavras e esta ferramenta não precisa decidir sobre eles.

Unicode composto e decomposto

«café» escrito num Mac e «café» escrito no Windows podem ser sequências de bytes diferentes com aspecto idêntico: uma guarda a letra acentuada como um só caractere, a outra como uma letra seguida de uma marca combinante. Normalizar a composição faz com que coincidam. É o duplicado que ninguém vê e que quase nenhuma ferramenta detecta.

Acentos

Ir um passo mais longe e retirar as marcas por completo faz «resume» coincidir com «résumé» e «Munchen» com «München». Use-o quando uma lista tiver sido escrita por várias pessoas, ou em parte por alguém sem a disposição de teclado adequada.

Quando é encontrado um grupo de duplicados fica exatamente um dos seus membros. Qual é a sua escolha, e as duas respostas são realmente diferentes.

• Manter a primeira — sobrevive a ocorrência mais antiga. Certo quando a primeira entrada é a canônica, ou quando a ordem da lista foi deliberada.
• Manter a última — sobrevive a ocorrência final. Certo para registros que só crescem e exportações onde as linhas posteriores substituem as anteriores.
• A ordem se mantém de qualquer forma — as entradas sobreviventes ficam onde estavam no documento. Só muda que cópia fica, nunca a sequência das que ficam.

O índice que a ferramenta constrói responde a três perguntas ao mesmo tempo, por isso as três são um só controle em vez de três ferramentas.

Únicas

Cada entrada uma vez — a desduplicação clássica. É o que você leva quando quer a própria lista limpa.

Só os duplicados

Só as entradas que apareceram mais de uma vez, listadas uma vez cada. Isto inverte a operação: em vez da lista sem as repetições, você obtém as repetições. É a forma mais rápida de responder a «o que está duplicado aqui dentro?» sem ler o arquivo todo.

Só o que foi removido

Exatamente as ocorrências que a desduplicação apagou, na ordem do documento. Consulte-a antes de sobrescrever seja o que for: é a diferença entre confiar numa ferramenta e verificá-la.

Ao lado do resultado está uma tabela com cada entrada distinta e o seu número de ocorrências, ordenada por esse número para que as piores fiquem no topo. Responde a uma pergunta diferente da desduplicação: não «me dê a lista sem repetições» mas «que entradas se repetem, e quanto».

• Ordene o próprio resultado por número de ocorrências para colocar as entradas mais repetidas à frente.
• Exporte a tabela completa como um CSV com marca de ordem de bytes, para que abra corretamente no Excel com os acentos intactos.
• A tabela na tela tem limite por causa do navegador; o CSV exportado contém sempre todas as linhas, em qualquer plano.
• As entradas vazias são mostradas como tal e não como uma linha vazia, por isso uma contagem de 40 linhas em branco é visível em vez de misteriosa.

Escolhidas as sobreviventes, três configurações decidem o aspecto real da saída. As três geram a partir do índice existente, por isso são instantâneas mesmo num documento muito grande.

Ordenação

Deixe desligada para manter a ordem do documento, ou ordene de A-Z, em ordem natural (para que «item2» venha antes de «item10»), por comprimento ou por número de ocorrências. Todas as ordenações desempatam pela posição original, por isso a mesma entrada com as mesmas configurações produz sempre o mesmo arquivo.

Como as peças são unidas

As linhas são unidas com quebras de linha, as palavras com espaços e os parágrafos com linhas em branco por padrão — mas você pode forçar qualquer um deles a quebras de linha, espaços, vírgulas ou tabulações, ou pedir que o espaçamento original entre cada unidade sobrevivente seja preservado exatamente como está.

Finais de linha

A saída mantém o final de linha que predominava na sua entrada, ou pode ser forçada a Unix (LF) ou Windows (CRLF). Um arquivo que terminava com uma quebra de linha continua terminando com uma, porque todos os loops de terminal e importações de planilha posteriores contam com isso, e perdê-la quebra processos em silêncio.

A versão gratuita trata até 25 MB de texto por vez — cerca de 700 000 linhas de uma exportação típica — e todos os modos, regras de comparação, visualizações e exportações se aplicam. Nada do resultado fica retido pelo plano; o Pro sobe o limite para aquilo que o seu dispositivo aguentar e acrescenta lotes de vários arquivos com um único download em arquivo ZIP.

• Tudo roda no seu dispositivo. Nada é enviado, e não há conta, nem fila, nem limite de tarefas por hora.
• Os arquivos são lidos como UTF-8, e as codificações UTF-16 ou ocidentais antigas são detectadas em vez de se tornarem caracteres de substituição.
• A marca de ordem de bytes é retirada, para que a sua primeira entrada não fique isenta da comparação por causa de um caractere invisível.
• Arquivos aceitos: .txt, .text, .csv, .tsv, .log, .md e .list. Qualquer outro é recusado no momento em que você o escolhe, com um link para a ferramenta que o consegue abrir.
• As entradas muito grandes são limitadas pela memória do seu dispositivo. A pré-visualização na tela é limitada; copiar e baixar levam sempre o resultado completo.

A desduplicação roda no seu dispositivo, fora da thread principal, por isso uma lista de 25 MB continua respondendo enquanto trabalha.

A desduplicação apaga dados. Alguns hábitos fazem a diferença entre uma lista limpa e uma danificada em silêncio.

• Veja a visualização «removidas» antes de sobrescrever a origem. É um clique e mostra exatamente o que se perderia.
• Se a repetição for intencional — poesia, código, dados de teste, um refrão —, verifique o resultado em vez de presumi-lo.
• Os dados estruturados merecem uma ferramenta que conheça colunas. Desduplicar um CSV por linhas inteiras ignora que coluna identifica realmente uma linha.
• O modo parágrafos precisa de linhas em branco claras; um documento que use indentação em vez disso será lido como um só bloco.
• A comparação com corte de espaços trata as variantes espaçadas como a mesma entrada, o que costuma estar certo e às vezes não. Desligue-a quando os espaços forem dados.
• Numa colagem muito grande, teste primeiro as configurações numa amostra: a resposta chega mais rápido e a decisão é a mesma.

A desduplicação estrutural compara chaves de forma exata segundo as regras que você definir. Três casos precisam de outra coisa.

• Quase-duplicados e erros de digitação. «Jon Silva» e «John Silva» são aqui entradas diferentes e continuarão sendo: isso é correspondência aproximada, outro problema com outros modos de falha.
• Linhas cujos duplicados transportam dados diferentes que você precisa juntar em vez de descartar. Uma planilha ou uma base de dados consegue combiná-los; esta ferramenta só consegue ficar com um.
• Unicidade definida por uma coluna ou uma chave em vez da linha inteira. Use o removedor de duplicados de CSV, que compara pelas colunas que você escolher.

Para tudo o resto, desduplique primeiro para reduzir o ruído e depois ordene a saída única para revisão, corte espaços a mais ou analise rapidamente o que sobrou.

• Ordenar texto
• Juntar texto
• Remover espaços
• Dividir texto
• Analisador de texto
• Remover linhas CSV duplicadas