Remover duplicados de um CSV

1. 1

   Adicione o seu CSV

   Solte um arquivo .csv, .tsv, .txt ou .psv, ou escolha um. Nada é enviado.

2. 2

   Defina o que é um duplicado

   Compare a linha inteira, ou marque as colunas que identificam um registro.

3. 3

   Ajuste as regras de comparação

   Decida se as maiúsculas, os espaços em volta e a pontuação contam, e se fica a primeira ou a última ocorrência.

4. 4

   Revise o que será removido

   Cada linha é marcada como Mantida ou Removida e agrupada com as que lhe correspondem, para verificar o resultado antes de confirmar.

5. 5

   Exporte

   Baixe as linhas únicas, ou mude a saída para os duplicados.

Deduplicar é fácil, e é fácil fazer mal. A diferença está em conseguir ver o que está sendo apagado antes de desaparecer. Esta ferramenta é construída em torno dessa revisão e de um comparador flexível o suficiente para descrever o que um duplicado significa de fato nos seus dados.

• Linha inteira ou várias colunas — Todas as células têm de coincidir, ou apenas as colunas que marcar — um e-mail, ou um nome e um código postal juntos.
• Manter a primeira ou a última — Por padrão sobrevive a primeira ocorrência; mude para a última quando a linha mais recente contém o estado atual.
• Quatro regras de comparação — Ignorar maiúsculas, ignorar espaços em volta, juntar espaços repetidos, ignorar pontuação. Cada uma se aplica em todos os modos.
• Revisão linha a linha — Cada linha é marcada como Mantida ou Removida e colorida pelo grupo a que pertence, para que uma série de registros quase iguais se leia como um bloco.
• Linhas únicas ou duplicadas — Exporte o que sobrevive, ou inverta e exporte apenas os registros que estão repetidos.
• Cabeçalho à vista — A linha de cabeçalho é detectada, a ferramenta diz como decidiu, e você pode ajustar.
• Saída sob o seu controle — Delimitador, fim de linha e marca de ordem de bytes opcional, para que o arquivo abra corretamente onde for a seguir.
• Nada é enviado — O arquivo é lido no seu dispositivo. Nunca chega a um servidor, por isso uma lista de clientes continua sua.

Esta é a única decisão que realmente importa, e a maioria das ferramentas a toma por você. Há dois modos, e a diferença entre eles é normalmente a diferença entre um resultado útil e um destrutivo.

Comparar a linha inteira

Duas linhas só são duplicadas quando todas as células coincidem. É o padrão seguro: só pode remover uma linha que seja mesmo repetição de outra, sendo por isso o ponto de partida certo enquanto não souber como o arquivo foi produzido. É também o modo que mais deixa passar, porque uma data-hora diferente ou um espaço a mais numa célula chega para que dois registros do mesmo cliente pareçam distintos.

Comparar por colunas

Marque as colunas que identificam um registro e as restantes são ignoradas. Uma coluna é o caso comum — um e-mail, um número de pedido, uma referência — mas várias em conjunto são muitas vezes mais honestas: nome, sobrenome e código postal identificam uma pessoa de forma mais confiável do que qualquer uma das três. As colunas escolhidas ficam realçadas na tabela, porque a causa mais comum de um resultado surpreendente é comparar por menos colunas do que se pretendia.

• As células vazias contam — Um valor vazio é um valor. Duas linhas ambas vazias na coluna-chave são duplicadas uma da outra, o que normalmente está certo e é sempre visível na revisão.
• Linhas irregulares são preenchidas — Linhas com menos células do que a mais larga são completadas, por isso encontrar um duplicado não depende de o exportador ter escrito um separador final.
• A ordem nunca muda — A linha sobrevivente fica onde estava. Nada é ordenado, movido ou reagrupado.

Quando várias linhas compartilham uma chave, sobrevive exatamente uma, e qual delas é uma decisão séria e não um detalhe. O próprio Remover Duplicados do Excel não promete nada sobre isso, e a documentação do Power Query diz explicitamente que não há garantia de que instância é escolhida.

• Manter a primeira — Ganha a ocorrência mais antiga. Correto quando o arquivo tem uma ordem com significado e a primeira entrada é o registro original.
• Manter a última — Ganha a ocorrência mais recente. Correto quando o arquivo é um registro que só cresce — uma exportação onde cada alteração foi escrita como uma nova linha e a mais recente é o estado atual.
• A posição é preservada nos dois casos — Manter a última não a move para o lugar da primeira. Fica na sua própria posição, por isso uma comparação com o arquivo original mostra apenas eliminações.

A comparação exata só encontra os duplicados que já eram idênticos. Os dados reais são mais bagunçados, e quatro regras cobrem a maior parte do caminho sem pedir que você calibre um limiar de semelhança que não consegue ver.

Maiúsculas

Desativada por padrão, por isso Apple e apple são tratados como um só valor. Ative a distinção quando ela tiver significado — códigos de produto, identificadores, tudo aquilo em que a caixa faz parte do valor e não é um acidente de escrita.

Espaços

Ignorar os espaços em volta está ativado por padrão porque um espaço inicial quase nunca é intencional e é invisível em qualquer planilha. Juntar espaços vai mais longe e trata qualquer sequência de espaços dentro do valor como um só, por isso Jon Smith corresponde a Jon Smith. Essa está desativada por padrão porque muda o que conta como correspondência dentro do valor, e não apenas nas suas extremidades.

Pontuação

Ignorar a pontuação descarta os sinais comuns e as aspas tipográficas que um processador de texto substitui. Combinada com a junção de espaços, faz com que O'Brien, J. corresponda a OBrien J — a parte barata e previsível do que faz um comparador aproximado, sem a parte em que um limiar junta em silêncio duas pessoas diferentes.

• Cada regra se aplica em todos os modos — As regras afetam de forma idêntica a comparação por linha e por colunas. Não há combinação em que uma regra esteja na tela sem fazer nada.
• O arquivo nunca é alterado — A normalização acontece apenas durante a comparação. As linhas exportadas são as que forneceu, caractere a caractere.
• Ative uma e veja o contador — O contador de duplicados acima da tabela muda assim que uma regra muda, o que é a forma mais rápida de ver se está encontrando correspondências reais ou exagerando.

Uma linha de cabeçalho tem de ficar fora da comparação, ou pode ser apagada como duplicado de uma linha de dados que por acaso se pareça com ela. Errar no sentido contrário é pior e muito mais silencioso: tratar uma linha de dados como cabeçalho isenta-a da deduplicação para sempre, por isso sobrevive por muitas vezes que se repita, e nada na saída parece errado.

• Detectada, não assumida — Uma primeira linha se qualifica como cabeçalho quando nenhuma célula está vazia, nenhuma se lê como número ou data, nenhum rótulo se repete e as linhas abaixo parecem dados. Um arquivo com uma única linha não tem cabeçalho.
• A decisão é mostrada — A ferramenta indica ao lado do controle como a detecção automática decidiu, por isso você nunca precisa deduzi-lo do número de linhas.
• Sempre ajustável — Escolha sim ou não quando o seu arquivo for incomum. Um cabeçalho é uma afirmação sobre os seus dados, e uma heurística não tem a última palavra.
• Cabeçalhos nunca contam como duplicados — Quando há cabeçalho, ele passa intacto e fica fora de todas as contagens.

Apagar linhas não tem volta assim que o original desaparece, e um resumo dizendo 44 063 duplicados removidos não diz nada sobre se eram os 44 063 certos. A tabela de revisão é a resposta a isso, e é gratuita.

• Cada linha traz um veredicto — Mantida ou Removida, como etiqueta ao lado da linha. As removidas ficam riscadas, por isso a forma da eliminação se vê de relance.
• Os grupos são coloridos — As linhas que correspondem compartilham uma cor de fundo e mostram quantas há no grupo, por isso cinco registros quase iguais se leem como um bloco e não como cinco linhas soltas.
• Visualização só de duplicados — Um arquivo com 200 000 linhas e nove duplicados é ilegível inteiro e óbvio depois de filtrado. Um botão alterna entre o arquivo completo e apenas as linhas que estão num grupo duplicado.
• As colunas-chave estão marcadas — As colunas de que a comparação depende ficam realçadas no cabeçalho da tabela, o que normalmente basta para explicar um resultado surpreendente.
• Quatro contadores ao vivo — Linhas totais, linhas únicas, duplicados encontrados e grupos duplicados, todos atualizando enquanto você muda uma regra.

Um arquivo de 10 MB com 146 000 linhas é lido e comparado em cerca de um décimo de segundo, fora do thread principal, por isso a página nunca trava.

As linhas limpas só servem se o arquivo abrir corretamente naquilo que o ler a seguir, por isso a forma como é escrito é sua e não herdada em silêncio da entrada.

• Linhas únicas ou duplicadas — Exporte o que sobrevive, ou inverta a saída e exporte todas as linhas de um grupo duplicado — incluindo a que teria sido mantida, porque um grupo sem o seu primeiro membro não é um grupo.
• Delimitador — Mantenha o do arquivo, ou escreva vírgula, ponto e vírgula, tabulação ou barra vertical, independentemente do que entrou.
• Fim de linha — LF para tudo o que seja de estilo Unix, CRLF para ferramentas Windows que não aceitam outra coisa.
• Marca de ordem de bytes — O Excel no Windows abre um CSV UTF-8 sem marca como Windows-1252 e estraga cada acento. Acrescentá-la resolve isso, e está desativada por padrão porque confunde vários outros leitores.
• As aspas são reparadas na saída — Valores com o delimitador, uma aspa, uma quebra de linha ou um espaço inicial com significado são corretamente colocados entre aspas, por isso o arquivo sobrevive a uma ida e volta mesmo que o original não sobrevivesse.
• As linhas descartadas, com Pro — Um segundo arquivo com exatamente as linhas que a exportação deixou de fora — os dois juntos voltam sempre a somar o que forneceu.

Linhas duplicadas raramente são um problema cosmético. Inflacionam os números sobre os quais se decide e provocam falhas visíveis mais à frente.

• As contagens deixam de mentir — Qualquer total, média ou agrupamento calculado sobre um arquivo com repetições está errado exatamente nessas repetições, e está errado num sentido que ninguém verifica.
• As importações deixam de falhar — Uma restrição de unicidade sobre um e-mail ou um identificador rejeita o lote inteiro na primeira repetição. Deduplicar antes transforma uma importação que falhou numa bem-sucedida.
• Ninguém é contatado duas vezes — Uma lista de contatos com repetições envia a mesma mensagem à mesma pessoa mais do que uma vez, o que custa cancelamentos e, em algumas jurisdições, mais do que isso.
• Os arquivos ficam menores — Um terço de uma exportação de clientes serem repetições não é incomum. Removê-las torna cada passo seguinte mais rápido e cada arquivo mais barato de mover.
• Fontes juntas se tornam utilizáveis — Duas exportações encadeadas sempre se sobrepõem. Deduplicar por uma chave comum é o que transforma essa junção num único conjunto limpo.

• Ordenar CSV
• Filtrar CSV
• Juntar CSV
• Ferramentas CSV