Supprimer les doublons d'un CSV

1. 1

   Ajoutez votre CSV

   Déposez un fichier .csv, .tsv, .txt ou .psv, ou choisissez-en un. Rien n'est envoyé.

2. 2

   Définissez ce qu'est un doublon

   Comparez la ligne entière, ou cochez les colonnes qui identifient un enregistrement.

3. 3

   Réglez les critères de comparaison

   Décidez si la casse, les espaces autour et la ponctuation comptent, et si la première ou la dernière occurrence est conservée.

4. 4

   Vérifiez ce qui sera retiré

   Chaque ligne est marquée Gardée ou Retirée et regroupée avec celles qui lui correspondent, pour contrôler le résultat avant de valider.

5. 5

   Exportez

   Téléchargez les lignes uniques, ou basculez la sortie sur les doublons.

Dédupliquer est facile, et facile à rater. La différence tient à votre capacité à voir ce qui va disparaître avant que cela disparaisse. Cet outil est construit autour de cette vérification, et autour d'un comparateur assez souple pour décrire ce qu'un doublon signifie réellement dans vos données.

• Ligne entière ou plusieurs colonnes — Toutes les cellules doivent concorder, ou seulement les colonnes que vous cochez : un e-mail, ou un nom et un code postal ensemble.
• Garder la première ou la dernière — La première occurrence survit par défaut ; passez à la dernière quand la ligne la plus récente porte l'état courant.
• Quatre critères de comparaison — Ignorer la casse, ignorer les espaces autour, réduire les espaces répétés, ignorer la ponctuation. Chacun s'applique à tous les modes.
• Vérification ligne par ligne — Chaque ligne est marquée Gardée ou Retirée et teintée selon son groupe, si bien qu'une série d'enregistrements presque identiques se lit comme un bloc.
• Lignes uniques ou doublons — Exportez ce qui survit, ou inversez et exportez uniquement les enregistrements présents plusieurs fois.
• Une gestion visible de l'en-tête — La ligne d'en-tête est détectée, l'outil vous dit dans quel sens il a tranché, et vous pouvez le corriger.
• Une sortie que vous maîtrisez — Séparateur, fins de ligne et marque d'ordre des octets facultative, pour que le fichier s'ouvre correctement là où il ira ensuite.
• Rien n'est envoyé — Le fichier est lu sur votre appareil. Il n'atteint aucun serveur, si bien qu'un fichier clients reste un fichier clients.

C'est la seule décision qui compte vraiment, et la plupart des outils la prennent à votre place. Il y a deux modes, et l'écart entre eux est généralement l'écart entre un résultat utile et un résultat destructeur.

Comparer la ligne entière

Deux lignes ne sont des doublons que si chaque cellule concorde. C'est la valeur par défaut prudente : elle ne peut retirer qu'une ligne qui répète réellement une autre, ce qui en fait le bon point de départ tant que vous ignorez comment le fichier a été produit. C'est aussi le mode qui rate le plus : un horodatage différent ou une espace de trop dans une cellule suffit à rendre deux enregistrements du même client distincts.

Comparer par colonnes

Cochez les colonnes qui identifient un enregistrement et le reste est ignoré. Une seule colonne est le cas courant — une adresse e-mail, un numéro de commande, une référence — mais plusieurs ensemble sont souvent plus honnêtes : prénom, nom et code postal identifient une personne plus sûrement que chacun pris isolément. Les colonnes choisies sont surlignées dans le tableau, car la cause la plus fréquente d'un résultat surprenant est d'avoir comparé sur moins de colonnes que prévu.

• Les cellules vides comptent — Une valeur vide est une valeur. Deux lignes vides dans la colonne clé sont doublons l'une de l'autre, ce qui est généralement correct et toujours visible dans la vérification.
• Les lignes irrégulières sont complétées — Les lignes ayant moins de cellules que la plus large sont complétées, si bien qu'un doublon ne dépend pas de l'écriture ou non d'un séparateur final par l'exportateur.
• L'ordre ne change jamais — La ligne survivante reste où elle était. Rien n'est trié, déplacé ni regroupé.

Quand plusieurs lignes partagent une clé, exactement une survit, et laquelle est une vraie décision, pas un détail. La fonction Supprimer les doublons d'Excel ne promet rien à ce sujet, et la documentation de Power Query dit explicitement qu'aucune garantie n'existe sur l'instance retenue.

• Garder la première — L'occurrence la plus ancienne gagne. Correct quand le fichier suit un ordre porteur de sens et que la première entrée est l'enregistrement d'origine.
• Garder la dernière — L'occurrence la plus récente gagne. Correct quand le fichier est un journal : un export où chaque modification a été écrite comme une nouvelle ligne, la dernière portant l'état courant.
• La position est préservée dans les deux cas — Garder la dernière ne la déplace pas à l'emplacement de la première. Elle reste à sa propre place, si bien qu'une comparaison avec le fichier d'origine ne montre que des suppressions.

La comparaison exacte ne trouve que les doublons déjà identiques. Les vraies données sont plus désordonnées, et quatre critères couvrent l'essentiel du chemin sans vous demander de régler un seuil de similarité invisible.

Casse

Désactivée par défaut, si bien qu'Apple et apple sont traités comme une même valeur. Activez la distinction quand elle a un sens : codes produit, identifiants, tout ce où la casse fait partie de la valeur et n'est pas un accident de saisie.

Espaces

Ignorer les espaces autour est actif par défaut car une espace initiale n'est presque jamais voulue et reste invisible dans tout tableur. Réduire les espaces va plus loin et traite toute suite d'espaces à l'intérieur d'une valeur comme une seule, si bien que Jon Smith correspond à Jon Smith. Ce critère est désactivé par défaut car il change ce qui compte comme correspondance à l'intérieur de la valeur, et pas seulement à ses bords.

Ponctuation

Ignorer la ponctuation écarte les signes usuels ainsi que les guillemets typographiques qu'un traitement de texte substitue. Combiné à la réduction des espaces, cela fait correspondre O'Brien, J. et OBrien J : la part économique et prévisible de ce que fait un comparateur approximatif, sans la part où un seuil fusionne silencieusement deux personnes différentes.

• Chaque critère s'applique à tous les modes — Les critères agissent identiquement sur la comparaison par ligne et par colonnes. Aucune combinaison ne laisse un critère affiché sans effet.
• Le fichier n'est jamais modifié — La normalisation n'a lieu que pendant la comparaison. Les lignes exportées sont celles que vous avez fournies, caractère pour caractère.
• Activez-en un et regardez le compteur — Le compteur de doublons au-dessus du tableau bouge dès qu'un critère change, ce qui est le moyen le plus rapide de voir s'il trouve de vraies correspondances ou s'il va trop loin.

Une ligne d'en-tête doit être exclue de la comparaison, sinon elle peut être supprimée comme doublon d'une ligne de données qui lui ressemble. L'erreur inverse est pire et bien plus silencieuse : traiter une ligne de données comme un en-tête l'exempte définitivement de la déduplication, si bien qu'elle survit quel que soit le nombre de répétitions, et rien dans la sortie ne paraît anormal.

• Détectée, pas supposée — Une première ligne devient un en-tête si aucune cellule n'est vide, aucune ne se lit comme un nombre ou une date, aucune étiquette ne se répète, et les lignes dessous ressemblent à des données. Un fichier d'une seule ligne n'a pas d'en-tête.
• La décision est affichée — L'outil indique à côté du réglage dans quel sens la détection automatique a tranché : vous n'avez jamais à le déduire du nombre de lignes.
• Toujours corrigeable — Mettez oui ou non quand votre fichier est atypique. Un en-tête est une affirmation sur vos données, et une heuristique n'a pas le dernier mot.
• Un en-tête n'est jamais un doublon — Quand un en-tête est en jeu, il est transmis tel quel et exclu de tous les comptages.

Supprimer des lignes est irréversible une fois l'original perdu, et un résumé annonçant 44 063 doublons retirés ne dit rien sur le fait que c'étaient les bons 44 063. Le tableau de vérification est la réponse à cela, et il est gratuit.

• Chaque ligne porte un verdict — Gardée ou Retirée, en pastille à côté de la ligne. Les lignes retirées sont barrées, si bien que la forme de la suppression se voit d'un coup d'œil.
• Les groupes sont teintes — Les lignes qui se correspondent partagent une couleur de fond et affichent la taille du groupe, si bien que cinq enregistrements presque identiques se lisent comme un bloc plutôt que comme cinq lignes sans rapport.
• Vue doublons seuls — Un fichier de 200 000 lignes comportant neuf doublons est illisible en entier et évident une fois filtré. Un bouton bascule entre le fichier complet et les seules lignes appartenant à un groupe.
• Les colonnes clés sont marquées — Les colonnes dont dépend la comparaison sont surlignées dans l'en-tête du tableau, ce qui suffit généralement à expliquer un résultat surprenant.
• Quatre compteurs en direct — Lignes totales, lignes uniques, doublons trouvés et groupes de doublons, mis à jour à mesure que vous changez un critère.

Un fichier de 10 Mo comptant 146 000 lignes est lu et comparé en environ un dixième de seconde, hors du fil principal, si bien que la page ne se fige jamais.

Les lignes nettoyées ne servent que si le fichier s'ouvre correctement dans ce qui le lira ensuite : la manière de l'écrire vous appartient plutôt que d'être héritée silencieusement de l'entrée.

• Lignes uniques ou doublons — Exportez ce qui survit, ou inversez la sortie et exportez toutes les lignes d'un groupe de doublons, y compris celle qui aurait été gardée, car un groupe privé de son premier membre n'est pas un groupe.
• Séparateur — Conservez celui du fichier, ou écrivez virgule, point-virgule, tabulation ou barre verticale quelle que soit l'entrée.
• Fins de ligne — LF pour tout ce qui est de forme Unix, CRLF pour les outils Windows qui n'acceptent rien d'autre.
• Marque d'ordre des octets — Excel sous Windows ouvre un CSV UTF-8 sans marque comme du Windows-1252 et abîme chaque caractère accentué. L'ajouter corrige cela ; c'est désactivé par défaut car cela perturbe d'autres lecteurs.
• Les guillemets sont réparés en sortie — Les valeurs contenant le séparateur, un guillemet, un saut de ligne ou une espace initiale significative sont correctement encadrées, si bien que le fichier survit à un aller-retour même si l'original n'y parvenait pas.
• Les lignes retirées, avec Pro — Un second fichier contenant exactement les lignes que l'export a laissées de côté : les deux ensemble redonnent toujours ce que vous avez fourni.

Les lignes en double sont rarement un problème cosmétique. Elles gonflent les chiffres sur lesquels on décide, et provoquent des échecs visibles en aval.

• Les comptages cessent de mentir — Tout total, moyenne ou regroupement calculé sur un fichier comportant des répétitions est faux d'exactement ces répétitions, et il l'est dans une direction que personne ne vérifié.
• Les imports cessent d'échouer — Une contrainte d'unicité sur un e-mail ou un identifiant rejette tout le lot dès la première répétition. Dédupliquer avant transforme un import raté en import réussi.
• Personne n'est contacté deux fois — Une liste de contacts comportant des répétitions envoie le même message plusieurs fois à la même personne, ce qui coûte des désabonnements et, dans certains pays, davantage.
• Les fichiers rétrécissent — Qu'un tiers d'un export clients soit des répétitions n'a rien d'inhabituel. Les retirer accélère chaque étape suivante et rend chaque fichier moins coûteux à déplacer.
• Les sources fusionnées deviennent exploitables — Deux exports mis bout à bout se recouvrent toujours. Dédupliquer sur une clé commune est ce qui transforme cette concaténation en un jeu de données propre.

• Trier un CSV
• Filtrer un CSV
• Fusionner des CSV
• Outils CSV