Outil de suppression de texte en double

L'outil découpe votre texte en unités, construit une clé de comparaison pour chacune selon vos règles, regroupe les unités dont les clés sont identiques et reconstruit le texte avec une copie par groupe. Tout ce qui suit — quelle copie survit, ce que montre la sortie, comment elle est triée, comment les morceaux sont recollés — est une décision que vous prenez sur ce même index : c'est pourquoi modifier ces réglages est instantané, même sur une très grande liste.

Étape par étape

1. 1

   Ajoutez votre texte

   Collez dans le champ, ou déposez un fichier .txt, .csv, .tsv, .log ou .md. Rien n'est envoyé : le fichier est lu sur votre appareil.

2. 2

   Définissez ce qu'est un doublon

   Choisissez l'unité : lignes, mots, paragraphes, ou un délimiteur comme la virgule. Réglez ensuite les règles de comparaison : casse, espaces, ponctuation et accents.

3. 3

   Décidez quelle copie survit

   Garder la première conserve l'occurrence la plus ancienne ; garder la dernière conserve la finale. Dans les deux cas, les entrées conservées gardent leur ordre d'origine.

4. 4

   Vérifiez, puis prenez le résultat

   Regardez les compteurs et le tableau des occurrences, basculez entre uniques, doublons seuls et supprimées pour voir exactement ce qui a changé, puis copiez ou téléchargez.

Supprimer les doublons, c'est une opération et plusieurs questions. La plupart des outils en ligne ne répondent qu'à la première.

• Compte chaque répétition — le tableau des occurrences liste chaque entrée distincte avec son nombre d'apparitions, et s'exporte en CSV.
• Montre les doublons eux-mêmes — basculez la sortie pour lister seulement les entrées qui se répètent, plutôt que celles qui ne se répètent pas.
• Montre ce qui a été supprimé — une troisième vue liste exactement ce que la déduplication a effacé, pour vérifier l'opération avant de lui faire confiance.
• Lit des fichiers, pas seulement des collages — déposez un fichier .txt, .csv, .tsv, .log, .md ou .list ; encodages et marques d'ordre des octets sont gérés.
• Découpe sur n'importe quel délimiteur — une virgule, un point-virgule, une barre verticale ou un mot — pas seulement les sauts de ligne.
• Aucune limite horaire — pas de compteur de tâches, pas de file d'attente, pas de compte. Le travail se fait sur votre appareil.

Le réglage le plus important est ce qui compte comme une unité, puisque tout le reste compare ces unités. Quatre choix couvrent les formes sous lesquelles le texte arrive réellement.

Lignes

Chaque rangée est une unité. C'est le mode pour les listes, les journaux, les colonnes exportées, les jeux d'URL, les listes d'adresses e-mail et tout ce qui va une par ligne. Les lignes vides sont de la structure et non du contenu, et ne sont jamais comparées : l'espacement du document survit.

Mots

Les unités sont des suites de caractères sans espace, découpées sur n'importe quel blanc, sauts de ligne compris. À utiliser pour extraire du vocabulaire, construire un nuage d'étiquettes ou retirer un jeton répété d'un bloc de texte. Le réglage du séparateur de sortie décide si les survivants reviennent en phrase, un par ligne, ou avec leur espacement d'origine préservé.

Paragraphes

Une unité est un bloc de lignes consécutives non vides, séparé du suivant par une ou plusieurs lignes vides. C'est le mode pour les sections répétées dans des notes, le texte type dupliqué dans des brouillons et les documents fusionnés qui ont hérité deux fois du même passage. Une ligne ne contenant que des espaces compte comme vide, car pour toute personne qui lit le document c'est une coupure.

Un délimiteur de votre choix

Saisissez n'importe quelle chaîne et le texte se découpe dessus : une virgule pour une liste de mots-clés, un point-virgule pour une cellule de CSV européen, une barre verticale pour un champ de journal, ou un mot entier si c'est lui qui sépare vos entrées. Les survivants sont recollés avec le même délimiteur, si bien que le résultat retourne directement d'où il venait.

Deux entrées sont des doublons quand leurs clés de comparaison sont identiques. Chaque règle ci-dessous change la façon dont cette clé est construite, et elles se combinent librement — c'est la différence entre un jeu d'interrupteurs et une liste figée de stratégies prédéfinies.

Casse

La comparaison ignore la casse par défaut : « Pomme » et « pomme » forment une seule entrée. Activez la sensibilité quand la différence a un sens — identifiants, empreintes, code, tout ce où la majuscule porte de l'information.

Espaces aux extrémités

Les espaces de début et de fin sont ignorés par défaut. Vous pouvez ne rogner que le début, que la fin, ou rien du tout. Ne rogner que la fin est le bon réglage pour une liste indentée, où les espaces de tête sont la structure que vous gardez et ceux de queue du bruit d'export.

Espaces répétés à l'intérieur d'une entrée

« Jean Dupont » et « Jean Dupont » diffèrent d'un espace. Réduire les suites d'espaces à un seul avant de comparer en fait une seule entrée — utile pour les noms, les adresses et tout ce qu'un humain a saisi deux fois.

Ponctuation

Ignorer la ponctuation retire les symboles ASCII imprimables et les quatre guillemets courbes qu'un traitement de texte substitue : « St. John's » et « St Johns » correspondent alors. La ponctuation des autres écritures est délibérément laissée intacte, car le point médian japonais et la virgule arabe forment des mots et cet outil n'a pas à en décider.

Unicode composé et décomposé

« café » saisi sur un Mac et « café » saisi sur Windows peuvent être des suites d'octets différentes au rendu identique : l'une stocke la lettre accentuée comme un seul caractère, l'autre comme une lettre suivie d'une marque combinante. Normaliser la composition les fait correspondre. C'est le doublon que personne ne voit et que presque aucun outil ne détecte.

Accents

Aller plus loin et retirer complètement les marques fait correspondre « resume » à « résumé » et « Munchen » à « München ». À utiliser quand une liste a été saisie par plusieurs personnes, ou en partie par quelqu'un sans la bonne disposition de clavier.

Quand un groupe de doublons est trouvé, exactement un de ses membres est conservé. Lequel, c'est votre choix, et les deux réponses sont réellement différentes.

• Garder la première — l'occurrence la plus ancienne survit. Juste quand la première entrée fait référence, ou quand l'ordre de la liste était délibéré.
• Garder la dernière — l'occurrence finale survit. Juste pour les journaux en ajout seul et les exports où les lignes ultérieures remplacent les précédentes.
• L'ordre est préservé dans les deux cas — les entrées conservées restent là où elles étaient dans le document. Seule la copie retenue change, jamais la séquence de celles qui restent.

L'index construit par l'outil répond à trois questions à la fois : les trois sont donc un seul réglage plutôt que trois outils.

Uniques

Chaque entrée une fois — la déduplication classique. C'est ce que vous prenez quand vous voulez la liste nettoyée elle-même.

Doublons seuls

Seulement les entrées apparues plus d'une fois, listées une fois chacune. Cela inverse l'opération : au lieu de la liste sans les répétitions, vous obtenez les répétitions. C'est le moyen le plus rapide de répondre à « qu'est-ce qui est en double là-dedans ? » sans lire tout le fichier.

Seulement ce qui a été supprimé

Exactement les occurrences que la déduplication a effacées, dans l'ordre du document. À consulter avant d'écraser quoi que ce soit : c'est la différence entre faire confiance à un outil et le vérifier.

À côté du résultat se trouve un tableau de chaque entrée distincte et de son nombre d'occurrences, trié par ce nombre pour que les pires soient en haut. Il répond à une autre question que la déduplication : non pas « donne-moi la liste sans répétitions » mais « quelles entrées se répètent, et à quel point ».

• Triez le résultat lui-même par nombre d'occurrences pour placer les entrées les plus répétées en tête.
• Exportez le tableau complet en CSV avec une marque d'ordre des octets, pour qu'il s'ouvre correctement dans Excel avec les accents intacts.
• Le tableau à l'écran est plafonné pour ménager le navigateur ; le CSV exporté contient toujours toutes les lignes, quelle que soit la formule.
• Les entrées vides sont affichées comme telles plutôt que comme une ligne vide : un total de 40 lignes vides est visible au lieu d'être mystérieux.

Une fois les survivants choisis, trois réglages décident de l'aspect réel de la sortie. Tous trois repartent de l'index existant : ils sont donc instantanés même sur un très grand document.

Tri

Laissez-le désactivé pour garder l'ordre du document, ou triez de A à Z, en ordre naturel (« item2 » avant « item10 »), par longueur ou par nombre d'occurrences. Chaque tri départage les ex æquo par la position d'origine : la même entrée avec les mêmes réglages produit toujours le même fichier.

Comment les morceaux sont recollés

Les lignes se recollent avec des sauts de ligne, les mots avec des espaces et les paragraphes avec des lignes vides par défaut — mais vous pouvez forcer n'importe lequel vers des sauts de ligne, des espaces, des virgules ou des tabulations, ou demander que l'espacement d'origine entre chaque unité conservée soit préservé exactement.

Fins de ligne

La sortie conserve la fin de ligne qui dominait dans votre entrée, ou peut être forcée en Unix (LF) ou Windows (CRLF). Un fichier qui se terminait par un saut de ligne se termine toujours par un, car toute boucle shell et tout import de tableur en aval l'attendent, et le perdre casse des chaînes de traitement en silence.

La version gratuite traite jusqu'à 25 Mo de texte à la fois — environ 700 000 lignes d'un export typique — et tous les modes, règles de comparaison, vues de sortie et exports s'y appliquent. Rien du résultat n'est retenu selon la formule ; Pro relève le plafond à ce que votre appareil peut gérer et ajoute les lots de plusieurs fichiers avec une seule archive.

• Tout s'exécute sur votre appareil. Rien n'est envoyé, et il n'y a ni compte, ni file d'attente, ni limite horaire de tâches.
• Les fichiers sont lus en UTF-8, et les encodages UTF-16 ou occidentaux anciens sont détectés au lieu d'être transformés en caractères de remplacement.
• La marque d'ordre des octets est retirée, pour que votre première entrée ne soit pas discrètement exemptée de la comparaison par un caractère invisible.
• Fichiers acceptés : .txt, .text, .csv, .tsv, .log, .md et .list. Tout autre est refusé au moment où vous le choisissez, avec un lien vers l'outil qui sait l'ouvrir.
• Les très grandes entrées sont limitées par la mémoire de votre appareil. L'aperçu à l'écran est borné ; copier et télécharger emportent toujours le résultat complet.

La déduplication s'exécute sur votre appareil, hors du fil principal : une liste de 25 Mo reste réactive pendant le traitement.

La déduplication supprime des données. Quelques habitudes font la différence entre une liste propre et une liste discrètement abîmée.

• Regardez la vue « supprimées » avant d'écraser la source. C'est un clic et cela montre exactement ce qui serait perdu.
• Si la répétition est voulue — poésie, code, jeux de test, un refrain —, vérifiez le résultat plutôt que de le supposer.
• Les données structurées méritent un outil qui connaît les colonnes. Dédupliquer un CSV par lignes entières ignore quelle colonne identifie réellement une ligne.
• Le mode paragraphes a besoin de vraies lignes vides ; un document qui utilise l'indentation à la place sera lu comme un seul bloc.
• La comparaison avec rognage traite les variantes espacées comme la même entrée, ce qui est généralement juste et parfois non. Désactivez-la quand les espaces sont des données.
• Sur un très gros collage, essayez d'abord les réglages sur un échantillon : la réponse arrive plus vite et la décision est la même.

La déduplication structurelle compare des clés de façon exacte selon vos règles. Trois cas demandent autre chose.

• Les quasi-doublons et les fautes de frappe. « Jon Dupont » et « John Dupont » sont ici des entrées différentes et le resteront : c'est de la correspondance approximative, un autre problème avec d'autres modes de défaillance.
• Les lignes dont les doublons portent des données différentes que vous devez fusionner plutôt que jeter. Un tableur ou une base de données sait les combiner ; cet outil ne peut qu'en garder une.
• L'unicité définie par une colonne ou une clé plutôt que par la ligne entière. Utilisez le suppresseur de doublons CSV, qui compare sur les colonnes que vous choisissez.

Pour tout le reste, dédupliquez d'abord pour réduire le bruit, puis triez la sortie unique pour la relire, supprimez les espaces parasites ou analysez rapidement ce qui reste.

• Trier du texte
• Fusionner du texte
• Supprimer les espaces
• Diviser du texte
• Analyseur de texte
• Supprimer les lignes CSV en double