Werkzeug zum Entfernen von doppeltem Text

Das Werkzeug zerlegt Ihren Text in Einheiten, bildet für jede einen Vergleichsschlüssel nach Ihren Regeln, gruppiert die Einheiten mit identischen Schlüsseln und baut den Text mit einer Kopie je Gruppe neu auf. Alles danach — welche Kopie bleibt, was die Ausgabe zeigt, wie sortiert wird, wie die Teile wieder zusammengefügt werden — ist eine Entscheidung über denselben Index. Genau deshalb wirken diese Einstellungen selbst bei einer sehr großen Liste sofort.

Schritt für Schritt

1. 1

   Text hinzufügen

   In das Feld einfügen oder eine .txt-, .csv-, .tsv-, .log- oder .md-Datei ablegen. Nichts wird hochgeladen — die Datei wird auf Ihrem Gerät gelesen.

2. 2

   Festlegen, was ein Duplikat ist

   Einheit wählen: Zeilen, Wörter, Absätze oder ein Trennzeichen wie das Komma. Danach die Vergleichsregeln setzen: Groß-/Kleinschreibung, Leerzeichen, Satzzeichen und Akzente.

3. 3

   Entscheiden, welche Kopie bleibt

   Erste behalten bewahrt das früheste Vorkommen, letzte behalten das letzte. In beiden Fällen behalten die verbleibenden Einträge ihre ursprüngliche Reihenfolge.

4. 4

   Prüfen und übernehmen

   Zähler und Häufigkeitstabelle ansehen, zwischen eindeutig, nur Duplikate und entfernt umschalten, um genau zu sehen, was sich geändert hat, dann kopieren oder herunterladen.

Duplikate entfernen ist ein Vorgang und mehrere Fragen. Die meisten Online-Werkzeuge beantworten nur die erste.

• Zählt jede Wiederholung — die Häufigkeitstabelle listet jeden eindeutigen Eintrag mit seiner Anzahl und lässt sich als CSV exportieren.
• Zeigt die Duplikate selbst — stellen Sie die Ausgabe so um, dass nur die Einträge erscheinen, die sich wiederholen, statt derer, die es nicht tun.
• Zeigt, was entfernt wurde — eine dritte Ansicht listet genau das Gelöschte, sodass der Vorgang prüfbar ist, bevor man ihm vertraut.
• Liest Dateien, nicht nur Eingefügtes — legen Sie eine .txt-, .csv-, .tsv-, .log-, .md- oder .list-Datei ab; Kodierungen und Bytereihenfolge-Markierungen werden behandelt.
• Teilt an jedem Trennzeichen — Komma, Semikolon, senkrechter Strich oder ein Wort — nicht nur an Zeilenumbrüchen.
• Kein Stundenlimit — kein Aufgabenzähler, keine Warteschlange. Die Arbeit passiert auf Ihrem Gerät.

Die wichtigste Einstellung ist, was als eine Einheit zählt, denn alles Weitere vergleicht diese Einheiten. Vier Optionen decken die Formen ab, in denen Text tatsächlich ankommt.

Zeilen

Jede Zeile ist eine Einheit. Der Modus für Listen, Protokolle, exportierte Spalten, URL-Sammlungen, E-Mail-Listen und alles, was eins pro Zeile steht. Leerzeilen sind Struktur statt Inhalt und werden nie verglichen, sodass die Gliederung des Dokuments erhalten bleibt.

Wörter

Einheiten sind Folgen ohne Leerzeichen, getrennt an jedem Leerraum einschließlich Zeilenumbrüchen. Geeignet für Wortschatzauszüge, Tag-Wolken oder das Entfernen eines wiederholten Tokens aus einem Textblock. Die Einstellung des Ausgabetrenners entscheidet, ob die verbleibenden Wörter als Satz, eines pro Zeile oder mit ihren ursprünglichen Abständen zurückkommen.

Absätze

Eine Einheit ist ein Block aufeinanderfolgender nicht leerer Zeilen, vom nächsten durch eine oder mehrere Leerzeilen getrennt. Der Modus für wiederholte Abschnitte in Notizen, doppelte Textbausteine in Entwürfen und zusammengeführte Dokumente, die dieselbe Passage zweimal enthalten. Eine Zeile mit nur Leerzeichen gilt als leer, denn für jeden Lesenden ist sie eine Trennung.

Ein Trennzeichen Ihrer Wahl

Geben Sie eine beliebige Zeichenfolge ein, und der Text wird daran geteilt: ein Komma für eine Stichwortliste, ein Semikolon für eine europäische CSV-Zelle, ein senkrechter Strich für ein Protokollfeld oder ein ganzes Wort, wenn dieses Ihre Einträge trennt. Die verbleibenden Teile werden mit demselben Trennzeichen wieder verbunden, sodass das Ergebnis genau dorthin zurückpasst, wo es herkam.

Zwei Einträge sind Duplikate, wenn ihre Vergleichsschlüssel identisch sind. Jede Regel unten ändert, wie dieser Schlüssel gebildet wird, und sie lassen sich frei kombinieren — das ist der Unterschied zwischen einem Satz Schalter und einer festen Liste vorgegebener Strategien.

Groß- und Kleinschreibung

Der Vergleich ignoriert die Schreibweise standardmäßig, „Apfel“ und „apfel“ sind also ein Eintrag. Schalten Sie die Unterscheidung ein, wenn der Unterschied bedeutsam ist — Bezeichner, Prüfsummen, Quelltext, alles, wo Großschreibung Information trägt.

Leerzeichen an den Enden

Führende und abschließende Leerzeichen werden standardmäßig ignoriert. Sie können nur den Anfang, nur das Ende oder gar nichts kürzen. Nur das Ende zu kürzen ist die richtige Wahl für eine eingerückte Liste, in der die führenden Leerzeichen die Struktur sind, die Sie behalten wollen, und die abschließenden Rauschen aus dem Export.

Wiederholte Leerzeichen innerhalb eines Eintrags

„Anna Schmidt“ und „Anna Schmidt“ unterscheiden sich um ein Leerzeichen. Folgen von Leerraum vor dem Vergleich auf ein einzelnes Leerzeichen zu reduzieren macht daraus einen Eintrag — nützlich für Namen, Adressen und alles, was ein Mensch zweimal getippt hat.

Satzzeichen

Satzzeichen zu ignorieren verwirft die druckbaren ASCII-Symbole und die vier typografischen Anführungszeichen, die eine Textverarbeitung einsetzt, sodass „St. John's“ und „St Johns“ übereinstimmen. Die Satzzeichen anderer Schriften bleiben bewusst unangetastet, denn der japanische Mittelpunkt und das arabische Komma sind wortbildende Zeichen, über die dieses Werkzeug nicht zu entscheiden hat.

Zusammengesetztes und zerlegtes Unicode

„café“ auf einem Mac und „café“ unter Windows können verschiedene Bytefolgen sein, die identisch aussehen: Die eine speichert den Buchstaben mit Akzent als ein Zeichen, die andere als Buchstaben mit folgendem kombinierendem Zeichen. Die Normalisierung der Zusammensetzung bringt sie zur Übereinstimmung. Das ist das Duplikat, das niemand sieht und das fast kein Werkzeug findet.

Akzente

Einen Schritt weiter zu gehen und die Zeichen ganz zu entfernen lässt „resume“ zu „résumé“ und „Munchen“ zu „München“ passen. Sinnvoll, wenn eine Liste von mehreren Personen getippt wurde oder teilweise von jemandem ohne passende Tastaturbelegung.

Wird eine Gruppe von Duplikaten gefunden, bleibt genau ein Mitglied davon. Welches, ist Ihre Wahl, und die beiden Antworten unterscheiden sich wirklich.

• Erste behalten — das früheste Vorkommen bleibt. Richtig, wenn der erste Eintrag maßgeblich ist oder die Reihenfolge der Liste bewusst gewählt war.
• Letzte behalten — das letzte Vorkommen bleibt. Richtig für fortlaufende Protokolle und Exporte, bei denen spätere Zeilen frühere ersetzen.
• Die Reihenfolge bleibt so oder so — die verbleibenden Einträge stehen weiterhin dort, wo sie im Dokument standen. Nur welche Kopie bleibt ändert sich, nie die Abfolge der verbleibenden.

Der aufgebaute Index beantwortet drei Fragen zugleich, deshalb sind alle drei eine Einstellung statt drei Werkzeuge.

Eindeutig

Jeder Eintrag einmal — die klassische Deduplizierung. Das nehmen Sie, wenn Sie die bereinigte Liste selbst wollen.

Nur die Duplikate

Nur die Einträge, die mehr als einmal vorkamen, je einmal aufgeführt. Das kehrt den Vorgang um: Statt der Liste ohne Wiederholungen erhalten Sie die Wiederholungen. Es ist der schnellste Weg, „was ist hier doppelt?“ zu beantworten, ohne die ganze Datei zu lesen.

Nur das Entfernte

Genau die Vorkommen, die die Deduplizierung gelöscht hat, in Dokumentreihenfolge. Sehen Sie hier nach, bevor Sie etwas überschreiben — das ist der Unterschied zwischen einem Werkzeug vertrauen und es prüfen.

Neben dem Ergebnis steht eine Tabelle jedes eindeutigen Eintrags mit seiner Häufigkeit, nach dieser sortiert, sodass die häufigsten oben stehen. Sie beantwortet eine andere Frage als die Deduplizierung: nicht „gib mir die Liste ohne Wiederholungen“, sondern „welche Einträge wiederholen sich, und wie stark“.

• Sortieren Sie das Ergebnis selbst nach Häufigkeit, um die am häufigsten wiederholten Einträge nach oben zu holen.
• Exportieren Sie die vollständige Tabelle als CSV mit Bytereihenfolge-Markierung, damit sie in Excel korrekt und mit intakten Akzenten öffnet.
• Die Tabelle am Bildschirm ist dem Browser zuliebe begrenzt; das exportierte CSV enthält immer alle Zeilen, in jedem Tarif.
• Leere Einträge werden als solche angezeigt statt als leere Zeile, sodass eine Zahl von 40 Leerzeilen sichtbar statt rätselhaft ist.

Sind die verbleibenden Einträge gewählt, bestimmen drei Einstellungen, wie die Ausgabe tatsächlich aussieht. Alle drei erzeugen aus dem vorhandenen Index neu und wirken daher selbst bei sehr großen Dokumenten sofort.

Sortierung

Ausgeschaltet bleibt die Dokumentreihenfolge; sonst sortieren Sie A-Z, in natürlicher Reihenfolge (sodass „item2“ vor „item10“ steht), nach Länge oder nach Häufigkeit. Jede Sortierung löst Gleichstände über die ursprüngliche Position auf, sodass dieselbe Eingabe mit denselben Einstellungen immer dieselbe Datei ergibt.

Wie die Teile verbunden werden

Zeilen werden standardmäßig mit Zeilenumbrüchen verbunden, Wörter mit Leerzeichen und Absätze mit Leerzeilen — Sie können aber jedes davon auf Zeilenumbrüche, Leerzeichen, Kommas oder Tabulatoren festlegen oder verlangen, dass die ursprünglichen Abstände zwischen den verbleibenden Einheiten exakt erhalten bleiben.

Zeilenenden

Die Ausgabe behält das in Ihrer Eingabe vorherrschende Zeilenende oder lässt sich auf Unix (LF) beziehungsweise Windows (CRLF) festlegen. Eine Datei, die mit einem Zeilenumbruch endete, endet weiterhin mit einem, denn jede nachgelagerte Shell-Schleife und jeder Tabellenimport erwartet das, und sein Verlust bricht Abläufe stillschweigend.

Kostenlos werden bis zu 25 MB Text auf einmal verarbeitet — etwa 700.000 Zeilen eines typischen Exports — und alle Modi, Vergleichsregeln, Ansichten und Exporte gelten dafür. Nichts am Ergebnis hängt vom Tarif ab; Pro hebt die Grenze auf das an, was Ihr Gerät leisten kann, und ergänzt Stapel aus mehreren Dateien mit einem einzigen Archiv-Download.

• Alles läuft auf Ihrem Gerät. Nichts wird hochgeladen, und es gibt keine Warteschlange und kein Stundenlimit.
• Dateien werden als UTF-8 gelesen, und UTF-16 oder ältere westliche Kodierungen werden erkannt, statt zu Ersatzzeichen zu werden.
• Eine Bytereihenfolge-Markierung wird entfernt, damit Ihr erster Eintrag nicht durch ein unsichtbares Zeichen stillschweigend vom Vergleich ausgenommen wird.
• Zulässige Dateien: .txt, .text, .csv, .tsv, .log, .md und .list. Alles andere wird beim Auswählen abgelehnt, mit einem Link zu dem Werkzeug, das es öffnen kann.
• Sehr große Eingaben sind durch den Speicher Ihres Geräts begrenzt. Die Vorschau am Bildschirm ist beschränkt; Kopieren und Herunterladen tragen immer das vollständige Ergebnis.

Die Deduplizierung läuft auf Ihrem Gerät und außerhalb des Hauptthreads, sodass eine 25-MB-Liste während der Arbeit bedienbar bleibt.

Deduplizierung löscht Daten. Wenige Gewohnheiten entscheiden zwischen einer sauberen Liste und einer stillschweigend beschädigten.

• Sehen Sie sich die Ansicht „entfernt“ an, bevor Sie die Quelle überschreiben. Ein Klick, und Sie sehen genau, was verloren ginge.
• Wenn Wiederholung beabsichtigt ist — Lyrik, Quelltext, Testdaten, ein Refrain —, prüfen Sie das Ergebnis, statt es anzunehmen.
• Strukturierte Daten verdienen ein spaltenbewusstes Werkzeug. Ein CSV nach ganzen Zeilen zu deduplizieren ignoriert, welche Spalte eine Zeile tatsächlich identifiziert.
• Der Absatzmodus braucht klare Leerzeilen; ein Dokument, das stattdessen Einrückung nutzt, wird als ein einziger Block gelesen.
• Der Vergleich mit gekürzten Enden behandelt Varianten mit Leerzeichen als denselben Eintrag, was meist richtig ist und gelegentlich nicht. Schalten Sie ihn ab, wenn Leerraum Daten sind.
• Probieren Sie die Einstellungen bei sehr großem Eingefügtem zuerst an einer Stichprobe — die Antwort kommt schneller und die Entscheidung ist dieselbe.

Strukturelle Deduplizierung vergleicht Schlüssel exakt nach Ihren Regeln. Drei Fälle brauchen etwas anderes.

• Beinahe-Duplikate und Tippfehler. „Jon Schmidt“ und „John Schmidt“ sind hier verschiedene Einträge und bleiben es — das ist unscharfe Erkennung, ein anderes Problem mit anderen Fehlerarten.
• Zeilen, deren Duplikate unterschiedliche Daten tragen, die Sie zusammenführen statt verwerfen müssen. Eine Tabellenkalkulation oder Datenbank kann sie verbinden; dieses Werkzeug kann nur eine behalten.
• Eindeutigkeit, die über eine Spalte oder einen Schlüssel statt über die ganze Zeile definiert ist. Nutzen Sie das CSV-Werkzeug, das über die von Ihnen gewählten Spalten vergleicht.

Für alles andere: zuerst deduplizieren, um das Rauschen zu senken, dann die eindeutige Ausgabe zum Durchsehen sortieren, überflüssige Leerzeichen entfernen oder das Verbliebene kurz analysieren.

• Text sortieren
• Text zusammenführen
• Leerzeichen entfernen
• Text aufteilen
• Textanalyse
• Doppelte CSV-Zeilen entfernen