CSV-Duplikate entfernen

1. 1

   CSV hinzufügen

   Legen Sie eine .csv-, .tsv-, .txt- oder .psv-Datei ab oder wählen Sie eine aus. Nichts wird hochgeladen.

2. 2

   Festlegen, was ein Duplikat ist

   Nach der ganzen Zeile abgleichen oder die Spalten ankreuzen, die einen Datensatz identifizieren.

3. 3

   Abgleichregeln setzen

   Entscheiden Sie, ob Groß/Kleinschreibung, umgebende Leerzeichen und Satzzeichen zählen, und ob das erste oder letzte Vorkommen bleibt.

4. 4

   Prüfen, was entfernt wird

   Jede Zeile ist als Behalten oder Entfernt markiert und mit den passenden Zeilen gruppiert, sodass Sie das Ergebnis vor dem Export kontrollieren.

5. 5

   Exportieren

   Laden Sie die eindeutigen Zeilen herunter oder stellen Sie die Ausgabe auf die Duplikate um.

Deduplizieren ist leicht — und leicht falsch zu machen. Der Unterschied liegt darin, ob Sie sehen können, was gelöscht wird, bevor es verschwindet. Dieses Werkzeug ist um diese Prüfung herum gebaut, und um einen Abgleich, der flexibel genug ist, um zu beschreiben, was ein Duplikat in Ihren Daten wirklich bedeutet.

• Ganze Zeile oder mehrere Spalten — Alle Zellen müssen übereinstimmen, oder nur die angekreuzten Spalten — eine E-Mail, oder Name und Postleitzahl zusammen.
• Erstes oder letztes behalten — Standardmäßig überlebt das erste Vorkommen; wechseln Sie zum letzten, wenn die neueste Zeile den aktuellen Stand enthält.
• Vier Abgleichregeln — Groß/Kleinschreibung ignorieren, umgebende Leerzeichen ignorieren, wiederholte Leerzeichen zusammenfassen, Satzzeichen ignorieren. Jede gilt in jedem Modus.
• Prüfung Zeile für Zeile — Jede Zeile ist als Behalten oder Entfernt markiert und nach Gruppe eingefärbt, sodass eine Folge fast gleicher Datensätze als ein Block lesbar wird.
• Eindeutige oder doppelte Zeilen — Exportieren Sie, was übrig bleibt, oder kehren Sie es um und exportieren nur die mehrfach vorhandenen Datensätze.
• Sichtbare Kopfzeilenlogik — Die Kopfzeile wird erkannt, das Werkzeug nennt das Ergebnis, und Sie können es überschreiben.
• Ausgabe unter Ihrer Kontrolle — Trennzeichen, Zeilenenden und optionale Bytereihenfolge-Markierung, damit die Datei dort korrekt öffnet, wo sie als Nächstes hingeht.
• Nichts wird hochgeladen — Die Datei wird auf Ihrem Gerät gelesen. Sie erreicht keinen Server, sodass eine Kundenliste eine Kundenliste bleibt.

Das ist die einzige Entscheidung, auf die es wirklich ankommt, und die meisten Werkzeuge treffen sie für Sie. Es gibt zwei Modi, und der Unterschied zwischen ihnen ist meist der Unterschied zwischen einem nützlichen und einem zerstörerischen Ergebnis.

Abgleich über die ganze Zeile

Zwei Zeilen sind nur dann Duplikate, wenn jede Zelle übereinstimmt. Das ist die sichere Voreinstellung: es kann nur eine Zeile entfernen, die wirklich eine Wiederholung einer anderen ist, und ist damit der richtige Ausgangspunkt, solange Sie nicht wissen, wie die Datei entstanden ist. Es ist auch der Modus, der am meisten übersieht, denn ein abweichender Zeitstempel oder ein zusätzliches Leerzeichen in einer Zelle genügt, damit zwei Datensätze derselben Kundin verschieden aussehen.

Abgleich über Spalten

Kreuzen Sie die Spalten an, die einen Datensatz identifizieren; der Rest wird ignoriert. Eine Spalte ist der häufige Fall — eine E-Mail-Adresse, eine Bestellnummer, eine Artikelnummer — aber mehrere zusammen sind oft ehrlicher: Vorname, Nachname und Postleitzahl identifizieren eine Person zuverlässiger als jede einzelne davon. Die gewählten Spalten sind in der Tabelle hervorgehoben, denn die häufigste Ursache eines überraschenden Ergebnisses ist ein Abgleich über weniger Spalten als beabsichtigt.

• Leere Zellen zählen mit — Ein leerer Wert ist ein Wert. Zwei Zeilen, die in der Schlüsselspalte beide leer sind, sind Duplikate voneinander — meist richtig und in der Prüfung stets sichtbar.
• Ungleich lange Zeilen werden aufgefüllt — Zeilen mit weniger Zellen als die breiteste Zeile werden aufgefüllt, sodass ein Fund nicht davon abhängt, ob der Export ein abschließendes Trennzeichen geschrieben hat.
• Die Reihenfolge ändert sich nie — Die überlebende Zeile bleibt an ihrer Stelle. Nichts wird sortiert, verschoben oder neu gruppiert.

Teilen sich mehrere Zeilen einen Schlüssel, überlebt genau eine davon, und welche das ist, ist eine echte Entscheidung statt eines Details. Excels eigenes Duplikate-entfernen verspricht dazu gar nichts, und die Power-Query-Dokumentation sagt ausdrücklich, dass nicht garantiert ist, welches Vorkommen gewählt wird.

• Erstes behalten — Das früheste Vorkommen gewinnt. Richtig, wenn die Datei sinnvoll sortiert ist und der erste Eintrag der Originaldatensatz ist.
• Letztes behalten — Das späteste Vorkommen gewinnt. Richtig, wenn die Datei ein fortlaufendes Protokoll ist — ein Export, bei dem jede Änderung als neue Zeile geschrieben wurde und die neueste Zeile den aktuellen Stand enthält.
• Die Position bleibt in beiden Fällen — Das letzte Vorkommen wandert nicht an die Stelle des ersten. Es bleibt an seiner eigenen Position, sodass ein Vergleich mit der Originaldatei nur Löschungen zeigt.

Exakter Abgleich findet nur die Duplikate, die ohnehin schon identisch waren. Echte Daten sind unordentlicher, und vier Regeln decken den größten Teil des Weges ab, ohne dass Sie einen unsichtbaren Ähnlichkeitsschwellwert einstellen müssen.

Schreibweise

Standardmäßig aus, sodass Apple und apple als ein Wert gelten. Schalten Sie die Unterscheidung ein, wenn sie bedeutsam ist — Produktcodes, Kennungen, alles, wo die Groß- und Kleinschreibung Teil des Werts ist und nicht ein Zufall der Eingabe.

Leerzeichen

Das Ignorieren umgebender Leerzeichen ist standardmäßig an, weil ein führendes Leerzeichen fast nie beabsichtigt und in jeder Tabellenkalkulation unsichtbar ist. Das Zusammenfassen geht weiter und behandelt jede Folge von Leerzeichen im Wert als eines, sodass Jon Smith zu Jon Smith passt. Diese Regel ist standardmäßig aus, weil sie verändert, was innerhalb des Werts als Treffer zählt, nicht nur an seinen Rändern.

Satzzeichen

Das Ignorieren von Satzzeichen entfernt die gängigen Zeichen sowie die typografischen Anführungszeichen, die Textverarbeitungen einsetzen. Zusammen mit dem Zusammenfassen von Leerzeichen passt O'Brien, J. damit zu OBrien J — der günstige und vorhersehbare Teil dessen, was ein unscharfer Abgleich tut, ohne den Teil, bei dem ein Schwellwert stillschweigend zwei verschiedene Personen zusammenlegt.

• Jede Regel gilt in jedem Modus — Die Regeln wirken auf den Zeilen- und den Spaltenabgleich gleichermaßen. Es gibt keine Kombination, in der eine Regel sichtbar ist und nichts tut.
• Die Datei wird nie verändert — Die Normalisierung geschieht nur beim Vergleichen. Die exportierten Zeilen sind Ihre Zeilen, Zeichen für Zeichen.
• Regel einschalten und den Zähler beobachten — Der Duplikatzähler über der Tabelle bewegt sich sofort, wenn sich eine Regel ändert — der schnellste Weg zu sehen, ob sie echte Treffer findet oder zu weit greift.

Eine Kopfzeile muss vom Abgleich ausgenommen werden, sonst kann sie als Duplikat einer Datenzeile gelöscht werden, die zufällig so aussieht. Der umgekehrte Fehler ist schlimmer und viel leiser: Wird eine Datenzeile als Kopfzeile behandelt, ist sie dauerhaft von der Deduplizierung ausgenommen und überlebt beliebig viele Wiederholungen — und nichts an der Ausgabe wirkt falsch.

• Erkannt, nicht angenommen — Eine erste Zeile gilt als Kopfzeile, wenn keine Zelle leer ist, keine als Zahl oder Datum lesbar ist, keine Bezeichnung sich wiederholt und die Zeilen darunter wie Daten aussehen. Eine Datei mit einer einzigen Zeile hat keine Kopfzeile.
• Die Entscheidung wird gezeigt — Das Werkzeug nennt neben dem Bedienelement, wie die automatische Erkennung entschieden hat — Sie müssen es nie aus der Zeilenzahl erschließen.
• Immer überschreibbar — Setzen Sie Ja oder Nein, wenn Ihre Datei ungewöhnlich ist. Eine Kopfzeile ist eine Aussage über Ihre Daten, und eine Heuristik hat darin nicht das letzte Wort.
• Kopfzeilen zählen nie als Duplikate — Ist eine Kopfzeile im Spiel, wird sie unverändert durchgereicht und aus jeder Zählung ausgenommen.

Das Löschen von Zeilen ist nicht umkehrbar, sobald das Original weg ist, und eine Zusammenfassung mit 44.063 entfernten Duplikaten sagt nichts darüber, ob es die richtigen 44.063 waren. Die Prüfungstabelle ist die Antwort darauf, und sie ist kostenlos.

• Jede Zeile trägt ein Urteil — Behalten oder Entfernt, als Kennzeichen neben der Zeile. Entfernte Zeilen sind durchgestrichen, sodass die Form der Löschung auf einen Blick sichtbar ist.
• Gruppen sind eingefärbt — Zeilen, die zueinander passen, teilen eine Hintergrundfarbe und zeigen die Gruppengröße, sodass fünf fast gleiche Datensätze als ein Block lesbar werden statt als fünf zusammenhanglose Zeilen.
• Ansicht nur mit Duplikaten — Eine Datei mit 200.000 Zeilen und neun Duplikaten ist vollständig unlesbar und gefiltert offensichtlich. Ein Schalter wechselt zwischen der ganzen Datei und nur den Zeilen in einer Duplikatgruppe.
• Schlüsselspalten sind markiert — Die Spalten, von denen der Abgleich abhängt, sind im Tabellenkopf hervorgehoben — meist genügt das allein, um ein überraschendes Ergebnis zu erklären.
• Vier lebende Zähler — Zeilen gesamt, eindeutige Zeilen, gefundene Duplikate und Duplikatgruppen, alle aktualisiert, während Sie eine Regel ändern.

Eine 10-MB-Datei mit 146.000 Zeilen wird in etwa einer Zehntelsekunde gelesen und abgeglichen, außerhalb des Hauptthreads, sodass die Seite nie einfriert.

Die bereinigten Zeilen nützen nur, wenn die Datei dort korrekt öffnet, wo sie als Nächstes gelesen wird. Deshalb bestimmen Sie, wie sie geschrieben wird, statt es stillschweigend von der Eingabe zu erben.

• Eindeutige oder doppelte Zeilen — Exportieren Sie, was übrig bleibt, oder kehren Sie die Ausgabe um und exportieren jede Zeile einer Duplikatgruppe — einschließlich der, die behalten worden wäre, denn eine Gruppe ohne ihr erstes Mitglied ist keine Gruppe.
• Trennzeichen — Behalten Sie das Trennzeichen der Datei oder schreiben Sie Komma, Semikolon, Tab oder Pipe, unabhängig von der Eingabe.
• Zeilenenden — LF für alles Unix-artige, CRLF für Windows-Werkzeuge, die nichts anderes akzeptieren.
• Bytereihenfolge-Markierung — Excel unter Windows öffnet eine UTF-8-CSV ohne Markierung als Windows-1252 und zerstört jeden Akzent. Die Markierung behebt das; sie ist standardmäßig aus, weil sie andere Programme verwirrt.
• Anführungszeichen werden beim Schreiben repariert — Werte mit Trennzeichen, Anführungszeichen, Zeilenumbruch oder bedeutsamem führenden Leerzeichen werden korrekt gesetzt, sodass die Datei einen Umlauf übersteht, auch wenn das Original das nicht tat.
• Die entfernten Zeilen, mit Pro — Eine zweite Datei mit genau den Zeilen, die der Export ausgelassen hat — beide zusammen ergeben immer wieder Ihre Eingabe.

Doppelte Zeilen sind selten ein kosmetisches Problem. Sie blähen die Zahlen auf, auf deren Basis Entscheidungen fallen, und sie verursachen sichtbare Fehler weiter hinten in der Kette.

• Zahlen lügen nicht mehr — Jede Summe, jeder Mittelwert und jede Gruppierung über eine Datei mit Wiederholungen ist um genau diese Wiederholungen falsch — und zwar in eine Richtung, die niemand prüft.
• Importe scheitern nicht mehr — Eine Eindeutigkeitsbedingung auf einer E-Mail oder Kennung weist den ganzen Stapel beim ersten Duplikat zurück. Vorheriges Deduplizieren macht aus einem fehlgeschlagenen Import einen erfolgreichen.
• Niemand wird zweimal angeschrieben — Eine Kontaktliste mit Wiederholungen sendet dieselbe Nachricht mehrfach an dieselbe Person — das kostet Abmeldungen und in manchen Rechtsräumen mehr als das.
• Dateien werden kleiner — Dass ein Drittel eines Kundenexports Wiederholungen sind, ist nicht ungewöhnlich. Ihre Entfernung macht jeden folgenden Schritt schneller und jede Datei günstiger zu bewegen.
• Zusammengeführte Quellen werden nutzbar — Zwei aneinandergehängte Exporte überschneiden sich immer. Deduplizieren über einen gemeinsamen Schlüssel macht daraus einen einzigen sauberen Datenbestand.

• CSV sortieren
• CSV filtern
• CSV zusammenführen
• CSV-Werkzeuge