Hapus duplikat dari CSV

1. 1

   Tambahkan CSV Anda

   Jatuhkan berkas .csv, .tsv, .txt, atau .psv, atau pilih satu. Tidak ada yang diunggah.

2. 2

   Tentukan apa itu duplikat

   Cocokkan baris utuh, atau centang kolom yang menjadi penanda sebuah rekaman.

3. 3

   Atur aturan pencocokan

   Tentukan apakah huruf besar-kecil, spasi di sekitar nilai, dan tanda baca ikut dihitung, serta apakah kemunculan pertama atau terakhir yang disimpan.

4. 4

   Tinjau apa yang akan dihapus

   Setiap baris ditandai Disimpan atau Dihapus dan dikelompokkan dengan baris yang cocok, sehingga hasilnya bisa diperiksa sebelum dikunci.

5. 5

   Ekspor

   Unduh baris unik, atau ubah keluarannya menjadi baris duplikat.

Deduplikasi itu mudah dilakukan dan mudah pula dilakukan dengan keliru. Bedanya terletak pada apakah Anda bisa melihat apa yang dihapus sebelum benar-benar hilang. Alat ini dibangun di sekitar tinjauan itu, dan di sekitar pencocok yang cukup lentur untuk menggambarkan apa arti duplikat pada data Anda.

• Baris utuh atau banyak kolom — Setiap sel harus cocok, atau hanya kolom yang Anda centang — sebuah surel, atau nama dan kode pos sekaligus.
• Simpan pertama atau terakhir — Secara bawaan kemunculan pertama bertahan; beralihlah ke yang terakhir bila baris terbaru memuat keadaan terkini.
• Empat aturan pencocokan — Abaikan huruf besar-kecil, abaikan spasi di sekitar, satukan spasi berulang, abaikan tanda baca. Masing-masing berlaku di setiap mode.
• Tinjauan baris demi baris — Setiap baris ditandai Disimpan atau Dihapus dan diwarnai menurut kelompoknya, sehingga rentetan rekaman yang nyaris sama terbaca sebagai satu blok.
• Baris unik atau duplikat — Ekspor yang bertahan, atau balik keluarannya dan ekspor hanya rekaman yang muncul lebih dari sekali.
• Penanganan baris judul yang terlihat — Baris judul dideteksi, alat ini memberitahu keputusannya, dan Anda dapat menyetelnya sendiri.
• Keluaran yang Anda kendalikan — Pembatas, akhir baris, dan penanda urutan bita opsional, agar berkas terbuka dengan benar di tempat tujuannya berikutnya.
• Tidak ada yang diunggah — Berkas dibaca di perangkat Anda. Tidak pernah mencapai peladen, jadi daftar pelanggan tetap milik Anda.

Ini satu-satunya keputusan yang benar-benar penting, dan kebanyakan alat mengambilnya untuk Anda. Ada dua mode, dan perbedaannya biasanya adalah perbedaan antara hasil yang berguna dan hasil yang merusak.

Mencocokkan baris utuh

Dua baris disebut duplikat hanya bila setiap selnya cocok. Ini bawaan yang aman: ia hanya bisa menghapus baris yang benar-benar pengulangan baris lain, sehingga menjadi titik awal yang tepat selama Anda belum tahu bagaimana berkas itu dibuat. Ini juga mode yang paling banyak melewatkan, karena satu cap waktu yang berbeda atau satu spasi tambahan di satu sel sudah cukup membuat dua rekaman pelanggan yang sama tampak berbeda.

Mencocokkan berdasarkan kolom

Centang kolom yang menjadi penanda sebuah rekaman dan sisanya diabaikan. Satu kolom adalah kasus yang paling umum — alamat surel, nomor pesanan, kode barang — tetapi beberapa kolom sekaligus sering lebih jujur: nama depan, nama belakang, dan kode pos menandai seseorang lebih andal daripada salah satu di antaranya. Kolom yang Anda pilih disorot di tabel, karena penyebab paling sering dari hasil yang mengejutkan adalah mencocokkan lebih sedikit kolom daripada yang dimaksud.

• Sel kosong tetap dihitung — Nilai kosong tetaplah nilai. Dua baris yang sama-sama kosong pada kolom kunci adalah duplikat satu sama lain, yang biasanya benar dan selalu terlihat dalam tinjauan.
• Baris tak rata dilengkapi — Baris dengan sel lebih sedikit daripada baris terlebar akan dilengkapi, sehingga ditemukannya duplikat tidak bergantung pada apakah pengekspor menulis pembatas di akhir.
• Urutan tidak pernah berubah — Baris yang bertahan tetap di tempatnya. Tidak ada yang diurutkan, dipindahkan, atau dikelompokkan ulang.

Ketika beberapa baris berbagi kunci, tepat satu yang bertahan, dan yang mana itu adalah keputusan sungguhan, bukan rincian kecil. Fitur Remove Duplicates milik Excel sendiri tidak menjanjikan apa pun soal ini, dan dokumentasi Power Query menyatakan terang-terangan bahwa tidak ada jaminan mana yang dipilih.

• Simpan yang pertama — Kemunculan paling awal menang. Tepat ketika berkas tersusun dalam urutan yang bermakna dan entri pertama adalah rekaman aslinya.
• Simpan yang terakhir — Kemunculan paling akhir menang. Tepat ketika berkas adalah catatan yang hanya bertambah — ekspor di mana tiap perubahan ditulis sebagai baris baru, dan baris terbaru adalah keadaan terkini.
• Posisi tetap dijaga di kedua kasus — Menyimpan yang terakhir tidak memindahkannya ke posisi yang pertama. Ia tetap di posisinya sendiri, sehingga pembandingan dengan berkas asli hanya menampilkan penghapusan.

Pencocokan persis hanya menemukan duplikat yang memang sudah identik. Data nyata lebih berantakan dari itu, dan empat aturan menutup sebagian besar jaraknya tanpa meminta Anda menyetel ambang kemiripan yang tak terlihat.

Huruf besar-kecil

Mati secara bawaan, sehingga Apple dan apple diperlakukan sebagai satu nilai. Nyalakan sensitivitasnya bila perbedaannya bermakna — kode produk, penanda identitas, apa pun yang bentuk hurufnya adalah bagian dari nilainya dan bukan kebetulan pengetikan.

Spasi

Mengabaikan spasi di sekitar nilai menyala secara bawaan karena spasi di awal hampir tidak pernah disengaja dan tak terlihat di lembar kerja mana pun. Menyatukan spasi melangkah lebih jauh dan memperlakukan rentetan spasi di dalam nilai sebagai satu, sehingga Jon Smith cocok dengan Jon Smith. Yang satu itu mati secara bawaan karena ia mengubah apa yang dihitung cocok di dalam nilai, bukan hanya di tepinya.

Tanda baca

Mengabaikan tanda baca membuang tanda-tanda umum serta tanda kutip melengkung yang disisipkan pengolah kata. Digabung dengan penyatuan spasi, ini membuat O'Brien, J. cocok dengan OBrien J — bagian yang murah dan mudah ditebak dari apa yang dilakukan pencocok samar, tanpa bagian di mana sebuah ambang diam-diam menyatukan dua orang yang berbeda.

• Setiap aturan berlaku di setiap mode — Aturan-aturan ini memengaruhi pencocokan baris utuh dan pencocokan kolom secara sama. Tidak ada kombinasi di mana sebuah aturan tampil di layar tanpa melakukan apa pun.
• Berkas tidak pernah diubah — Penormalan hanya terjadi saat membandingkan. Baris yang diekspor adalah baris yang Anda berikan, huruf demi huruf.
• Nyalakan satu dan perhatikan pencacahnya — Pencacah duplikat di atas tabel bergerak begitu sebuah aturan berubah, dan itulah cara tercepat melihat apakah ia menemukan kecocokan nyata atau berlebihan.

Baris judul harus dikeluarkan dari pencocokan, atau ia bisa terhapus sebagai duplikat dari baris data yang kebetulan mirip. Keliru ke arah sebaliknya lebih buruk dan jauh lebih senyap: memperlakukan baris data sebagai judul membebaskannya dari deduplikasi selamanya, sehingga ia bertahan berapa kali pun berulang, dan tidak ada yang tampak salah pada keluarannya.

• Dideteksi, bukan diandaikan — Baris pertama memenuhi syarat sebagai judul bila tak ada sel yang kosong, tak ada yang terbaca sebagai angka atau tanggal, tak ada label yang berulang, dan baris di bawahnya tampak seperti data. Berkas berisi satu baris tidak punya judul.
• Keputusannya ditampilkan — Alat ini menyatakan di sebelah kendalinya ke arah mana deteksi otomatis memutuskan, jadi Anda tidak perlu menyimpulkannya dari jumlah baris.
• Selalu bisa disetel sendiri — Setel ke ya atau tidak bila berkas Anda tidak lazim. Baris judul adalah pernyataan tentang data Anda, dan sebuah dugaan tidak berhak menentukannya.
• Baris judul tidak pernah dihitung duplikat — Bila ada baris judul, ia dilewatkan utuh dan dikeluarkan dari semua pencacahan.

Menghapus baris tidak bisa dibatalkan begitu berkas aslinya hilang, dan ringkasan yang berbunyi 44.063 duplikat dihapus tidak mengatakan apa pun tentang apakah itu 44.063 yang tepat. Tabel tinjauan adalah jawabannya, dan itu gratis.

• Setiap baris membawa putusan — Disimpan atau Dihapus, sebagai label di sebelah barisnya. Baris yang dihapus dicoret, sehingga bentuk penghapusannya terlihat sekilas.
• Kelompok diberi warna — Baris yang saling cocok berbagi warna latar dan menunjukkan berapa banyak baris dalam kelompoknya, sehingga lima rekaman yang nyaris sama terbaca sebagai satu blok alih-alih lima baris tak berkaitan.
• Tampilan hanya duplikat — Berkas 200.000 baris dengan sembilan duplikat tak terbaca bila ditampilkan penuh dan langsung jelas begitu disaring. Satu tombol berpindah antara seluruh berkas dan hanya baris yang berada dalam kelompok duplikat.
• Kolom kunci ditandai — Kolom yang menentukan pencocokan disorot di kepala tabel, dan biasanya itu saja sudah cukup untuk menjelaskan hasil yang mengejutkan.
• Empat pencacah langsung — Total baris, baris unik, duplikat yang ditemukan, dan kelompok duplikat, semuanya diperbarui saat Anda mengubah aturan.

Berkas 10 MB berisi 146.000 baris dibaca dan dicocokkan dalam sekitar sepersepuluh detik, di luar utas utama, sehingga halaman tidak pernah membeku.

Baris yang sudah bersih hanya berguna bila berkasnya terbuka dengan benar di apa pun yang membacanya berikutnya, jadi cara penulisannya Anda yang menentukan, bukan diwarisi diam-diam dari masukan.

• Baris unik atau duplikat — Ekspor yang bertahan, atau balik keluarannya dan ekspor setiap baris yang termasuk kelompok duplikat — termasuk baris yang akan disimpan, karena kelompok tanpa anggota pertamanya bukanlah kelompok.
• Pembatas — Pertahankan pembatas asli berkas, atau tulis koma, titik koma, tab, atau garis tegak apa pun masukannya.
• Akhir baris — LF untuk apa pun yang bercorak Unix, CRLF untuk perkakas Windows yang tidak menerima yang lain.
• Penanda urutan bita — Excel di Windows membuka CSV UTF-8 tanpa penanda sebagai Windows-1252 dan merusak setiap huruf beraksen. Menambahkannya memperbaiki itu, dan ia mati secara bawaan karena membingungkan beberapa pembaca lain.
• Kutipan diperbaiki saat menulis — Nilai yang memuat pembatas, tanda kutip, ganti baris, atau spasi awal yang bermakna akan dikutip dengan benar, sehingga berkasnya bertahan melewati satu putaran meski berkas aslinya tidak.
• Baris yang dibuang, dengan Pro — Berkas kedua berisi persis baris yang ditinggalkan oleh ekspor — keduanya digabung selalu kembali menjadi apa yang Anda berikan.

Baris duplikat jarang sekadar masalah tampilan. Ia menggelembungkan angka yang dipakai orang untuk mengambil keputusan, dan menimbulkan kegagalan yang kasatmata di tahap berikutnya.

• Hitungan berhenti berbohong — Setiap total, rata-rata, atau pengelompokan yang dihitung atas berkas berisi pengulangan salah sebanyak pengulangan itu, dan salah ke arah yang tidak diperiksa siapa pun.
• Impor berhenti gagal — Batasan keunikan pada surel atau penanda identitas menolak seluruh kumpulan pada pengulangan pertama. Deduplikasi lebih dulu mengubah impor yang gagal menjadi berhasil.
• Tidak ada yang dikirimi dua kali — Daftar kontak berisi pengulangan mengirim pesan yang sama ke orang yang sama lebih dari sekali, yang berbiaya berhenti berlangganan dan, di sebagian wilayah hukum, lebih dari itu.
• Berkas menjadi lebih kecil — Sepertiga ekspor pelanggan berupa pengulangan bukanlah hal yang aneh. Menghapusnya mempercepat setiap langkah berikutnya dan membuat tiap berkas lebih murah dipindahkan.
• Sumber gabungan menjadi berguna — Dua ekspor yang disambung selalu tumpang tindih. Deduplikasi pada kunci bersama itulah yang mengubah sambungan tersebut menjadi satu kumpulan data yang bersih.

• Urutkan CSV
• Saring CSV
• Gabungkan CSV
• Alat CSV