Alat Penghapus Teks Duplikat

Alat ini memotong teks Anda menjadi satuan, membangun kunci pembanding untuk setiap satuan sesuai aturan yang Anda tetapkan, mengelompokkan satuan yang kuncinya sama, lalu menyusun ulang teks dengan satu salinan dari tiap kelompok. Semua yang datang setelahnya — salinan mana yang bertahan, apa yang ditampilkan keluaran, bagaimana diurutkan, bagaimana potongannya disatukan kembali — adalah keputusan Anda atas indeks yang sama, dan itulah sebabnya mengubah pengaturan tersebut terasa seketika bahkan pada daftar yang sangat besar.

Langkah demi langkah

1. 1

   Tambahkan teks Anda

   Tempel ke kotak, atau jatuhkan berkas .txt, .csv, .tsv, .log, atau .md. Tidak ada yang diunggah — berkas dibaca di perangkat Anda.

2. 2

   Tentukan apa itu duplikat

   Pilih satuannya: baris, kata, paragraf, atau pembatas seperti koma. Lalu atur aturan pencocokan: huruf besar-kecil, spasi, tanda baca, dan aksen.

3. 3

   Tentukan salinan mana yang bertahan

   Simpan yang pertama mempertahankan kemunculan paling awal; simpan yang terakhir mempertahankan yang terakhir. Dalam kedua kasus, entri yang bertahan tetap pada urutan aslinya.

4. 4

   Periksa, lalu ambil hasilnya

   Lihat penghitung dan tabel kemunculan, beralih antara unik, hanya duplikat, dan dihapus untuk melihat persis apa yang berubah, lalu salin atau unduh.

Menghapus duplikat adalah satu operasi dan beberapa pertanyaan. Kebanyakan alat daring hanya menjawab yang pertama.

• Menghitung tiap pengulangan — tabel kemunculan mendaftar setiap entri berbeda beserta jumlah kemunculannya, dan bisa diekspor sebagai CSV.
• Menampilkan duplikatnya sendiri — ubah keluaran untuk mendaftar hanya entri yang berulang, bukan yang tidak.
• Menampilkan apa yang dihapus — tampilan ketiga mendaftar persis apa yang dihapus, sehingga operasinya bisa diperiksa sebelum dipercaya.
• Membaca berkas, bukan hanya tempelan — jatuhkan berkas .txt, .csv, .tsv, .log, .md, atau .list; pengodean dan penanda urutan bita ditangani.
• Memotong pada pembatas apa pun — koma, titik koma, garis tegak, atau sebuah kata — bukan hanya pada pergantian baris.
• Tanpa batas per jam — tanpa penghitung tugas, tanpa antrean. Pekerjaannya terjadi di perangkat Anda.

Pengaturan terpenting adalah apa yang dihitung sebagai satu satuan, karena semua yang lain membandingkan satuan tersebut. Empat pilihan mencakup bentuk-bentuk teks yang benar-benar datang.

Baris

Setiap baris adalah satu satuan. Ini mode untuk daftar, log, kolom hasil ekspor, kumpulan URL, daftar surel, dan apa pun yang satu per baris. Baris kosong adalah struktur, bukan konten, dan tidak pernah dibandingkan, sehingga jarak dalam dokumen tetap terjaga.

Kata

Satuannya adalah rangkaian tanpa spasi, dipotong pada spasi apa pun termasuk pergantian baris. Gunakan untuk mengekstrak kosakata, awan tag, atau membuang token berulang dari satu blok teks. Pengaturan pemisah keluaran menentukan apakah yang bertahan kembali sebagai kalimat, satu per baris, atau dengan jarak aslinya tetap utuh.

Paragraf

Satu satuan adalah blok baris berurutan yang tidak kosong, dipisahkan dari berikutnya oleh satu atau lebih baris kosong. Ini mode untuk bagian berulang dalam catatan, teks baku ganda dalam draf, dan dokumen gabungan yang memuat bagian yang sama dua kali. Baris yang hanya berisi spasi dihitung kosong, karena bagi siapa pun yang membaca dokumen itu adalah pemisah.

Pembatas pilihan Anda

Ketik teks apa pun dan dokumen akan dipotong padanya: koma untuk daftar kata kunci, titik koma untuk sel CSV gaya Eropa, garis tegak untuk ruas log, atau satu kata utuh jika itu yang memisahkan entri Anda. Yang bertahan disatukan kembali dengan pembatas yang sama, sehingga hasilnya langsung pas dikembalikan ke asalnya.

Dua entri adalah duplikat ketika kunci pembandingnya sama persis. Setiap aturan di bawah mengubah cara kunci itu dibangun, dan semuanya bisa dipadukan bebas — itulah bedanya seperangkat sakelar dengan daftar strategi baku yang kaku.

Huruf besar-kecil

Pencocokan mengabaikan huruf besar-kecil secara bawaan, sehingga 'Apel' dan 'apel' menjadi satu entri. Nyalakan kepekaannya bila perbedaan itu bermakna — pengenal, nilai hash, kode, apa pun yang huruf kapitalnya membawa informasi.

Pemangkasan spasi

Spasi di awal dan akhir diabaikan secara bawaan. Anda dapat memangkas hanya awal, hanya akhir, atau tidak sama sekali. Memangkas hanya akhir adalah pilihan tepat untuk daftar berindentasi, di mana spasi di depan adalah struktur yang Anda pertahankan dan spasi di belakang adalah derau dari ekspor.

Spasi berulang di dalam entri

'Budi Santoso' dan 'Budi Santoso' berbeda satu spasi. Meringkas rangkaian spasi menjadi satu sebelum membandingkan menjadikannya satu entri — berguna untuk nama, alamat, dan apa pun yang diketik manusia dua kali.

Tanda baca

Mengabaikan tanda baca membuang simbol ASCII tercetak dan empat tanda kutip melengkung yang disisipkan pengolah kata, sehingga 'St. John's' cocok dengan 'St Johns'. Tanda baca aksara lain sengaja dibiarkan, karena titik tengah Jepang dan koma Arab adalah karakter pembentuk kata yang bukan urusan alat ini untuk diputuskan.

Unicode tersusun dan terurai

'café' yang diketik di Mac dan 'café' yang diketik di Windows bisa berupa rangkaian bita berbeda yang tampak identik — satu menyimpan huruf beraksen sebagai satu karakter, satunya sebagai huruf diikuti tanda gabung. Menormalkan penyusunan membuat keduanya cocok. Inilah duplikat yang tak terlihat siapa pun dan hampir tak ada alat yang menangkapnya.

Aksen

Melangkah lebih jauh dengan membuang tandanya sama sekali membuat 'resume' cocok dengan 'résumé' dan 'Munchen' dengan 'München'. Gunakan bila sebuah daftar diketik oleh beberapa orang, atau sebagian oleh seseorang tanpa tata letak papan ketik yang sesuai.

Ketika satu kelompok duplikat ditemukan, tepat satu anggotanya disimpan. Yang mana, itu pilihan Anda, dan kedua jawabannya benar-benar berbeda.

• Simpan yang pertama — kemunculan paling awal bertahan. Tepat bila entri pertama adalah yang baku, atau bila urutan daftar memang disengaja.
• Simpan yang terakhir — kemunculan terakhir bertahan. Tepat untuk log yang hanya bertambah dan ekspor di mana baris berikutnya menggantikan yang sebelumnya.
• Urutan tetap terjaga di kedua kasus — entri yang bertahan tetap di tempatnya semula dalam dokumen. Hanya salinan yang bertahan yang berubah, tidak pernah urutan yang tersisa.

Indeks yang dibangun alat ini menjawab tiga pertanyaan sekaligus, jadi ketiganya adalah satu kendali, bukan tiga alat.

Unik

Setiap entri satu kali — penghapusan duplikat klasik. Inilah yang Anda ambil bila Anda menginginkan daftar bersihnya sendiri.

Hanya duplikatnya

Hanya entri yang muncul lebih dari sekali, masing-masing didaftar sekali. Ini membalik operasinya: alih-alih daftar tanpa pengulangan, Anda mendapat pengulangannya. Ini cara tercepat menjawab 'apa yang dobel di sini?' tanpa membaca seluruh berkas.

Hanya yang dihapus

Persis kemunculan yang dihapus, dalam urutan dokumen. Periksa ini sebelum menimpa apa pun — inilah bedanya mempercayai sebuah alat dan memverifikasinya.

Di samping hasil terdapat tabel setiap entri berbeda beserta jumlah kemunculannya, diurutkan menurut jumlah itu sehingga yang paling sering berada di atas. Tabel ini menjawab pertanyaan yang berbeda dari penghapusan duplikat: bukan 'berikan daftar tanpa pengulangan' melainkan 'entri mana yang berulang, dan seberapa parah'.

• Urutkan hasilnya sendiri menurut jumlah kemunculan untuk menempatkan entri paling berulang di depan.
• Ekspor tabel lengkapnya sebagai CSV dengan penanda urutan bita, agar terbuka dengan benar di Excel dengan aksen utuh.
• Tabel di layar dibatasi demi peramban; CSV yang diekspor selalu memuat seluruh baris, pada paket mana pun.
• Entri kosong ditampilkan sebagaimana adanya, bukan sebagai baris hampa, sehingga hitungan 40 baris kosong terlihat alih-alih membingungkan.

Setelah yang bertahan ditentukan, tiga pengaturan menentukan wujud keluarannya. Ketiganya menyusun ulang dari indeks yang sudah ada, jadi terasa seketika bahkan pada dokumen yang sangat besar.

Pengurutan

Biarkan mati untuk mempertahankan urutan dokumen, atau urutkan A-Z, dalam urutan alami (sehingga 'item2' mendahului 'item10'), menurut panjang, atau menurut jumlah kemunculan. Setiap pengurutan memutus seri berdasarkan posisi asli, sehingga masukan dan pengaturan yang sama selalu menghasilkan berkas yang sama.

Bagaimana potongannya disatukan

Baris disatukan dengan pergantian baris, kata dengan spasi, dan paragraf dengan baris kosong secara bawaan — tetapi Anda dapat memaksa salah satunya ke pergantian baris, spasi, koma, atau tab, atau meminta agar jarak asli antar satuan yang bertahan dipertahankan persis.

Akhir baris

Keluaran mempertahankan akhir baris yang dominan pada masukan Anda, atau dapat dipaksa ke Unix (LF) atau Windows (CRLF). Berkas yang berakhir dengan pergantian baris tetap berakhir demikian, karena setiap perulangan shell dan impor lembar sebar di hilir mengharapkannya, dan kehilangannya memutus alur kerja secara diam-diam.

Versi gratis menangani hingga 25 MB teks sekaligus — kira-kira 700.000 baris dari ekspor tipikal — dan semua mode, aturan pencocokan, tampilan keluaran, serta ekspor berlaku untuknya. Tidak ada bagian hasil yang ditahan berdasarkan paket; Pro menaikkan batas ke kemampuan perangkat Anda dan menambahkan kumpulan banyak berkas dengan satu unduhan arsip.

• Semuanya berjalan di perangkat Anda. Tidak ada yang diunggah, dan tidak ada akun, antrean, maupun batas tugas per jam.
• Berkas dibaca sebagai UTF-8, dan pengodean UTF-16 atau Barat lama dideteksi alih-alih berubah menjadi karakter pengganti.
• Penanda urutan bita dilepas, agar entri pertama Anda tidak diam-diam dikecualikan dari pencocokan oleh karakter tak terlihat.
• Berkas yang diterima: .txt, .text, .csv, .tsv, .log, .md, dan .list. Selain itu ditolak saat Anda memilihnya, dengan tautan ke alat yang bisa membukanya.
• Masukan yang sangat besar dibatasi memori perangkat Anda. Pratinjau di layar dibatasi; salin dan unduh selalu membawa hasil lengkapnya.

Penghapusan duplikat berjalan di perangkat Anda, di luar utas utama, sehingga daftar 25 MB tetap responsif selama diproses.

Penghapusan duplikat menghapus data. Beberapa kebiasaan membedakan daftar yang bersih dari daftar yang diam-diam rusak.

• Lihat tampilan 'dihapus' sebelum menimpa sumbernya. Satu klik, dan terlihat persis apa yang akan hilang.
• Jika pengulangan memang disengaja — puisi, kode, data uji, sebuah refrein — periksa hasilnya alih-alih menganggapnya benar.
• Data terstruktur layak mendapat alat yang mengenal kolom. Menghapus duplikat CSV per baris utuh mengabaikan kolom mana yang sebenarnya menandai sebuah baris.
• Mode paragraf memerlukan baris kosong yang jelas; dokumen yang memakai indentasi sebagai gantinya akan terbaca sebagai satu blok.
• Pencocokan dengan pemangkasan memperlakukan varian berspasi sebagai entri yang sama, yang biasanya benar dan kadang tidak. Matikan bila spasi adalah data.
• Pada tempelan yang sangat besar, coba pengaturannya dulu pada sampel — jawabannya datang lebih cepat dan keputusannya sama.

Penghapusan duplikat struktural membandingkan kunci secara persis sesuai aturan Anda. Tiga kasus memerlukan hal lain.

• Nyaris duplikat dan salah ketik. 'Jon Santoso' dan 'John Santoso' di sini adalah entri berbeda dan akan selalu begitu — itu pencocokan samar, masalah lain dengan mode kegagalan lain.
• Baris yang duplikatnya membawa data berbeda yang perlu Anda gabungkan, bukan buang. Lembar sebar atau basis data bisa menyatukannya; alat ini hanya bisa menyimpan satu.
• Keunikan yang ditentukan oleh sebuah kolom atau kunci, bukan oleh baris utuh. Gunakan penghapus duplikat CSV, yang mencocokkan pada kolom pilihan Anda.

Untuk selebihnya, hapus duplikat lebih dulu untuk mengurangi derau, lalu urutkan keluaran uniknya untuk ditinjau, pangkas spasi berlebih, atau jalankan analisis singkat atas sisanya.

• Pengurut teks
• Penggabung teks
• Pemangkas spasi
• Pemecah teks
• Penganalisis teks
• Hapus baris CSV duplikat