Alat terkait
Mengapa memakai deduplikasi teks?
Perpendek daftar berisik, bersihkan log yang ditempel, atau buang frasa berulang sebelum analisis — tanpa mengirim data keluar perangkat.
Manfaat
- Data lebih bersih: lebih sedikit baris atau token berulang.
- Unit fleksibel: baris, kata, atau paragraf.
- Aturan simpan: kemunculan pertama atau terakhir.
- Pratayang cepat: keluaran mengikuti edit Anda.
- Privat: jalan lokal di browser.
Cara kerja deduplikasi
Alat membuat kunci perbandingan (teks setelah trim untuk baris/paragraf; kata huruf kecil), menghapus berlebih sesuai aturan Anda, lalu menyusun ulang teks dengan pemisah yang sama (baris baru, spasi, atau ganda baris).
Fitur
- Mode baris: satu unit per baris; baris kosong tetap dalam daftar terpecah.
- Mode kata: token dipisah spasi; duplikat runtuh tanpa beda huruf.
- Mode paragraf: blok dipisah satu atau lebih baris kosong.
- Pertama/terakhir: kendalikan salinan duplikat mana yang tersisa.
- Salin: bawa teks bersih ke mana saja.
Kapan memakai
Saat membersihkan impor, menyiapkan daftar URL unik, memangkas bullet berulang, atau bereksperimen pada draf.
Kasus ideal
- Daftar: baris unik dari spreadsheet atau log.
- Kata: token unik bergaya kosakata dari satu blok.
- Paragraf: bagian berulang di catatan.
- Privasi: teks sensitif tidak meninggalkan tab.
- Perbaikan cepat: tanpa rumus spreadsheet.
Fakta
Yang diharapkan.
Poin utama
- Ini deduplikasi struktural, bukan cocok fuzzy atau semantik.
- Mode kata mengeluarkan kata dipisah satu spasi — jeda baris asli tidak dipertahankan.
- Input sangat besar bisa dibatasi memori browser.
- Mode berbeda untuk pertanyaan berbeda; pilih unit yang sesuai data.
- Selalu periksa sebelum terbit atau edit destruktif.
Praktik terbaik
Hasil lebih baik.
Kualitas
- Jika pengulangan disengaja (puisi, kode), pratayang hati-hati.
- Kode dan data terstruktur: verifikasi manual setelah dedupe.
- Mode paragraf butuh batas baris kosong yang jelas.
- Pencocokan sadar trim bisa menyamakan varian spasi sebagai baris sama.
- Coba sampel kecil pada tempel besar.
Perbandingan mode
- Baris: cocok untuk daftar, log, dan ekspor berbasis baris.
- Kata: berguna untuk ekstraksi kosakata dan token berulang.
- Paragraf: ideal untuk blok berulang pada catatan dan draf.
Panduan strategi pencocokan
- Exact: hanya nilai yang benar-benar sama dianggap duplikat.
- Tanpa beda huruf: mengabaikan perbedaan huruf besar/kecil.
- Trim: mengabaikan spasi awal dan akhir.
- Collapse spasi: menormalkan spasi internal berulang sebelum banding.
Alur dedupe + sortir
- Jalankan deduplikasi dulu untuk mengurangi noise dan menerapkan aturan simpan pertama/terakhir.
- Lalu pakai Pengurut teks untuk mengurutkan hasil unik sebelum ekspor.
- Periksa kasus tepi saat spasi dan huruf besar/kecil bisa mengubah hasil cocok.
Setelah deduplikasi, lanjutkan dengan Pengurut teks untuk mengurutkan, Pemangkas teks untuk merapikan spasi, dan Penganalisis teks untuk cek kualitas cepat.
Kapan hindari
- Saat duplikat membawa metadata berbeda yang harus dipertahankan.
- Untuk pencocokan fuzzy (hampir duplikat, salah ketik).
- Saat hanya basis data atau alat khusus yang mendefinisikan keunikan.
Batas dan kompatibilitas
Hanya heuristik teks biasa; butuh JavaScript. Aturan cocok tetap (trim + huruf seperti di atas) — tanpa normalizer kustom.
Penghapusan duplikat berjalan sepenuhnya di browser tanpa unggah server; hasil bersih diperbarui seketika saat opsi diubah.
Pertanyaan umum
Apakah deduplikator ini gratis?
Ya. Semua berjalan di browser Anda. Tanpa daftar atau unggah.
Bisakah saya hanya menghapus baris duplikat?
Ya. Pilih mode baris. Anda juga bisa menghapus duplikat kata di seluruh teks atau paragraf penuh yang dipisah baris kosong.
Apa arti pertahankan pertama vs terakhir?
Untuk baris yang sama setelah trim (atau kata yang sama tanpa beda huruf, atau paragraf yang sama setelah trim), satu salinan tetap: yang lebih awal (pertama) atau yang lebih akhir (terakhir), sesuai kotak centang.
Apakah teks saya aman?
Ya. Pemrosesan tetap di perangkat Anda.
Bagaimana duplikat dideteksi?
Baris dan paragraf: spasi awal/akhir diabaikan saat bandingkan; baris yang dipertahankan mempertahankan spasi asli. Kata: perbandingan tidak peka huruf besar/kecil; kata keluaran dipisah satu spasi.
Mengapa spasi memengaruhi deteksi?
Tergantung strategi pencocokan. Exact membandingkan apa adanya, sedangkan trim/collapse menormalkan spasi lebih dulu.
Bisakah mempertahankan baris kosong dan format?
Di mode baris Anda bisa mengabaikan atau mempertahankan baris kosong. Di mode kata, output bisa satu token per baris.