Alat Statistik Teks Lanjutan

• Penghitung kata
• Penganalisis teks
• Pemeriksa keterbacaan
• Frekuensi kata
• Ekstraktor kata kunci
• Pemisah teks

Rata-rata saja hampir tidak mengatakan apa-apa. Dua dokumen bisa memiliki panjang kalimat rata-rata dua puluh kata, sementara yang satu terbaca rata dan yang lain berselang-seling antara penggalan lima kata dan kalimat sepanjang paragraf. Yang kedua itulah yang menyulitkan pembaca, dan hanya distribusi yang menunjukkannya. Alat ini mengukur bentuk tulisan Anda — bagaimana panjangnya tersebar, seberapa tidak rata, seberapa beragam kosakatanya — agar Anda bisa memutuskan apa yang harus disunting.

Manfaat

• Distribusi, bukan sekadar rata-rata: panjang kata dan kalimat masing-masing sebagai histogram penuh, dengan rata-rata, median, simpangan baku, minimum, dan maksimum di sebelahnya.
• Nilai keragaman yang tahan panjang teks: MTLD di samping rasio tipe-token mentah, agar dua dokumen berbeda ukuran benar-benar bisa dibandingkan.
• Deteksi kalimat yang tepat: desimal, singkatan, akronim, domain, nama berkas, dan elipsis tetap di dalam kalimatnya.
• Hitungan benar di setiap aksara: Mandarin, Jepang, Thai, Khmer, Lao, dan Burma disegmentasi dengan benar.
• Profil tanda baca: setiap tanda dihitung, dengan kepadatan per kalimat dan per seratus kata.
• Tidak ada yang meninggalkan perangkat Anda: tanpa unggahan, dan halaman tetap bekerja luring setelah dimuat.

Dokumen 25 MB diprofilkan dalam sekitar satu detik di komputer desktop, dengan pekerjaan berada di luar halaman sehingga mengetik tidak pernah tersendat.

Teks ditelusuri tiga kali: sekali untuk karakter, sekali untuk batas kalimat, sekali untuk kata. Setiap penelusuran menulis ke pencacah berukuran tetap alih-alih membangun daftar, itulah sebabnya dokumen 25 MB selesai dalam sekitar satu detik dan pekerjaannya bisa sepenuhnya berada di luar halaman — mengetik tidak pernah tersendat, dan tidak ada tombol yang meminta izin untuk analisis yang sudah Anda minta.

Arti setiap angka

• Kata: rangkaian huruf dan, opsional, angka. Apostrof dan tanda hubung menyatukan kata bila opsinya menyatakan demikian.
• Kalimat: batas yang ditemukan detektor cerdas di bawah, atau pemotongan sederhana pada . ! ?.
• Paragraf dan baris: baris adalah baris yang ada isinya; paragraf adalah blok baris yang dipisahkan dari blok berikutnya oleh baris kosong. Keduanya dilaporkan karena tidak satu pun sendirian sesuai dengan yang dimaksud semua orang.
• Rata-rata, median, dan simpangan baku: nilai rerata, nilai tengah, dan seberapa jauh nilai tipikal dari rerata. Simpangan besar pada panjang kalimat adalah tanda irama yang tidak rata.
• Rasio tipe-token: bentuk unik dibagi seluruh kata, dalam persen. Sederhana, dikenal — dan bergantung pada panjang.
• MTLD: berapa banyak kata berlalu sebelum rasio berjalan turun melewati 0,72, dirata-ratakan dua arah. Makin tinggi makin beragam.
• Hapax legomena: kata yang dipakai tepat satu kali.

Titik bukanlah batas kalimat. Titik adalah karakter yang biasanya menjadi batas kalimat, dan pengecualiannya cukup sering sehingga pemotongan naif salah menangani prosa bisnis biasa. Deteksi cerdas adalah bawaan di sini dan menjaga kalimat tetap utuh pada semua kasus berikut.

Cara kerja deteksi kalimat

• Desimal dan nomor versi — 3.50 dan 1.2.3 berada di dalam satu kalimat, bukan dua atau tiga.
• Sapaan bertitik — Dr., Ny., Prof. dan sejenisnya tidak pernah mengakhiri kalimat.
• Singkatan yang kadang mengakhiri — dsb., dkk., mis., Vol., Gbr., Jan. Semua itu hanya memotong bila berikutnya huruf kapital atau tanda kutip pembuka.
• Akronim bertitik — U.S.A. diikuti huruf kapital adalah batas; diikuti huruf kecil bukan.
• Domain dan nama berkas — example.com dan report.txt bukan dua kalimat.
• Elipsis — Tunggu… tidak terjadi apa-apa adalah satu kalimat; Tunggu… Tidak terjadi apa-apa adalah dua.
• Tanda kutip dan kurung penutup milik kalimat yang diakhirinya.
• Baris kosong mengakhiri kalimat, sehingga judul atau butir daftar menjadi kalimat tersendiri.
• Titik lebar penuh, danda Devanagari, serta tanda tanya dan titik Arab juga mengakhiri kalimat.

Deteksi sederhana tetap disediakan dan melakukan apa yang dilakukan hampir semua penghitung online lain: memotong di setiap . ! ? dan tidak lebih. Itu ada agar Anda bisa mereproduksi angka alat lain, bukan karena lebih benar.

Ukuran yang dikenal adalah rasio tipe-token: bentuk unik dibagi total kata. Mudah dijelaskan dan punya satu kelemahan yang lebih berat dari kedengarannya: nilainya turun seiring teks memanjang, apa pun yang dilakukan penulisnya. Esai 500 kata dan buku 90.000 kata dari penulis yang sama akan mendapat nilai sangat berbeda, dan perbedaannya adalah panjang, bukan kosakata.

Keragaman kosakata

• Rasio tipe-token ditampilkan karena itulah angka yang dikenal orang, dan karena pada teks dengan panjang serupa masih sepenuhnya berguna.
• MTLD ditampilkan di sebelahnya karena tidak bergantung pada panjang. MTLD menghitung berapa kata berlalu sebelum rasio berjalan turun melewati ambang tetap, lalu melaporkan kata per penurunan.
• MTLD dihitung maju dan mundur lalu dirata-ratakan, karena teks yang menaruh kata langkanya di awal mendapat nilai berbeda pada tiap arah.
• Di bawah sekitar lima puluh kata tidak ada yang bisa diukur dan MTLD tidak ditampilkan, alih-alih angka yang dikarang dari teks yang terlalu sedikit.
• Hapax legomena adalah sudut pandang ketiga. Bersama-sama, ketiganya memisahkan kosakata luas dari yang berulang dan dari yang sekadar pendek.

Tempel teks atau buka berkas teks biasa, lalu baca distribusi panjang, nilai keragaman, dan profil tanda baca.

Cara mendapatkan statistik teks online

1. Tambahkan teks Anda — Tempel ke kotak atau buka berkas .txt, .md, .log, .csv, atau .tsv. Tidak ada yang diunggah — analisis berjalan di perangkat Anda.
2. Pilih cara menghitung — Deteksi cerdas menjaga desimal, singkatan, dan akronim tetap utuh. Deteksi sederhana memotong di setiap titik, seperti hampir semua penghitung lain. Angka, apostrof, dan tanda hubung bisa disertakan atau dikecualikan satu per satu.
3. Baca profilnya — Distribusi menunjukkan bentuk tulisan Anda, bukan hanya rata-ratanya. Simpangan baku menunjukkan seberapa rata kalimat Anda; MTLD menunjukkan seberapa beragam kosakata Anda tanpa menghukum panjang teks.
4. Ekspor atau bandingkan — Salin laporan atau unduh sebagai teks. Dengan Pro Anda mengekspor CSV atau JSON dan membuat profil hingga 100 dokumen dalam satu tabel perbandingan, dengan semua laporan dalam satu arsip.

Setiap kali Anda akan mengambil keputusan penyuntingan dan ingin bukti alih-alih kesan, dan setiap kali Anda membandingkan dua versi dari teks yang sama.

Kasus penggunaan ideal

• Menyunting draf: menemukan satu kalimat sepanjang paragraf dan melihat apakah iramanya rata.
• Membandingkan versi: membuat profil sebelum dan sesudah, lalu melihat angka mana yang benar-benar bergerak.
• Membandingkan satu set: dengan Pro, membuat profil satu folder draf dalam satu tabel dan menemukan pencilan tanpa membuka satu pun.
• Panduan gaya: memeriksa batas panjang kalimat terhadap distribusi, bukan terhadap rata-rata.
• Pengajaran dan penelitian: menunjukkan ukuran keragaman leksikal pada teks nyata, dengan rasio mentah dan MTLD berdampingan.
• Teks survei dan ulasan: membuka kolom CSV berisi jawaban bebas dan memprofilkannya sebagai prosa.
• Draf pribadi: naskah yang belum terbit dan dokumen rahasia, tanpa unggahan.

Apa persisnya angka-angka itu, dan di mana batasnya. Semua di bawah ini adalah sifat pengukurannya, bukan peringatan bahwa alat ini belum selesai.

Poin utama

• Panjang diukur dalam titik kode, sehingga huruf beraksen atau emoji dihitung satu karakter.
• Panjang kata menghitung huruf dan angka pada token itu. Tanda baca yang menempel bukan bagian dari kata.
• Panjang kalimat diukur dalam kata, memakai definisi kata yang dipilih opsi Anda.
• Median berasal dari distribusi yang tepat, bukan dari sampel, sehingga merupakan median sesungguhnya pada ukuran dokumen berapa pun.
• Simpangan baku adalah nilai populasi atas seluruh kata atau seluruh kalimat, bukan taksiran sampel.
• Kalimat terpanjang dan terpendek ditampilkan hingga 4.000 karakter; di atas itu pratinjaunya dipangkas dan menyatakannya, sementara panjang yang dilaporkan adalah panjang sebenarnya.
• Bila seri, kemunculan pertama yang menang.
• Distribusi berekor panjang dikelompokkan ke dalam 24 rentang alih-alih dipotong — segelintir kalimat sangat panjang justru temuannya.

Alat ini membaca teks biasa. Selain itu ditolak langsung di pemilih berkas, dengan tautan ke alat di sini yang mengekstrak teksnya, karena dokumen Word yang diberikan ke pemindai teks menghasilkan statistik tentang markah, bukan tentang prosa — satu halaman penuh angka yang meyakinkan, masuk akal, dan sepenuhnya keliru.

Apa yang dibaca dan apa yang tidak

• Membaca: .txt, .text, .md, .markdown, .log, .csv, dan .tsv.
• Pengodean: UTF-8, UTF-8 dengan penanda urutan byte, UTF-16 dalam kedua urutan, dan Windows-1252 sebagai cadangan. Berkas yang disimpan dari Notepad sebagai “Unicode” adalah UTF-16 dan dibaca dengan benar.
• Dokumen Word: ekstrak teksnya dulu, lalu profilkan.
• PDF: ekstrak teksnya dulu, lalu profilkan.
• Presentasi: ekstrak teksnya dulu, lalu profilkan.
• Lembar kerja: ekspor kolom yang Anda inginkan sebagai CSV, yang dibaca alat ini secara langsung.
• Gambar, audio, dan video: kenali atau transkripsikan teksnya dulu.
• Berkas biner yang diganti nama menjadi .txt: ditolak, alih-alih dianalisis menjadi omong kosong.

Angka hanya sebermakna perbandingan tempat Anda meletakkannya.

Pertimbangan kualitas

• Bandingkan yang sepadan. Ubah satu hal saja antara dua profil: drafnya, bukan draf dan opsi sekaligus.
• Gunakan MTLD, bukan rasio tipe-token, setiap kali panjang dua dokumen berbeda lebih dari sedikit.
• Baca simpangan baku di samping rata-rata. Rata-rata 18 dengan simpangan 4 dan rata-rata 18 dengan simpangan 16 adalah dokumen yang berbeda.
• Bersihkan markah sebelum memprofilkan bila Anda ingin statistik tentang prosanya. Sintaks Markdown terhitung sebagai tanda baca: akurat, tetapi mungkin bukan yang Anda tanyakan.
• Untuk hitungan kata hukum atau akademik, periksa definisi “kata” yang diminta dan atur opsi angka, apostrof, dan tanda hubung sebelum mengutip angka.
• Jangan membaca keragaman kosakata sebagai nilai mutu. Ia mengukur variasi, dan variasi tidak selalu yang dibutuhkan sebuah tulisan.

Kapan tidak mengandalkannya

• Bila Anda butuh tingkat keterbacaan berjenjang — Flesch, Fog, SMOG, atau setara jenjang sekolah. Pemeriksa keterbacaan di situs ini menghitungnya.
• Bila Anda butuh tahu kata apa yang muncul dan berapa kali. Frekuensi kata dan ekstraktor kata kunci menjawabnya.
• Bila batas kalimat harus mengikuti aturan penerbit tertentu, bukan pemakaian umum.
• Bila Anda butuh statistik suku kata, lema, kelas kata, atau n-gram.
• Sebagai perangkat antiplagiat, tata bahasa, atau SEO. Alat ini mengukur, bukan menilai.

Paket gratis memprofilkan satu dokumen hingga 25 MB — sekitar empat juta kata — dengan seluruh metrik disertakan: tidak ada di halaman ini yang berada di balik pembayaran. Pro menghapus batas ukuran yang ditetapkan, menaikkan plafon ke kemampuan perangkat Anda, dan menambahkan apa yang dibutuhkan skala: hingga 100 dokumen sekaligus, tabel perbandingan, ekspor CSV dan JSON, serta semua laporan dalam satu arsip. Alat ini memerlukan JavaScript dan peramban terkini; analisisnya berjalan di luar halaman, sehingga dokumen besar tidak pernah membekukan tab.

Alur penyuntingan yang disarankan

• Profilkan draf lebih dulu, dan baca distribusi panjang kalimat sebelum yang lain — ekornya adalah tempat penyuntingan berada.
• Buka kalimat terpanjang, pecah, lalu profilkan lagi untuk memastikan simpangannya benar-benar turun.
• Periksa keragaman dengan MTLD bila kedua draf berbeda panjang; dengan rasio tipe-token bila tidak.
• Gunakan pemangkas, pemisah, atau penghapus duplikat untuk pembersihan yang ditunjuk profil.
• Akhiri dengan pemeriksaan keterbacaan dan penelusuran kata kunci sebelum menerbitkan.

Untuk tinjauan lengkap, gunakan profil ini bersama pemeriksa keterbacaan untuk nilai berjenjang, frekuensi kata untuk melihat kata yang Anda andalkan, dan penghitung kata bila Anda hanya butuh angka.