Bedakan pengelompokan tanpa pengawasan dari klasifikasi berlabel
Klasifikasi berlabel mempelajari hubungan antara contoh teks dan kelas yang sudah ditentukan. Pengelompokan tanpa pengawasan mencari pola kemiripan tanpa label referensi. Karena tujuan optimasinya berbeda, sebuah klaster belum tentu sama dengan kategori bisnis. Satu topik dapat terpecah menjadi beberapa klaster karena gaya bahasa, panjang dokumen, kanal, atau istilah; beberapa topik juga dapat tercampur. Tetapkan sejak awal apakah hasil dipakai untuk eksplorasi, prioritas pelabelan, pemantauan isu, atau pembentukan taksonomi. Jika kategori dan contoh berlabel yang stabil sudah tersedia, bandingkan pendekatan tanpa pengawasan dengan baseline klasifikasi terawasi.
Bangun korpus Indonesia yang mewakili penggunaan nyata
Sampel harus mencakup kanal, periode, produk, wilayah, ragam formal dan informal, serta variasi ejaan yang benar-benar muncul. Pisahkan teks boilerplate, balasan otomatis, tanda tangan, kutipan panjang, duplikasi, dan dokumen yang kosong karena unsur tersebut dapat mendominasi kemiripan. Bahasa Indonesia sering bercampur dengan bahasa daerah, Inggris, singkatan, emoji, dan istilah produk. Simpan versi asli, deteksi bahasa atau campuran bahasa, dokumentasikan aturan normalisasi, dan jangan menghapus negasi, nama produk, atau istilah domain yang menentukan makna. IndoNLU dan IndoLEM menunjukkan pentingnya evaluasi pada sumber, domain, dan tugas Indonesia, bukan hanya mengandalkan skor berbahasa Inggris.
Pilih representasi: TF-IDF sebagai baseline, embedding untuk makna
TF-IDF memberi baseline yang cepat, murah, dan mudah dijelaskan; n-gram kata atau karakter dapat membantu ketika ejaan bervariasi. Kelemahannya, dua kalimat bermakna serupa dapat terlihat jauh jika kosakatanya berbeda. Embedding kalimat menangkap kemiripan semantik dengan lebih baik, tetapi mutu bergantung pada data pelatihan model dan kecocokan Bahasa Indonesia serta domain Anda. Uji setidaknya satu baseline TF-IDF dan satu embedding multibahasa atau Indonesia pada sampel tinjauan yang sama. Normalisasi vektor jika algoritma dan metrik mengharuskannya, catat versi model, dan hindari menilai mutu hanya dari visualisasi dua dimensi.
Pilih algoritma berdasarkan bentuk masalah
K-means berguna ketika jumlah kelompok diperkirakan dan klaster relatif seimbang, tetapi sensitif terhadap inisialisasi dan dapat memaksa setiap dokumen masuk ke satu klaster. Jalankan beberapa inisialisasi dan periksa ukuran klaster. Agglomerative clustering membantu membaca hierarki dan dapat dipotong pada ambang kemiripan. Metode berbasis kepadatan seperti HDBSCAN dapat memisahkan outlier, tetapi hasilnya sensitif terhadap representasi, reduksi dimensi, dan parameter kepadatan. BERTopic menggabungkan embedding, reduksi dimensi, clustering, dan representasi topik; perlakukan label topiknya sebagai kandidat yang harus diperiksa, bukan kesimpulan otomatis.
Tentukan jumlah klaster tanpa mengejar satu skor
Bandingkan beberapa nilai jumlah klaster atau ambang kepadatan. Silhouette coefficient dapat membantu mengukur pemisahan internal ketika label tidak tersedia, tetapi skor tinggi tidak menjamin topik berguna. Periksa stabilitas hasil pada beberapa seed dan sampel waktu, ukuran kelompok, proporsi outlier, dokumen yang paling representatif, kata pembeda, serta koherensi penilaian manusia. Jika klaster berubah total setelah sedikit data baru, terlalu kecil untuk ditindaklanjuti, atau hanya mencerminkan panjang dan kanal, perbaiki data atau representasi sebelum memberi nama topik.
Beri nama klaster dengan bukti dan peninjau manusia
Tampilkan kata pembeda dan sejumlah dokumen representatif serta dokumen di batas klaster. Minta dua peninjau memberi nama secara independen menggunakan pedoman yang sama, lalu catat kesepakatan dan perbedaan. Jangan menggunakan satu ringkasan generatif sebagai satu-satunya bukti nama klaster karena ringkasan dapat menghilangkan subtopik atau menciptakan label yang tidak didukung. Simpan contoh yang tidak cocok dan izinkan label seperti campuran, tidak jelas, atau di luar ruang lingkup. Taksonomi produksi baru dibuat setelah nama, definisi, contoh positif, contoh batas, dan aturan eskalasi disetujui.
Evaluasi kegunaan, stabilitas, dan risiko
Gunakan metrik internal bersama evaluasi manusia dan tujuan operasional. Jika sebagian label referensi tersedia, ukur homogeneity, completeness, V-measure, atau adjusted Rand index sebagai diagnostik; label historis sendiri dapat tidak lengkap. Ukur juga ketepatan rute tinjauan, waktu yang dihemat, proporsi dokumen yang perlu diperiksa ulang, cakupan topik penting, dan kegagalan pada bahasa campuran atau kelompok minoritas. Hapus atau samarkan data pribadi yang tidak diperlukan, batasi akses ke korpus dan embedding, serta tetapkan masa simpan. Jangan menafsirkan klaster sebagai atribut sensitif atau menggunakan kedekatan vektor sebagai bukti identitas, niat, atau pelanggaran.
Operasikan pipeline dengan pemantauan perubahan
Simpan versi data, pembersihan, representasi, parameter, seed, dan keputusan penamaan. Buat set evaluasi tetap berisi contoh umum, langka, campuran bahasa, sangat pendek, dan menyesatkan. Pada setiap pembaruan, bandingkan distribusi ukuran klaster, outlier, stabilitas keanggotaan, kata pembeda, serta perubahan kualitas peninjau. Jangan mengganti model lama hanya karena skor internal naik; lakukan perbandingan berdampingan dan tetapkan ambang rollback. Jika tujuan akhirnya klasifikasi otomatis yang stabil, gunakan hasil eksplorasi untuk menyusun skema label, lakukan anotasi terkontrol, lalu latih dan evaluasi model terawasi pada data waktu yang terpisah.
Veelgestelde vragen
Apa arti klasifikasi teks tidak terawasi?
Istilah ini biasanya merujuk pada pengelompokan dokumen tanpa label awal berdasarkan kemiripan. Hasilnya adalah kandidat klaster atau topik yang masih perlu ditafsirkan dan divalidasi manusia, bukan kelas final yang otomatis benar.
Apakah k-means cocok untuk semua data teks?
Tidak. K-means membutuhkan jumlah klaster di muka, cenderung menyukai kelompok yang relatif seimbang, dan memaksa setiap dokumen masuk ke klaster. Bandingkan dengan metode hierarkis atau berbasis kepadatan serta periksa beberapa inisialisasi.
TF-IDF atau embedding yang sebaiknya digunakan?
Gunakan TF-IDF sebagai baseline yang transparan, lalu bandingkan dengan embedding yang benar-benar mendukung Bahasa Indonesia dan domain Anda. Nilai keduanya pada sampel serta tujuan operasional yang sama.
Bagaimana memilih jumlah klaster?
Uji beberapa nilai dan gabungkan silhouette, stabilitas antarrun, ukuran klaster, proporsi outlier, koherensi manusia, serta kegunaan bisnis. Tidak ada satu skor yang otomatis menentukan jumlah terbaik.
Apakah topic modeling sama dengan klasifikasi?
Tidak. Topic modeling atau clustering menemukan pola pada korpus, sedangkan klasifikasi memetakan teks ke label yang telah didefinisikan. Topik dapat membantu membangun taksonomi dan data label sebelum klasifikasi terawasi.
Kapan pipeline siap dipakai?
Setelah data dan risiko terdokumentasi, hasil stabil pada beberapa sampel, peninjau menyepakati makna klaster, kegagalan penting terukur, akses data dibatasi, dan tersedia pemantauan serta rollback.