Document Clustering

Document Clustering adalah suatu kegiatan mengelompokkan dokumen berdasarkan pada karakteristik yang terkandung di dalamnya. Proses analisa document clustering pada intinya ada dua tahapan: yang pertama mentransformasi document ke dalam bentuk quantitative data dan yang kedua menganalisa dokumen dalam bentuk quantitative data tersebut dengan metode clustering yang ditentukan. Untuk proses tahapan kedua ada berbagai jenis metode clustering yang bisa digunakan. Lihat tulisan saya mengenai clustering, k-means, mixture modelling atau tulisan-tulisan clustering lainnya.

Yang umumnya menjadi permasalahan dalam pelaksanaan document clustering ini adalah bagaimana cara merepresentasikan dokumen ke dalam bentuk data quantitative. Ada beberapa cara yang umum digunakan, salah satunya adalah vector space model yang merepresentasikan dokumen ke dalam bentuk vector dari term yang muncul dalam dokumen yang dianalisa. Salah satu bentuk representasinya adalah term-frequency (TF) vector yang bisa dilambangkan dengan:

dtf = (tf1, tf2, . . . , tfm)

dimana
tfi: adalah frekuensi dari term ke-i di dalam suatu dokumen.

Model ini biasanya diperbaiki dengan memberikan weight untuk setiap term dengan alasan term yang sering muncul dalam banyak dokumen tidak mempunyai descriminant power. Dengan alasan ini mereka perlu untuk di-de-emphasised. Ini umumnya dilakukan dengan mengalikan frekuensi yang ada dengan log(N/fi) dimana N adalah jumlah dokumen yang ada dan dfi adalah jumlah dokumen yang mengandung term ke-i. Sehingga didapatkan suatu tf-idf representasi sebagai berikut:

dtfidf = (tf1 log(N/df1), tf2 log(N/df2), . . . , tfm log(N/dfm))

Untuk mengakomodasikan, dokumen dengan panjang berbeda, panjang dokumen dinormalisasikan menjadi suatu unit length, dimana 1 dtfidf = 1 yang artinya setiap dokumen adalah suatu vector dalam unit hypershpere.

Referensi:
G. Salton (1989). Automatic Text Processing: The Transformation, Analysis, and Retrieval of Information by Computer. Addison-Wesley.