My Clustering Bibliography

Agusta, Y. (2004). Minimum Message Length Mixture Modelling for Uncorrelated and Correlated Continuous Data Applied to Mutual Funds Classification, Ph.D. Thesis, School of Computer Science and Software Engineering, Monash University, Clayton, 3800 Australia

Agusta, Y. and Dowe, D.L. (2002a). MML Clustering of Continuous-Valued Data using Gaussian and t Distributions, in B. McKay and J. Slaney (eds), Lecture Notes in Artificial Intelligence 2557, Proceedings of the 15th Australian Joint Conference on Artificial Intelligence (AI02), Springer-Verlag, Berlin, Germany, pp. 143-154

Agusta, Y and Dowe, D.L. (2002b). Clustering of Gaussian and t Distribution using Minimum Message Length, in M. Sasikumar, H. J. Jayprasad and M. Kavitha (eds), Artificial Intelligence: Theory and Practice, Proceedings of the International Conference Knowledge-Based Computer Systems (KBCS-2002), Vikas Publishing House Pvt. LTD., New Delhi, India, pp. 289-299.

Agusta, Y and Dowe, D.L. (2003). Unsupervised Learning of Correlated Multivariate Gaussian Mixture Models using MML, in T.D. Gideon and L.C. Fung (eds), Lecture Notes in Artificial Intelligence 2903, Proceedings of the 16th Australian Joint Conference on Artificial Intelligence (AI03), Springer-Verlag, Berlin, Germany, pp. 477-489.

Akaike, H. (1974). A New Look at the Statistical Model Identification, IEEE Transaction on Automatic Control AC-19(6): 716-723.

Bezdek, J. C. (1981). Pattern Recognition with Fuzzy Objective Function Algoritmss, Plenum Press, New York.

Cheeseman, P. and Stutz, J. (1996). Bayesian Classification (AutoClass): Theory and Results, in U. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth and R. Uthurusamy (eds), Advances in Knowledge Discovery and Data Mining, AAAI Press/MIT Press, Cambridge, MA, pp. 153-180.

Figueiredo, M. A. and Jain A.K. (2002). Unsupervised Learning of Finite Mixture Models. IEEE Transactions on Pattern Analysis and Machine Intelligence 24(3): 381-396.

Fraley, C. and Raftery, A. E. (1998). MCLUST: Software for Model-Based Cluster and Discriminant Analysis, Technical Report 342, Department of Statistics, University of Washington, Box 354322, Seattle, WA, USA.

MacQueen, J. B. (1967). Some Methods for classification and Analysis of Multivariate Observations, Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, University of California Press, 1: 281-297.

McLachlan, G.J. and Peel, D. (2002a). On Computational Aspects of Clustering via Mixtures of Normal and t-Components, Proceedings of the American Statistical Association (Bayesian Statistical Science Section), Indianapolis, Alexandria, Virginia.

McLachlan, G.J. and Peel, D. (2002b). Finite Mixture Models, John Wiley and Sons, New York.

McLachlan, G. J., Peel, D., Basford, K. E. and Adams, P. (1999). The EMMIX Software for the Fitting of Mixtures of Normal and t-Components, Journal of Statistical Software 4(2): 1087-1092.

Miyamoto, S. and Agusta, Y. (1995). An Efficient Algorithm for L1 Fuzzy c-Means and its Termination, Control and Cybernetics 24(4): 422-436.

Miyamoto, S. and Agusta, Y. (1995). Algorithms for L1 and Lp Fuzzy C-Means and Their Convergence, in C. Hayashi, N. Oshumi, K. Yajima, Y. Tanaka, H. H. Bock and Y. Baba (eds), Data Science, Classification, and Related Methods, Springer-Verlag, Tokyo, Japan, pp. 295-302.

Miyamoto S. and Nakayama, Y. (2003). Algorithms of Hard C-Means Clustering Using Kernel Functions in Support Vector Machines, Journal of Advanced Computational Intelligence and Intelligent Informatics, Vol. 7, No. 1, pp. 19–24.

Miyamoto, S. and Suizu, D. (2003). Fuzzy C-Means Clustering Using Kernel Functions in Support Vector Machines, Journal of Advanced Computational Intelligence and Intelligent Informatics, Vol. 7, No. 1, pp. 25–30.

Neal, R. M. (1991). Bayesian Mixture Modeling by Monte Carlo Simulation, Technical Report CRG-TR-91-2, Department of Computer Science, University of Toronto, Toronto, Canada.

Pena, J. M., Lozano, J. A. and Larranaga, P. (1999). An empirical comparison of four initialization methods for the k-means algorithm. Pattern Recognition Lett., 20:1027-1040.

Schwarz, G. (1978). Estimating the Dimension of a Model, The Annals of Statistics 6: 461 – 464.

Shannon, C. E. (1948). A Mathematical Theori of Communication, Bell System Tech. Journal 27: 379-423.

Tibshirani, R., Walter, G. and Hastie, T. (2000). Estimating the Number of Clusters in a Dataset using the Gap Statistics, Technical Report 208, Department of Statistics, Stanford University, Standford, CA 94305, USA.

Wallace, C. S. (1986). An Improved Program for Classification, Proceedings of the 9th Australian Computer Science Conference (ACSC-9), Vol. 8, Monash University, Australia, pp. 357-366.

Wallace, C. S. and Boulton, D. M. (1968). An Information Measure for Classification, Computer Journal 11(2): 185-194.

Wallace, C. S. and Dowe D. L. (1994). Intrinsic Classification by MML – the Snob Program, Proceedings of the 7th Autralian Joint Conference on Artificial Intelligence (AI94), World Scientific, Singapore, pp. 37-44.

Wallace, C. S. and Dowe, D. L. (1997). MML Mixture Modelling of Multi-State, Poisson, von Mises Circular and Gaussian Distribusions, Proceedings of the 6th International Workshop on Artificial Intelligence and Statistics, Fort Launderdale, Florida, pp. 529-536.

Wallace, C. S. and Dowe, D. L. (2000). MML Clustering of Multi-state, Poisson, von Mises Circular and Gaussian Distributions, Statistics and Computing 10: 73-83.

Wallace, C. S. and Freeman, P. R. (1987). Estimation and Inference by Compact Coding, Journal of the Royal Statistical Society B 49(3): 240-265.

Related Theory

Bernardo J.M. and Smith A.F.M. (1994). Bayesian Theory, Wiley, Chichester, UK.

Dowe D.L., Oliver J.J. and Wallace C.S. (1996). MML Estimation of the Parameters of the Spherical Fisher Distribution, in S. Arikawa and A.K. Sharma (eds), Lecture Notes in Artificial Intelligence 1160, Proceedings of the 7th International Workshop on Algorithmic Learning Theory, (ALT’96), Springer-Verlag, Heidelberg, Germany, pp. 213-227.

Fitzgibbon L.J., Dowe D.L. and Allison L. (2002a). Univariate Polynomial Inference by Monte Carlo Message Length Approximation, in C. Sammut and A. Hoffmann (eds), Proceedings of 19th International Conference on Machine Learning (ICML-2002), Morgan Kaufman, Sydney, pp. 147-154.

Fitzgibbon L.J., Dowe D.L. and Allison L. (2002b). Change-Point Estimatin Using New Minimum Message Length Approximations, in M. Ishizuka and A. Sattar (eds), Lecture Notes in Artificial Intelligence 2417, Seventh Pacific Rim International Conference on Artificial Intelligence (PRICAI-2002), Springer-Verlag, Berlin, Germany, pp. 244-254.

Girolami, M. (2002). Mercel Kernel Based Clustering in Feature Space, IEEE Transactions on Neural Networks, Vol. 13, No. 3, pp. 761-766.

Lam E. (2000). Improved Approximation in MML, Honours’ Thesis, School of Computer Science and Software Engineering, Monash University, Clayton, Victoria 3800, Australia.

Lindley, D.V. (1972). Bayesian Statistics, A Review, SIAM, Philadelpia, PA, USA.

Wallace, C. S. and Dowe, D. L. (1999a). Minimum Message Length and Kolmogorov Complexity, Computer Journal 42(4): 270-283. Special issue on Kolmogorov Complexity.

Wallace, C. S. and Dowe, D. L. (1999b). Refinements of MDL and MML Coding, Computer Journal 42(4): 345-347. Special issue on Kolmogorov Complexity.

KNS&I2009 Berjalan Lancar

Konferensi Nasional Sistem dan Informatika (KNS&I2009) telah berakhir. Tanggal 14 November 2009, hari Sabtu, semua kesibukan berujung di hari itu, dimana ada sekitar 500 orang yang harus dihandle yang terdiri dari sekitar 40 orang undangan, 60 orang peserta pemakalah, dan 400 orang mahasiswa yang mendaftar untuk turut menyimak makalah-makalah yang dipresentasikan pada konferensi kali ini.

Persiapan konferensi yang demikian banyak kendala, tempat konferensi yang masih belum siap benar, membuat saya sebagai panitia sangat-sangat sibuk dan was-was apakah konferensi bisa dilaksanakan seperti halnya pelaksanaan tiga kali sebelumnya. Tahun ini merupakan tahun pertama kami melaksanakan di gedung kampus. Tahun ini juga persiapan sangat banyak kendala mulai dari email kami yang bermasalah, persiapan konferensi yang berbarengan dengan perpindahan kami ke gedung kampus baru, dan gedung kampus sendiri yang masih bermasalah dengan listriknya.

Tapi mencermati pelaksanaan KNS&I2009 ini, saya merasa, dengan begitu banyak kendala, pelaksanaan kali ini bisa dikatakan cukup berhasil. Mulai dari persiapan ruangan yang walaupun ini pelaksanaan pertama, ruangan bisa dipersiapkan dengan baik, penerimaan tamu undangan, penerimaan peserta pemakalah, dan registrasi mahasiswa yang terdaftar, semuanya bisa terselesaikan dengan relatif baik. Acara sidang juga berjalan dengan lancar, mulai dari munculnya tari Pendet, kemudian sambutan pembukaan oleh Kadis KPDE Kota Denpasar, pembicara tamu oleh Bapak DR. Indra Adji Sulistijono (yang mewakili Bapak DR. Son Kuswadi) yang cukup memberikan wawasan tentang perkembangan robot dunia sekarang ini, pelaksanaan sesi sidang pemakalah yang dibagi menjadi empat ruangan, sampai pada penyerahan best paper award di akhir acara kepada Bapak Eko K. Budiarjo, semuanya bisa dilaksanakan dengan relatif lancar.

Memang, permasalahan pengaturan pemakalah dan waktu pemakalah selalu menjadi masalah dari tahun ke tahun. Perilaku pemakalah yang berbeda-beda membuat kami panitia juga sedikit kewalahan. Ada yang baik mau mengikuti jadwal, ada yang ingin dapat waktu untuk jalan-jalan, sehingga minta presentasi di sesi pagi, ada yang memang dikejar-kejar jadwal pesawat, dan ada juga yang berhalangan hadir, yang baru kami ketahui setelah acara dimulai. Tetapi secara kesuluruhan, dengan mengutip pendapat dari salah seorang peserta pemakalah, dalam KNS&I yang dilaksanakan STIKOM BALI, banyak sekali pemakalah yang hadir dan bertahan di tempat untuk mempresentasikan makalah mereka. Berbeda dengan konferensi di tempat yang lain, yang umumnya tidak begitu ramai didatangi para pemakalah. Dari segi itu, sayapun sedikit bersyukur.

Dalam kesempatan ini saya sebagai ketua panitia, sangat berterimakasih sekali kepada mahasiswa dan senat yang telah meluangkan banyak waktunya untuk membantu persiapan dan pelaksanaan konferensi kali ini. Berikut wajah-wajah mahasiswa dan senat yang telah membantu pelaksanaan KNS&I2009 sehingga bisa menjadi even yang bisa dikatakan berhasil.

KNS&I2009 di Bali Post

Pelaksanaan Konferensi Nasional Sistem dan Informatika 2009 (KNS&I2009) yang dilaksanakan pada hari Sabtu, 14 November 2009 telah dimuat di media Bali Post Minggu, 15 November 2009. Berikut adalah copy beritanya.

Makalah KNS&I

Akhirnya, list makalah dan file makalah Konferensi Nasional Sistem dan Informatika (KNS&I) termuat juga di blog. Alamat halaman makalah KNS&I dapat diakses melalui HALAMAN KNS&I. Sampai sekarang ini, sudah empat kali pelaksanaan konferensi (seminar) nasional sistem dan informatika ini: KNS&I09 (14 November 2009), KNS&I08 (15 November 2008), SNSI07 (16 November 2007), SNSI06 (17 November 2006). Semua makalah dari keempat konferensi (seminar) nasional tersebut dapat diakses dari halaman tersebut.

Simulated Annealing

Simulated Annealing merupakan metode searching yang memanfaatkan teori probabilitas untuk mencari global minimum dari suatu permasalahan optimasi. Simulated annealing umumnya digunakan untuk variabel yang bersifat categorical. Target dari metode ini adalah menemukan solusi bagus yang bisa diterima, bukan untuk mencari solusi yang terbaik. Nama annealing berasal dari keilmuan metallurgy, di mana proses tersebut akan berusaha mencari suatu posisi suhu tertentu yang optimal untuk mengurangi kerusakan dan menambah ukuran kristal di dalam suatu material.

Analogi dengan proses tersebut, metode Simulated Annealing ini juga berusaha untuk mencari solusi dengan berpindah dari solusi yang satu ke solusi yang lainnya, dan apabila solusi baru yang diuji mempunyai nilai fungsi ‘energy’ yang lebih kecil, maka solusi yang sedang diuji akan menggantikan solusi yang lama. Umumnya solusi baru yang dipilih merupakan solusi yang ada di dekat/sekitar solusi yang lama. Fungsi energi ini sangat bergantung pada parameter-parameter seperti parameter T (yang sering disebut dengan parameter “Temperature”). Metode ini merupakan adaptasi dari algoritma Metropolis-Hasting, yang merupakan suatu jenis metode Monte Carlo, untuk menciptakan sample state yang diperlukan.

Dalam metode ini, beberapa parameter terkait harus didefinisikan termasuk, the state space (umumnya berupa vector yang terdiri dari beberapa karakteristik), fungsi energy, prosedur untuk menciptakan solusi baru, fungsi probabilitas untuk menerima atau menolak, dan fungsi jadwal annealing dengan keterangan sebagai berikut:

- The state space umumnya ditentukan dengan melihat pada objek yang menjadi domain space pencarian.

- Fungsi energy umumnya menyesuaikan pada state space dan beberapa parameter kaitan lainnya.

- Prosedur untuk menciptakan solusi baru harus ditentukan seefisien mungkin dengan memikirkan karakteristik yang menjadi objek optimasi. Metode swapping antar karakteristik juga menjadi salah satu solusinya.

- Fungsi probabilitas untuk menerima atau menolak umumnya mempunyai bentuk tertentu dan bergantung pada apakah objek optimasi dapat merupakan fungsi probabilitas atau tidak. Fungsi probabilitas yang sering digunakan adalah fungsi probabilitas yang terkait dengan algoritma Metropolis-Hastings.

- Sedangkan untuk rate jadwal annealing umumnya ditentukan dengan melihat permasalahan yang ada pada objek optimasi dan ditentukan secara empiris.

Referensi:
[1] Kirkpatrick, S., Gelatt C. D., Vecchi M. P. (1983). Optimization by Simulated Annealing. Science. New Series 220 (4598): pp. 671 – 680. ISSN: 00368075.
[2] Metropolis N., Rosenbluth A. W., Rosenbluth M. N., Teller A. H., Teller E. (1953). Equations of State Calculations by Fast Computing Machines. Journal of Chemical Physics, 21 (6): pp. 1087 – 1092.