ANALISIS SENTIMEN ULASAN PENGGUNA APLIKASI MENGGUNAKAN PENDEKATAN MACHINE LEARNING BERBASIS TEXT MINING

Mutiara Fatmiah; Rudi Kurniawan; Bani Nurhakim; Aris Pratama Putra; Tati Suprapti

Authors

Mutiara Fatmiah STMIK IKMI Cirebon, Indonesia
Rudi Kurniawan
Bani Nurhakim
Aris Pratama Putra
Tati Suprapti STMIK IKMI Cirebon, Indonesia

Keywords:

Analisis sentimen, Machine learning, Text mining, Multinomial Naïve Bayes, TF–IDF

Abstract

Pertumbuhan aplikasi mobile mendorong peningkatan jumlah ulasan pengguna yang dapat dimanfaatkan sebagai sumber informasi untuk mengevaluasi kualitas aplikasi secara sistematis. Penelitian ini bertujuan menganalisis sentimen ulasan pengguna aplikasi Kopi Kenangan pada platform Google Play Store menggunakan pendekatan machine learning berbasis text mining. Data dikumpulkan melalui web scraping dan diklasifikasikan ke dalam tiga kelas sentimen, yaitu positif, netral, dan negatif. Pelabelan awal dilakukan berdasarkan rating bintang dan diverifikasi secara manual untuk meningkatkan konsistensi label. Tahapan penelitian meliputi pembersihan teks, case folding, tokenisasi, penghapusan stopword, dan stemming menggunakan Sastrawi. Ketidakseimbangan kelas ditangani menggunakan Random Oversampling, sedangkan ekstraksi fitur dilakukan dengan Term Frequency–Inverse Document Frequency (TF–IDF). Model klasifikasi yang digunakan adalah Multinomial Naïve Bayes dan dievaluasi menggunakan metrik accuracy, precision, recall, F1-score, serta validasi silang 5-fold. Hasil eksperimen menunjukkan bahwa model mencapai akurasi sebesar 98,98% dengan nilai precision, recall, dan F1-score makro masing-masing sebesar 99,00%, serta menunjukkan kinerja yang konsisten pada berbagai subset data. Temuan ini menunjukkan bahwa pendekatan machine learning berbasis text mining efektif untuk menganalisis sentimen ulasan aplikasi berbahasa Indonesia dan dapat memberikan masukan yang relevan bagi pengembang aplikasi dalam meningkatkan kualitas layanan.

References

A. Kastrati, A. Imran, and A. Kurti, “Sentiment analysis of user-generated content using machine learning algorithms,” Appl. Sci., vol. 11, no. 2, pp. 1–22, 2021, doi: 10.3390/app11020814.

K. Sawicki and R. Wójcik, “Evaluation of Naïve Bayes variants for sentiment classification of short texts,” Procedia Comput. Sci., vol. 207, pp. 2392–2401, 2023, doi: 10.1016/j.procs.2022.12.302.

L. Ashbaugh and Y. Zhang, “A comparative study of sentiment analysis on customer reviews using machine learning and deep learning,” Computers, vol. 13, no. 12, p. 340, 2024, doi: 10.3390/computers13120340.

A. Hanić, “Challenges of text classification in informal and user-generated content,” Inf. Process. Manag., vol. 61, no. 1, p. 103122, 2024, doi: 10.1016/j.ipm.2023.103122.

S. Ashbaugh and T. Zhang, “Performance of ensemble methods in user review sentiment classification,” Appl. Sci., vol. 14, no. 3, p. 1125, 2024, doi: 10.3390/app14031125.

K. Sawicki and R. Wójcik, “Evaluation of naïve Bayes variants for sentiment classification of short texts,” Procedia Comput. Sci., vol. 192, pp. 299–308, 2021, doi: 10.1016/j.procs.2021.08.031.