OPTIMALISASI MODEL KLASIFIKASI MENGGUNAKAN SUPPORT VECTOR MACHINE DENGAN SMOTE PADA DATA SENTIMEN ULASAN APLIKASI BY.U

Wandi .; Martanto .; Fatihanursari Dikananda; Ratna Dewi Lestyorini

Authors

Wandi . STMIK IKMI Cirebon, Indonesia
Martanto . STMIK IKMI Cirebon, Indonesia
Fatihanursari Dikananda STMIK IKMI Cirebon, Indonesia
Ratna Dewi Lestyorini STMIK IKMI Cirebon, Indonesia

Keywords:

Analisis Sentimen, SVM, SMOTE

Abstract

Penelitian ini bertujuan untuk menganalisis sentimen ulasan pengguna aplikasi by.U menggunakan algoritma Support Vector Machine (SVM) serta mengoptimalkan performa model dengan metode Synthetic Minority Oversampling Technique (SMOTE). Data yang digunakan merupakan ulasan pengguna yang telah melalui tahap preprocessing dan pelabelan menjadi tiga kelas sentimen, yaitu negatif, netral, dan positif. Permasalahan utama dalam penelitian ini adalah ketidakseimbangan distribusi data yang dapat mempengaruhi kinerja model klasifikasi. Untuk mengatasi hal tersebut, dilakukan penerapan SMOTE guna menyeimbangkan jumlah data pada setiap kelas. Selanjutnya, data dibagi menjadi data latih dan data uji dengan proporsi tertentu, kemudian dilakukan proses pelatihan dan pengujian menggunakan algoritma SVM. Evaluasi model dilakukan menggunakan confusion matrix, classification report, serta ROC Curve dan nilai Area Under Curve (AUC). Hasil penelitian menunjukkan bahwa model SVM tanpa SMOTE memperoleh akurasi sebesar 82,39%, sedangkan model SVM dengan SMOTE menghasilkan akurasi sebesar 80,55%. Meskipun terjadi sedikit penurunan akurasi, penerapan SMOTE mampu meningkatkan keseimbangan performa model, khususnya pada kelas minoritas. Nilai AUC yang diperoleh berada pada rentang 0,95–0,96 yang menunjukkan bahwa model memiliki kemampuan klasifikasi yang sangat baik. Berdasarkan hasil tersebut, dapat disimpulkan bahwa metode SMOTE efektif dalam menangani permasalahan data tidak seimbang dan meningkatkan kualitas klasifikasi secara keseluruhan, meskipun tidak selalu meningkatkan nilai akurasi. Penelitian ini diharapkan dapat menjadi referensi dalam pengembangan analisis sentimen berbasis machine learning pada data yang tidak seimbang.

References

M. P. Utami, R. G. Guntara, and B. M. Purwaamijaya, “Analisis Tingkat Kepuasan Pengguna Aplikasi By . U Menggunakan Metode EUCS dan IPA,” vol. 4, no. 2, pp. 47–59, 2024.

E. Hokijuliandy, H. Napitupulu, and Firdaniza, “Application of SVM and chi-square feature selection for sentiment analysis of Indonesia’s National Health Insurance Mobile Application,” Mathematics, vol. 11, no. 17, p. 3765, 2023, doi: https://doi.org/10.3390/math11173765.

K. Aen, F. A. Tyas, and H. Rakhmawati, “OPTIMASI ALGORITMA SUPPORT VECTOR MACHINE ( SVM ) MENGGUNAKAN TEKNIK SMOTE UNTUK ANALISIS SENTIMEN PUBLIK TERHADAP DAMPAK PENGGUNAAN ARTIFICIAL INTELLIGENCE ( AI ),” vol. 9, no. 5, pp. 8287–8295, 2025.

D. Elreedy, A. F. Atiya, and F. Kamalov, “A theoretical distribution analysis of synthetic minority oversampling technique (SMOTE) for imbalanced learning,” Machine Learning, vol. 113, pp. 4903–4923, 2023, doi: 10.1007/s10994-022-06296-4.

M. R. Gusmansyah, H. Hendrawan, and P. T. Informatika, “Peningkatan Kinerja Analisis Sentimen pada Ulasan Aplikasi Identitas Kependudukan Digital ( IKD ) di Indonesia Menggunakan Algoritma Support Vector Machine ( SVM ),” vol. 10, no. 1, pp. 185–196, 2025.

A. H. Luthfi, A. Faqih, and G. Dwilestari, “Enhancing Model Accuracy in Sentiment Analysis of the by . U Application Using Naïve Bayes and SMOTE Techniques,” vol. 4, no. 2, 2025.

E. Lee, C. Lee, and S. Ahn, “Comparative Study of Multiclass Text Classification in Research Proposals Using Pretrained Language Models,” Applied Sciences, vol. 12, no. 9, p. 4522, 2022, doi: 10.3390/app12094522.

Q. Li et al., “Twenty Years of Machine-Learning-Based Text Classification: A Systematic Review,” Algorithms, vol. 16, no. 5, p. 236, 2022, doi: 10.3390/a16050236.

C.-L. Fan, “Evaluation of Classification for Project Features with Machine Learning Algorithms,” Symmetry, vol. 14, no. 2, p. 372, 2022, doi: 10.3390/sym14020372.

G. M. D. Minzoni and F. Nanni, “A thorough reproducibility study on sentiment classification: methodology, experimental setting, results,” Information, vol. 14, no. 2, p. 76, 2023, doi: 10.3390/info14020076.

I. Magnusson, N. A. Smith, and J. Dodge, “Reproducibility in NLP: What have we learned from the checklist?,” Transactions of the Association for Computational Linguistics, vol. 11, pp. 456–472, 2023, doi: 10.1162/tacl_a_00675.

A. Belz, C. Thomson, E. Reiter, and S. Mille, “Non-repeatable experiments and non-reproducible results: The reproducibility crisis in human evaluation in NLP,” in Findings of ACL 2023, 2023, pp. 21–31. doi: 10.18653/v1/2023.findings-acl.226.

S. Martínez-Colon, J. Rodríguez-Gómez, and F. Espinosa-Rodríguez, “TextFlows: an open science NLP evaluation approach,” Language Resources & Evaluation, vol. 59, no. 5, pp. 1125–1147, 2024, doi: 10.1007/s10579-024-09793-1.