PERBANDINGAN KINERJA NAIVE BAYES DAN INDOBERT UNTUK ANALISIS SENTIMEN ULASAN GOOGLE MAPS BERBAHASA INDONESIA

Abstract

Penelitian ini dilatarbelakangi oleh keterbatasan performa model analisis sentimen pada data ulasan berbahasa Indonesia yang bersifat tidak seimbang (imbalanced), serta belum adanya kajian komparatif yang komprehensif antara model klasifikasi tradisional dan model berbasis transformer pada konteks ulasan lokasi religi. Permasalahan utama terletak pada ketidakmampuan sebagian model dalam menangkap konteks semantik sekaligus menjaga stabilitas performa pada distribusi data yang tidak merata. Oleh karena itu, penelitian ini bertujuan untuk membandingkan kinerja algoritma Naïve Bayes dan IndoBERT dalam mengklasifikasikan sentimen ulasan Google Maps. Metode yang digunakan adalah pendekatan kuantitatif dengan desain eksperimen komparatif. Dataset penelitian mencakup 2.772 ulasan valid hasil scraping Masjid At-Taqwa Cirebon yang diproses melalui tahapan text cleaning, normalizing, dan stemming di lingkungan Google Colab. Algoritma Multinomial Naïve Bayes (MNB) dikombinasikan dengan fitur TF-IDF dan teknik oversampling SMOTE untuk menyeimbangkan kelas, sementara model IndoBERT diuji menggunakan pendekatan Zero-Shot Inference. Hasil penelitian menunjukkan bahwa integrasi MNB dan SMOTE menghasilkan performa paling optimal dengan akurasi 95,38% dan nilai F1-Score Macro mencapai 0,95. Sebaliknya, meskipun IndoBERT memiliki keunggulan semantik, model ini mencatatkan akurasi lebih rendah sebesar 87,12% dengan nilai F1-Score Macro yang jatuh pada angka 0,40. Rendahnya nilai makro tersebut mengonfirmasi terjadinya Accuracy Paradox, di mana model mengalami bias terhadap kelas mayoritas (positif 97,2%). Kesimpulan penelitian ini menegaskan bahwa strategi rekayasa data melalui SMOTE pada algoritma tradisional terbukti lebih efektif dan stabil dalam menangani ketidakseimbangan data ulasan dunia nyata dibandingkan mengandalkan model deep learning murni tanpa intervensi penyeimbangan kelas.