EXPLAINABLE DEEP LEARNING MODELS FOR ENHANCED HANDWRITTEN TEXT RECOGNITION ACCURACY

Abstract

Penelitian ini bertujuan untuk mengevaluasi kinerja dan interpretabilitas dua model deep learning untuk pengenalan tulisan tangan, yaitu Convolutional Recurrent Neural Network (CRNN) dan CNN-Transformer. Permasalahan utama yang dibahas adalah rendahnya akurasi prediksi pada tingkat kata serta keterbatasan pemahaman mengenai bagian citra yang paling berkontribusi terhadap keputusan model. Pendekatan kuantitatif dilakukan dengan mengukur Character Error Rate (CER) dan Word Error Rate (WER), sedangkan pendekatan kualitatif dilakukan melalui visualisasi sensitivity map untuk menilai konsistensi perhatian masing-masing model terhadap struktur karakter. Dataset yang digunakan terdiri atas citra tulisan tangan yang melalui tahap praproses secara sistematis, termasuk normalisasi dan penyesuaian ukuran. Hasil penelitian menunjukkan bahwa CRNN memiliki performa yang lebih stabil dan kemampuan generalisasi yang lebih baik dibandingkan CNN–Transformer, dengan tingkat kesalahan karakter yang lebih rendah meskipun kedua model menunjukkan perbedaan yang cukup besar pada kesalahan tingkat kata. Visualisasi interpretabilitas menunjukkan bahwa CRNN secara konsisten menyoroti goresan karakter yang relevan, sedangkan CNN–Transformer menampilkan pola fokus yang lebih tersebar. Temuan ini menunjukkan bahwa kemampuan dalam menangkap detail struktural karakter tulisan tangan berperan penting dalam meningkatkan akurasi pengenalan. Penelitian ini memberikan kontribusi berupa analisis terintegrasi yang menggabungkan evaluasi kuantitatif dan interpretabilitas visual, sehingga dapat menjadi dasar bagi pengembangan model pengenalan tulisan tangan yang lebih transparan dan akurat.