IMPLEMENTASI SISTEM PENGENALAN BISINDO SECARA REAL-TIME BERBASIS MEDIAPIPE DENGAN NORMALISASI GEOMETRIK UNTUK REDUKSI OVERFITTING

Ramshal Hussein; Martanto .; Yudhistira Arie Wijaya; Ahmad Rifa'i

Authors

Ramshal Hussein STMIK IKMI Cirebon, Indonesia
Martanto . STMIK IKMI Cirebon, Indonesia
Yudhistira Arie Wijaya STMIK IKMI Cirebon, Indonesia
Ahmad Rifa'i STMIK IKMI Cirebon, Indonesia

Keywords:

BISINDO, MediaPipe Hands, normalisasi geometrik, fitur relasional, MLP, pengenalan isyarat real-time.

Abstract

Penelitian ini mengembangkan sistem pengenalan huruf statis Bahasa Isyarat Indonesia (BISINDO) berbasis visi komputer untuk mendukung komunikasi inklusif antara pengguna bahasa isyarat dan masyarakat umum. Sistem dibangun dengan memanfaatkan MediaPipe Hands sebagai ekstraktor titik landmark tangan, yang kemudian diproses melalui normalisasi geometrik serta pembentukan fitur relasional untuk meningkatkan konsistensi bentuk tangan antar pengguna. Dataset mencakup 24 huruf (A–Y tanpa J dan Z) dengan pembagian berstratifikasi 80:20 untuk data latih dan uji. Fitur yang telah dinormalisasi menjadi masukan bagi Multilayer Perceptron (MLP) ringan yang dilengkapi Batch Normalization, Dropout, dan label smoothing untuk mencegah overfitting. Hasil pengujian menunjukkan peningkatan akurasi dari 0,9270 menjadi 0,9928 setelah penerapan normalisasi geometrik dan fitur relasional, dengan *precision*-makro 0,9937, *recall*-makro 0,9927, dan F1-makro 0,9930. Confusion matrix memperlihatkan pemisahan kelas yang dominan pada diagonal utama, sedangkan pengujian kecepatan menampilkan performa real-time pada 12-15 FPS tanpa optimasi tambahan GPU atau TensorRT. Secara keseluruhan, integrasi normalisasi geometrik dan fitur relasional dalam pipeline MediaPipe serta arsitektur MLP yang efisien terbukti mampu meningkatkan konsistensi bentuk tangan, memperbaiki separasi kelas, dan menghasilkan pengenalan isyarat BISINDO yang akurat serta dapat dijalankan secara real-time. Pendekatan ini memberikan kontribusi pada pengembangan sistem pengenalan isyarat yang ringan, stabil antar pengguna, dan siap diintegrasikan ke aplikasi asisten komunikasi.

References

I. Papastratis, K. Dimitropoulos, And P. Daras, “Continuous Sign Language Recognition Through A Context-Aware Generative Adversarial Network,” Sensors, Vol. 21, No. 7, P. 2437, 2021, Doi: 10.3390/S21072437.

K. Kozyra, K. Trzyniec, E. Popardowski, And M. Stachurska, “Application For Recognizing Sign Language Gestures Based On An Artificial Neural Network,” Sensors, Vol. 22, No. 24, P. 9864, 2022, Doi: 10.3390/S22249864.

M. S. Amin, S. T. H. Rizvi, And M. M. Hossain, “A Comparative Review On Applications Of Different Sensors For Sign Language Recognition,” J. Imaging, Vol. 8, No. 4, P. 98, 2022, Doi: 10.3390/Jimaging8040098.

N. Amangeldy, S. Kudubayeva, A. Kassymova, A. Karipzhanova, B. Razakhova, And S. Kuralov, “Continuous Sign Language Recognition And Its Translation Into Intonation-Colored Speech,” Sensors, Vol. 23, No. 14, P. 6383, 2023, Doi: 10.3390/S23146383.

A. Ben Haj Amor, S. Jlassi, And A. Kachouri, “Sign Language Recognition Using The Electromyographic Signal: A Comprehensive Study,” Sensors, Vol. 23, No. 19, P. 8343, 2023, Doi: 10.3390/S23198343.

Y. Li And P. Zhang, “Static Hand Gesture Recognition Based On Hierarchical Decision And Classification Of Finger Features,” Sci. Prog., Vol. 105, No. 1, P. 00368504221086362, 2022, Doi: 10.1177/00368504221086362.

Y. Meng, S. Chen, Z. Li, And K. Yan, “Real-Time Hand Gesture Monitoring Model Based On Mediapipe’s Registerable System,” Sensors, Vol. 24, No. 19, P. 6262, 2024, Doi: 10.3390/S24196262.

N. Wu, D. Jia, C. Zhang, And Z. Li, “Cervical Cell Classification Based On Strong Feature Cnn-Lsvm Network Using Adaboost Optimization,” Vol. 44, No. 3, Pp. 4335–4355, 2023, Doi: 10.3233/Jifs-221604.

D. J. Chaudhari And K. Malathi, “Detection And Prediction Of Rice Leaf Disease Using A Hybrid Cnn-Svm Model,” Optical Memory And Neural Networks (Information Optics), Vol. 32, No. 1, Pp. 39–57, 2023, Doi: 10.3103/S1060992x2301006x.

B. Karatay, D. Beştepe, K. Sailunaz, T. Özyer, And R. Alhajj, “Cnn-Transformer Based Emotion Classification From Facial Expressions And Body Gestures,” Multimed. Tools Appl., Vol. 83, No. 8, Pp. 23129–23171, 2024, Doi: 10.1007/S11042-023-16342-5.