Komunikasi merupakan aspek penting dalam interaksi sosial, namun penyandang disabilitas tunarungu dan tunawicara sering mengalami kesenjangan komunikasi karena minimnya pemahaman masyarakat umum terhadap bahasa isyarat. Untuk mengatasi hal ini, penelitian ini mengembangkan aplikasi penerjemah bahasa isyarat Sistem Isyarat Bahasa Indonesia (SIBI) secara real-time menggunakan teknologi Action Recognition berbasis Deep Learning. Aplikasi ini memanfaatkan arsitektur Convolutional Neural Network (CNN) dengan MobileNetV3 yang dikombinasikan dengan Long Short-Term Memory (LSTM) untuk mengenali pola gerakan dinamis. Dataset terdiri dari 54.900 citra (900 citra per label) yang mencakup huruf abjad, kata ganti, kata kerja, dan kata sehari-hari dalam SIBI. Evaluasi model menunjukkan hasil yang menjanjikan dengan akurasi sebesar 87,43% pada data testing. Analisis confusion matrix mengungkapkan bahwa model mampu mengenali sebagian besar gerakan dengan baik, precision dan recall > 0.8 untuk 80% label, meskipun mengalami kesulitan pada gerakan kompleks seperti "R", "Apa", dan "Suka" dengan f1-score 0. Pengujian real-time mengidentifikasi keterbatasan model dalam kondisi pencahayaan rendah dan latar belakang rumit, dengan akurasi turun hingga 60%. Hasil usability testing dengan skor rata-rata 4.31/5 menunjukkan antarmuka yang intuitif, meskipun akurasi terjemahan dinamis masih perlu ditingkatkan.