PT Bank Riau Kepri Syariah selama ini melakukan evaluasi kualitas pelayanan kantor unit
menggunakan 142 indikator pada dimensi People dan Tangible, yang direkap secara
manual sehingga prosesnya lambat dan rawan terjadi kesalahan. Penelitian ini bertujuan
untuk mengembangkan sistem self-assessment berbasis web yang mengintegrasikan
mekanisme rule-based dengan klasifikasi machine learning untuk menentukan kategori
Indeks Kualitas Pelayanan (IKP). Alur analitik data mengikuti kerangka CRISP-DM,
sedangkan pengembangan sistem menggunakan model Waterfall dengan prototipe yang
dibangun menggunakan Streamlit dan basis data SQLite. Empat algoritma klasifikasi, yaitu
Decision Tree, Random Forest, Gradient Boosting, dan Support Vector Machine,
dibandingkan pada 411 data historis tahun 2021–2024 yang tidak seimbang. Pipeline
analitik mencakup imputasi, standardisasi selektif, dan SMOTE untuk mengatasi
ketidakseimbangan kelas. Support Vector Machine (kernel RBF) memberikan performa
terbaik dengan accuracy 92,77%, balanced accuracy 83,96%, dan macro F1-score 87,28%.
Pengujian fungsional membuktikan bahwa seluruh skenario berjalan sukses, sedangkan
pengujian eksternal pada 21 penilaian aktual menunjukkan tingkat kesepakatan 90,48%
antara keluaran rule-based dan machine learning (Cohen's Kappa κ = 0,46, kategori
moderat). Sistem yang dikembangkan mengintegrasikan hasil rule-based sebagai
keputusan operasional utama, sementara prediksi machine learning menjadi informasi
analitik pendukung.

Kata kunci : indeks kualitas pelayanan; klasifikasi; machine learning; self-assessment;
SMOTE