Sistem Pelaporan Smart City Multimodal Berbasis AI dan Validasi Multipengguna

AI-Based Multimodal Smart City Reporting and Validation System

Abstract

Pelaporan kondisi jalan dalam konsep Smart City masih menghadapi kendala pada proses klasifikasi laporan, penentuan prioritas, dan validasi penyelesaian yang sebagian besar masih dilakukan secara manual. Penelitian ini bertujuan mengembangkan sistem pelaporan Smart City multimodal berbasis web yang mengintegrasikan klasifikasi citra, klasifikasi teks, ekstraksi informasi, eskalasi spasial, dan validasi multipengguna. Metode penelitian yang digunakan adalah Research and Development (R&D) dengan tahapan analisis kebutuhan, perancangan sistem, pengembangan prototipe, validasi dan uji coba, serta revisi produk. Model klasifikasi citra dikembangkan menggunakan EfficientNetB0, model klasifikasi teks menggunakan IndoBERT Base P2, sedangkan ekstraksi informasi dilakukan menggunakan Named Entity Recognition. Hasil klasifikasi citra dan teks digabungkan menggunakan pendekatan Late Fusion. Hasil pengujian menunjukkan bahwa model citra memperoleh akurasi 88,12%, model teks memperoleh akurasi 94,00%, dan model NER memperoleh micro F1-score 95,66%. Sistem juga menerapkan PriorityScore untuk eskalasi spasial dan memperoleh skor System Usability Scale sebesar 69,17. Hasil penelitian menunjukkan bahwa sistem mampu membantu pengelolaan laporan kondisi jalan secara lebih terstruktur, objektif, dan transparan.