Identifikasi Emosi Berdasarkan Citra Ekspresi Wajah Menggunakan Algoritma Convolutional Neural Network (CNN)

Abstract

Identifikasi emosi berdasarkan citra ekspresi wajah merupakan aspek penting dalam Human–Computer Interaction (HCI) karena mampu memberikan pemahaman terhadap respon emosional pengguna secara non-verbal. Penelitian ini bertujuan untuk menganalisis kinerja algoritma Convolutional Neural Network (CNN) dengan arsitektur VGG16 dalam mengklasifikasikan emosi wajah. Dataset yang digunakan terdiri dari 400 citra primer hasil pengambilan langsung dan 2.600 citra sekunder yang diperoleh dari Kaggle, dengan empat kelas emosi yaitu bahagia, sedih, marah, dan terkejut. Tahapan penelitian meliputi pra-pemrosesan citra berupa cleaning data, resize ke ukuran 224×224 piksel, augmentasi, dan normalisasi. Model dilatih menggunakan optimizer Adam dan dievaluasi menggunakan metrik akurasi, presisi, recall, dan F1-score. Hasil penelitian menunjukkan bahwa model CNN berbasis VGG16 mencapai akurasi pelatihan sebesar 91,03% dan akurasi validasi sebesar 88,14%. Model kemudian diimplementasikan ke dalam mini website sebagai media visualisasi hasil identifikasi emosi. Hasil penelitian ini menunjukkan bahwa CNN VGG16 efektif digunakan untuk identifikasi emosi wajah dan dapat dimanfaatkan sebagai evaluasi awal pengalaman pengguna dalam konteks HCI.