Klasifikasi Sentimen Shopee Berbasis Weak Supervision Respons Customer Service dan SVM

Nisrina Hanifa Setiono, Bella Okta Sari Miranda

Abstract


Klasifikasi sentimen ulasan e-commerce memerlukan data berlabel, sementara anotasi manual dalam jumlah besar membutuhkan waktu dan sumber daya yang tinggi. Penelitian ini mengevaluasi pemanfaatan respons customer service sebagai sumber weak supervision untuk membentuk label sentimen pada ulasan pengguna Shopee. Dataset awal berjumlah 485.320 baris; setelah seleksi, preprocessing, dan deduplikasi, penelitian ini menyisakan 264.230 ulasan unik. Penelitian ini membentuk weak label menggunakan labeling functions berbasis pola linguistik pada replyContent, lalu merepresentasikan comment_text dengan TF-IDF dan mengklasifikasikannya menggunakan Linear Support Vector Machine (SVM). Penelitian ini memvalidasi kualitas weak label melalui human test natural dan berstrata. Sebanyak 250.583 ulasan memperoleh label biner (coverage 94,84%). Pada human test natural, presisi kelas negatif dan positif masing-masing mencapai 1,000 dan 0,985, sedangkan pada skema berstrata mencapai 0,979 dan 0,983. Linear SVM mencatatkan macro-F1 sebesar 0,974 pada skema natural dan 0,973 pada skema berstrata. Performa SVM juga tetap stabil pada pengujian exact reply string holdout. Respons customer service berpotensi menjadi sumber weak supervision yang efektif untuk mengurangi ketergantungan pada anotasi manual.

Full Text:

PDF

References


J. Dąbrowski, E. Letier, A. Perini, and A. Susi, “Analysing app reviews for software engineering: a systematic literature review,” Empir. Softw. Eng. 2021 272, vol. 27, no. 2, pp. 43-, Jan. 2022, doi: 10.1007/S10664-021-10065-7.

S. Das, N. Deb, N. Chaki, and A. Cortesi, “Driving the Technology Value Stream by Analyzing App Reviews,” IEEE Trans. Softw. Eng., vol. 49, no. 07, pp. 3753–3770, Jul. 2023, doi: 10.1109/TSE.2023.3270708.

E. Hashmi, · Sule, Y. Yayilgan, E. Hashmi, and S. Y. Yayilgan, “A robust hybrid approach with product context-aware learning and explainable AI for sentiment analysis in Amazon user reviews,” Electron. Commer. Res. 2024 256, vol. 25, no. 6, pp. 5139–5171, Aug. 2024, doi: 10.1007/S10660-024-09896-5.

N. Sikana, S. Winardi, G. -, G. F. Situmorang, and R. Lubis, “Analisis Sentimen untuk Ulasan Produk E-Commerce Shopee Menggunakan BERT,” J. Sifo Mikroskil, vol. 26, no. 2, pp. 2025–223, Oct. 2025, doi: 10.55601/JSM.V26I2.1796.

O. Wallaart, F. Frasincar, and F. van der Knaap, “Weakly-supervised sentence-based aspect category and sentiment classification,” Knowledge-Based Syst., vol. 317, p. 113403, May 2025, doi: 10.1016/J.KNOSYS.2025.113403.

W. Zhang, Y. Zhou, S. Liu, Y. Zhang, and X. Shang, “Weakly supervised text classification framework for noisy-labeled imbalanced samples,” Neurocomputing, vol. 610, p. 128617, Dec. 2024, doi: 10.1016/J.NEUCOM.2024.128617.

M. R. Amalsyah, D. Kurniawan, A. Rifai, and P. Sari, “Analisis Sentimen Ulasan Pengguna Aplikasi Fintechmenggunakan Framework CRISP-DM dalam PenentuanPrioritas Pengembangan Produk,” Sist. J. Sist. Inf., vol. 14, no. 2, pp. 813–825, 2025, [Online]. Available: http://sistemasi.ftik.unisi.ac.id

H. Mustakim and S. Priyanta, “Aspect-Based Sentiment Analysis of KAI Access Reviews Using NBC and SVM,” IJCCS (Indonesian J. Comput. Cybern. Syst., vol. 16, no. 2, pp. 113–124, Apr. 2022, doi: 10.22146/IJCCS.68903.

A. T. Wibowo, A. Fanani, M. Ridwan, and B. K. Aji, “NLP-driven hate speech detection on TikTok: a case study from UIN Sunan Ampel Surabaya,” TELKOMNIKA (Telecommunication Comput. Electron. Control., vol. 24, no. 4, pp. 1157–1167, Aug. 2026, doi: 10.12928/TELKOMNIKA.V24I4.27419.

L. M. Chen, B. X. Xiu, and Z. Y. Ding, “Multiple weak supervision for short text classification,” Appl. Intell. 2021 528, vol. 52, no. 8, pp. 9101–9116, Jan. 2022, doi: 10.1007/S10489-021-02958-3.

A. Hermawan, R. Yusuf, B. Daniawan, and Junaedi, “Enhanced sentiment analysis and emotion detection in movie reviews using support vector machine algorithm,” TELKOMNIKA Telecommun. Comput. Electron. Control, vol. 23, no. 1, pp. 138–146, Feb. 2025, doi: 10.12928/TELKOMNIKA.V23I1.26377.

K. Belajar Pemrograman Author, S. Astiti, B. Satria, Y. Gusla Nengsih, and S. Fadilah, “Penerapan Model Support Vector Machine dalam Prediksi Keberhasilan Belajar Pemrograman: Application of Support Vector Machine Model in Predicting Programming Learning Success,” Edu Cendikia J. Ilm. Kependidikan, vol. 6, no. 01, pp. 351–365, Apr. 2026, doi: 10.47709/EDUCENDIKIA.V6I01.8061.

R. Fachuzi dkk., “PENERAPAN SUPPORT VECTOR MACHINE ( SVM ) UNTUK DETEKSI HOAKS PADA BERITA ONLINE,” vol. 10, no. 4, pp. 6782–6787, 2026.

D. Harist Saifulloh and B. Perdian, “Analisis Sentimen Ulasan Produk E-Commerce Berbasis Teks Dengan Pendekatan Probabilistik Naive Bayes,” J. Sist. Inf. Komput. ( SIKOM ), vol. 2, no. 1, pp. 61–74, 2025, Accessed: Aug. 24, 2026. [Online]. Available: https://journal.beaninstitute.id/index.php/sikom/article/view/151

R. Anadra, H. Wijayanto, and K. Sadik, “Sentiment Analysis of Tokopedia Customer Reviews Using BiLSTM and IndoBERT with Comparative Analysis of Preprocessing and Labeling Methods,” Int. J. Adv. Data Inf. Syst., vol. 6, no. 3, pp. 773–788, Dec. 2025, doi: 10.59395/IJADIS.V6I3.1458.

I. Al Khoiry, “Aspect-Level User Sentiment Patterns in Shopee Mobile App Reviews Using TF-IDF and Logistic Regression,” vol. 8, no. 1, pp. 31–42, 2026.




DOI: https://doi.org/10.35308/jti.v5i2.16325

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 



Jurnal Teknologi Informasi
e-ISSN: 2829-8934  I  DOI: 10.35308
Jl. Alue Peunyareng, Ujong Tanoh Darat, Meureubo, Kabupaten Aceh Barat, Aceh 23681, Indonesia
(0655) 7110535
License Creative Commons is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License