A Study on Training Datasets for Non-Immersive States and Emotion Recognition Among Domestic Cultural and Art Contents Audience

doi:10.22716/sckt.2023.11.4.036

All Issue

2023 Vol.11, Issue 4 Preview Page Next Page

Research Article

A Study on Training Datasets for Non-Immersive States and Emotion Recognition Among Domestic Cultural and Art Contents Audience 국내 문화 예술 콘텐츠 관람객 대상 비 몰입 상태 및 감정 인식 학습 데이터셋 연구: Jiwon Lee¹, Chanhyeong Im², In-Kyu Song³, Hogil Baek⁴
이지원¹, 임찬형², 송인규³, 백호길⁴; ¹Undergraduate Student, Department of Computer Engineering, Seokyeong University
²Researcher, Industry-Academic Co. Foundation, Seokyeong University
³Associate Professor, Department of Financial Engineering, Seokyeong University
⁴Postdoctoral Research Fellow, Industry-Academic Co. Foundation, Seokyeong University

¹서경대학교 컴퓨터공학과 학생
²서경대학교 산학협력단 연구원
³서경대학교 금융정보공학과 부교수
⁴서경대학교 산학협력단 박사후연구원

31 December 2023. pp. 69-79

PDF

Abstract

공연 예술 콘텐츠 서비스에서 소비자가 경험하는 몰입과 감정은 콘텐츠의 지속적인 흥행에 매우 밀접한 핵심 요소로, 이를 서비스 기획 의도와 대조하여 콘텐츠 및 서비스의 완성도를 결정하는 지표로 활용할 수 있다. 최근엔 소비자의 몰입 상태 및 감정 상태를 측정하기 위해 인공지능 기반의 영상 분류 모델을 활용한 연구가 활발하게 진행되고 있다. 다만, 기존의 데이터셋은 피험자가 몰입된 상태에서 수집된 정보들로 구성되어 비 몰입 상태를 판별하기 힘들고, 대부분 서양 중심으로 구성되어 인종과 문화권에 따른 특징 차이를 모델에 학습시키기 어렵다는 단점이 있다. 따라서 본 연구는 한국인 관람객의 몰입 상태를 측정하고 이를 콘텐츠에 대한 정량적 만족도 평가에 활용하기 위해 수집한 감정 및 비몰입 상태에 대한 한국인, 외국인, 혼합 이미지 데이터셋에 전처리 과정을 수행해 구축한 자체 데이터셋을 표정 인식 모델에 학습시켜 도출된 결과를 비교 분석하였다.

In the realm of performing arts content services, the immersion and emotions experienced by consumers play a crucial role in sustaining the continuous success of content, and can be used as an indicator to determine the completeness of content and services by comparing it with the service planning intention. Recently, research using AI-based image classification models has been actively conducted to measure consumers' immersion and emotional states. However, existing datasets consist of information collected from subjects in an immersed state, making it difficult to discern non-immersive states, and are composed mostly of Westerners, so it is difficult to train the model to learn the characteristic differences based on race and culture. Therefore, this study compared and analyzed the results derived by training the model using a self-dataset constructed by preprocessing collected Korean, foreign, and mixed image datasets for emotions and non-immersion states to measure the immersion state of Korean visitors and use it to evaluate quantitative satisfaction with the content.

Keywords

Deep learning

Computer vision

Image classification

Facial emotion recognition

Audience immersion

References

백민제, "공연 예술과 기술 융합이 관람에 미치는 영향 - 미디어 아트를 중심으로 -", 연기예술연구, 제31권 제3호, pp. 153-163, 2023. 10.26764/jaa.2023.31.8
김영익, 정기영, 김현우, "실감체험형 비대면 3D웹 전시관 플랫폼에 관한 서비스 기획 및 구축 연구", 융복합지식학회논문지, 제9권 제2호, pp. 93-102, 2021.
유남규, 김성훈, "인터랙티브 영상의 상호작용성이 관객경험에 미치는 영향", 한국디자인문화학회지, 제26권 제2호, pp. 363-374, 2020. 10.18208/ksdc.2020.26.2.363
박선희, "무용 공연관람객의 IPA분석을 활용한 공연관람 중요도 및 만족도 분석 연구", 한국엔터테인먼트산업학회논문지, 제17권 제3호, pp. 187-196, 2023. 10.21184/jkeia.2023.4.17.3.187
서문식, 신미숙, 하승범, 이샛별, "문화예술공연 관람 시 평가되는 서비스 품질의 상대적 영향력에 대한 다각적 연구", 소비문화연구, 제18권 제1호, pp. 31-58, 2015.
이다은, 장원석, "뮤지컬공연의 성공 요인 탐색 연구", 조형디자인연구, 제25권 제3호, pp. 205-224, 2022.
홍혜경, 김신홍, "노인의 삶의 질 향상을 위한 모바일 기반 헬스케어 시스템 구조설계", 융복합지식학회논문지, 제5권 제2호, pp. 79-83, 2017.
P. Viola, and M. Jones, "Rapid object detection using a boosted cascade of simple features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2001, Vol. 1, pp. I-I, 2001.
B. Zhang, J. Li, Y. Wang, Y. Tai, C. Wang, J. Li, F. Huang, Y. Xia, W. Pei, and R. Ji, "ASFD: Automatic and Scalable Face Detector", 2022.
J. Mao, R. Xu, X. Yin, Y. Chang, B. Nie, and A. Huang, "POSTER++: A simpler and stronger facial expression recognition network", 2023.
F. Khan, "Facial Expression Recognition using Facial Landmark Detection and Feature Extraction via Neural Networks," 2020.
M. Kuprashevich, and I. Tolstykh, "MiVOLO: Multi-input Transformer for Age and Gender Estimation", 2023.
Y. Xu, A. Hosny, R. Zeleznik, C. Parmar, T. Coroller, I. Franco, R.H. Mak, and H.J.W.L. Aerts, "Deep Learning Predicts Lung Cancer Treatment Response from Serial Medical Imaging", Clin Cancer Res, Vol. 25, No. 11, pp. 3266-3275, 2019. 10.1158/1078-0432.CCR-18-2495 31010833 PMC6548658
C. Galoni, G.S. Carpenter, and H. Rao, "Disgusted and Afraid: Consumer Choices under the Threat of Contagious Disease", Journal of Consumer Research, Vol. 47, No. 3, pp. 373-392, 2020. 10.1093/jcr/ucaa025
https://zdnet.co.kr/view/?no=20170310091957
https://blog.testworks.co.kr/customer_case_gamsungtech/
https://www.etnews.com/20180518000290
J.L. Ngwe, K.M. Lim, C.P. Lee, and T.S. Ong, "PAtt-Lite: Lightweight Patch and Attention MobileNet for Challenging Facial Expression Recognition", 2023.
A.T. Wasi, K. Šerbetar, R. Islam, T.H. Rafi, and D. Chae, "ARBEx: Attentive Feature Extraction with Reliability Balancing for Robust Facial Expression Learning", 2023.
A.V. Savchenko, L.V. Savchenko, and I. Makarov, "Classifying Emotions and Engagement in Online Learning Based on a Single Facial Expression Recognition Neural Network", IEEE Transactions on Affective Computing, Vol. 13, No. 4, pp. 2132-2143, 2022. 10.1109/TAFFC.2022.3188390
D. Kollias, and S. Zafeiriou, "Expression, Affect, Action Unit Recognition: Aff-Wild2, Multi-Task Learning and ArcFace", 2019.
P. Antoniadis, P.P. Filntisis, and P. Maragos, "Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition," 2021. 10.1109/FG52635.2021.9667014
E. Ryumina, D. Dresvyanskiy, and A. Karpov, "In search of a robust facial expressions recognition model: A large-scale visual cross-corpus study", Neurocomputing, Vol. 514, pp. 435-450, 2022. 10.1016/j.neucom.2022.10.013
C. Zheng, and M. Mendieta, and C. Chen, "POSTER: A Pyramid Cross-Fusion Transformer Network for Facial Expression Recognition", 2023. 10.1109/ICCVW60793.2023.00339 36810784
L. Yuan, Y. Chen, T. Wang, W. Yu, Y. Shi, Z. Jiang, F.E.H. Tay, J. Feng, and S. Yan, "Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet", 2021 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 538-547, 2021. 10.1109/ICCV48922.2021.00060 33845509
https://github.com/ultralytics/ultralytics
S. Li, W. Deng, and J. Du, "Reliable Crowdsourcing and Deep Locality-Preserving Learning for Expression Recognition in the Wild", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2852-2861, 2017. 10.1109/CVPR.2017.277
https://www.kaggle.com/datasets/msambare/fer2013
R. Ghoddoosian, M. Galib, and V. Athitsos, "A Realistic Dataset and Baseline Temporal Model for Early Drowsiness Detection", 2019. 10.1109/CVPRW.2019.00027

Information

Publisher :The Society of Convergence Knowledge
Publisher(Ko) :융복합지식학회
Journal Title :The Society of Convergence Knowledge Transactions
Journal Title(Ko) :융복합지식학회논문지
Volume : 11
No :4
Pages :69-79
DOI :https://doi.org/10.22716/sckt.2023.11.4.036

[1] 백민제, "공연 예술과 기술 융합이 관람에 미치는 영향 - 미디어 아트를 중심으로 -", 연기예술연구, 제31권 제3호, pp. 153-163, 2023. 10.26764/jaa.2023.31.8

[2] 김영익, 정기영, 김현우, "실감체험형 비대면 3D웹 전시관 플랫폼에 관한 서비스 기획 및 구축 연구", 융복합지식학회논문지, 제9권 제2호, pp. 93-102, 2021.

[3] 유남규, 김성훈, "인터랙티브 영상의 상호작용성이 관객경험에 미치는 영향", 한국디자인문화학회지, 제26권 제2호, pp. 363-374, 2020. 10.18208/ksdc.2020.26.2.363

[4] 박선희, "무용 공연관람객의 IPA분석을 활용한 공연관람 중요도 및 만족도 분석 연구", 한국엔터테인먼트산업학회논문지, 제17권 제3호, pp. 187-196, 2023. 10.21184/jkeia.2023.4.17.3.187

[5] 서문식, 신미숙, 하승범, 이샛별, "문화예술공연 관람 시 평가되는 서비스 품질의 상대적 영향력에 대한 다각적 연구", 소비문화연구, 제18권 제1호, pp. 31-58, 2015.

[6] 이다은, 장원석, "뮤지컬공연의 성공 요인 탐색 연구", 조형디자인연구, 제25권 제3호, pp. 205-224, 2022.

[7] 홍혜경, 김신홍, "노인의 삶의 질 향상을 위한 모바일 기반 헬스케어 시스템 구조설계", 융복합지식학회논문지, 제5권 제2호, pp. 79-83, 2017.

[8] P. Viola, and M. Jones, "Rapid object detection using a boosted cascade of simple features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2001, Vol. 1, pp. I-I, 2001.

[9] B. Zhang, J. Li, Y. Wang, Y. Tai, C. Wang, J. Li, F. Huang, Y. Xia, W. Pei, and R. Ji, "ASFD: Automatic and Scalable Face Detector", 2022.

[10] J. Mao, R. Xu, X. Yin, Y. Chang, B. Nie, and A. Huang, "POSTER++: A simpler and stronger facial expression recognition network", 2023.

[11] F. Khan, "Facial Expression Recognition using Facial Landmark Detection and Feature Extraction via Neural Networks," 2020.

[12] M. Kuprashevich, and I. Tolstykh, "MiVOLO: Multi-input Transformer for Age and Gender Estimation", 2023.

[13] Y. Xu, A. Hosny, R. Zeleznik, C. Parmar, T. Coroller, I. Franco, R.H. Mak, and H.J.W.L. Aerts, "Deep Learning Predicts Lung Cancer Treatment Response from Serial Medical Imaging", Clin Cancer Res, Vol. 25, No. 11, pp. 3266-3275, 2019. 10.1158/1078-0432.CCR-18-2495 31010833 PMC6548658

[14] C. Galoni, G.S. Carpenter, and H. Rao, "Disgusted and Afraid: Consumer Choices under the Threat of Contagious Disease", Journal of Consumer Research, Vol. 47, No. 3, pp. 373-392, 2020. 10.1093/jcr/ucaa025

[15] https://zdnet.co.kr/view/?no=20170310091957

[16] https://blog.testworks.co.kr/customer_case_gamsungtech/

[17] https://www.etnews.com/20180518000290

[18] J.L. Ngwe, K.M. Lim, C.P. Lee, and T.S. Ong, "PAtt-Lite: Lightweight Patch and Attention MobileNet for Challenging Facial Expression Recognition", 2023.

[19] A.T. Wasi, K. Šerbetar, R. Islam, T.H. Rafi, and D. Chae, "ARBEx: Attentive Feature Extraction with Reliability Balancing for Robust Facial Expression Learning", 2023.

[20] A.V. Savchenko, L.V. Savchenko, and I. Makarov, "Classifying Emotions and Engagement in Online Learning Based on a Single Facial Expression Recognition Neural Network", IEEE Transactions on Affective Computing, Vol. 13, No. 4, pp. 2132-2143, 2022. 10.1109/TAFFC.2022.3188390

[21] D. Kollias, and S. Zafeiriou, "Expression, Affect, Action Unit Recognition: Aff-Wild2, Multi-Task Learning and ArcFace", 2019.

[22] P. Antoniadis, P.P. Filntisis, and P. Maragos, "Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition," 2021. 10.1109/FG52635.2021.9667014

[23] E. Ryumina, D. Dresvyanskiy, and A. Karpov, "In search of a robust facial expressions recognition model: A large-scale visual cross-corpus study", Neurocomputing, Vol. 514, pp. 435-450, 2022. 10.1016/j.neucom.2022.10.013

[24] C. Zheng, and M. Mendieta, and C. Chen, "POSTER: A Pyramid Cross-Fusion Transformer Network for Facial Expression Recognition", 2023. 10.1109/ICCVW60793.2023.00339 36810784

[25] L. Yuan, Y. Chen, T. Wang, W. Yu, Y. Shi, Z. Jiang, F.E.H. Tay, J. Feng, and S. Yan, "Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet", 2021 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 538-547, 2021. 10.1109/ICCV48922.2021.00060 33845509

[26] https://github.com/ultralytics/ultralytics

[27] S. Li, W. Deng, and J. Du, "Reliable Crowdsourcing and Deep Locality-Preserving Learning for Expression Recognition in the Wild", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2852-2861, 2017. 10.1109/CVPR.2017.277

[28] https://www.kaggle.com/datasets/msambare/fer2013

[29] R. Ghoddoosian, M. Galib, and V. Athitsos, "A Realistic Dataset and Baseline Temporal Model for Early Drowsiness Detection", 2019. 10.1109/CVPRW.2019.00027

The Society of Convergence Knowledge Transactions ISSN:2287-8920(Print) 융복합지식학회논문지

All Issue