A Study on the Uncanny Valley Effect of Generative AI-based Virtual Humans

doi:10.22716/sckt.2024.12.2.004

All Issue

2024 Vol.12, Issue 2 Preview Page Next Page

Research Article

A Study on the Uncanny Valley Effect of Generative AI-based Virtual Humans 생성형 인공지능 기반 버추얼 휴먼의 언캐니 밸리 효과에 대한 연구: Jiyoung Kang¹
강지영¹; ¹Professor, Division of Communication & Media, Ewha Womans University

¹이화여자대학교 커뮤니케이션 미디어학부 교수

30 June 2024. pp. 37-49

PDF

Abstract

인공지능 기술의 발달로 사람이 해왔던 다양한 분야에 인공지능 버추얼 휴먼의 활용도가 높아지고 있다. 인공지능 휴먼의 발전이 가속화될수록 인간과 인공지능 휴먼의 상호작용에 대한 관심도 커지고 있다. 언캐니 밸리효과(uncanny valley effect)는 일본의 로봇 연구자인 모리 마사히로(Mori Masahiro)가 주창한 이론으로, 인간과 로봇의 상호작용에서 로봇의 움직임이나 생김새가 인간과 더 유사해지면 오히려 불쾌감이 높아지는 현상이다. 그 동안의 많은 관련 연구들은 로봇이나 애니메이션 캐릭터의 이미지와 움직임을 중심으로 연구가 진행되었다. 하지만 본 연구는 생성형 인공지능 기반 버추얼 휴먼의 특성을 살펴보고 이를 통해 발생하는 언캐니 밸리 현상의 존재를 파악하고자 한다. 생성형 인공지능 버추얼 휴먼인 ‘나탈리’를 통해 실험과 설문을 진행하여 생성형 인공지능 버추얼 휴먼의 한계를 보다 정확히 파악하고 향후 더욱 진화된 형태의 인공지능 버추얼 휴먼의 제작에 도움이 되고자 하였다.

With the development of artificial intelligence technology, the utility of AI-based virtual humans is increasing across various fields traditionally carried out by humans. As the progress of AI-human development accelerates, there is a growing interest in the interaction between humans and AI entities. The Uncanny Valley Effect, proposed by Japanese roboticist Masahiro Mori, describes the phenomenon where discomfort increases as the appearance and movements of a robot become more human-like. While previous research has predominantly focused on the images and movements of robots or animated characters, this study aims to examine the characteristics of generative AI-based virtual humans. Through experiments conducted with the generative AI-based virtual human ‘Natalie,’ the study seeks to understand the existence of the Uncanny Valley Effect arising from these features. The goal is to precisely identify the limitations of generative AI-based virtual humans and contribute to the development of more evolved forms of AI virtual humans in the future.

Keywords

AI-based virtual humans

Uncanny valley effect

Generative artificial intelligence

Interaction

Experiment

References

https://www.techm.kr/news/articleView.html?idxno=96112
https://surgicaltheater.com/
https://engagevr.io/
M. Mori, "The uncanny valley", Energy, Vol. 7, pp. 33-35, 1970.
한혜진, "영화 CG 캐릭터의 감성평가와 언캐니 밸리의 관계", 기초조형학연구, 제21권 제6호, pp. 669-680, 2020.
10.47294/KSBDA.21.6.48
F. Sigmund, "Das Unheimliche", Archived from the original on July 14, 2011.
M. Mori, K. F. Translated by MacDorman, and K. Norri, "The Uncanny Valley", IEEE Robotics and Automation, Vol. 19, No. 2, pp. 98-100, 2012.
10.1109/MRA.2012.2192811
https://ko.wikipedia.org/wiki/불쾌한_골짜기
A. P. Saygin, T. Chaminade, H. Ishiguro, J. Driver, and C. Frith, "The thing that should not be: predictive coding and the uncanny valley in perceiving human and humanoid robot actions", Social cognitive and affective neuroscience. Vol. 7, No. 4, pp. 413-22, 2012.
10.1093/scan/nsr025 21515639 PMC3324571
정우현, 김혜윤, 김대규, 현주석, 김기연, 장필식, "사건관련전위 관찰에 기초한 언캐니 밸리 현상에 대한 탐색적 이해", 감성과학, 제19권 제1호, pp. 95-110, 2016.
K. F. MacDorman, R. D. Green, C. C. Ho, and C. T. Koch, "Too real for comfort? Uncanny responses to computer generated faces", Computers in human behavior, Vol. 25, No. 3, pp. 695-710, 2009.
10.1016/j.chb.2008.12.026 25506126 PMC4264966
T. J. Burleigh, J. R. Schoenherr, and G. L. Lacroix, "Does the uncanny valley exist? An empirical test of the relationship between eeriness and the human likeness of digitally created faces", Computers in Human Behavior, Vol. 29, No. 3, 2013.
10.1016/j.chb.2012.11.021
K. F. MacDorman and H. Ishiguro, "The uncanny advantage of using androids in cognitive and social science research", Interaction Studies, Vol. 7, No. 3, pp. 97-337, 2006.
10.1075/is.7.3.03mac
김남훈, "2D to 3D 애니메이션 캐릭터에 나타난 언캐니 밸리 효과의 사례분석 연구", 디지털디자인학연구, 제12권 제3호, pp. 147-158, 2012.
김기덕, 김헌식, "3D 입체영상 〈아바타〉와 언캐니 현상", 인문콘텐츠, 제22권, pp. 85-110, 2011.
http://3d.about.com/od/3d-101-The-Basics/ss/What-Is-The-Uncanny-Valley.htm
오문석, 한규훈, 서영호, "극사실적 메타휴먼을 위한 3D 볼류메트릭 캡쳐 기반의 동적 페이스 제작", 한국방송․미디어공학회, 방송공학회논문지, 제27권 제5호, pp. 753-775, 2022.
정동훈, "가상 인간, 경계를 지우다", 한국콘텐츠진흥원, 이슈 엔 트랜드, Vol. 21, p. 12, 2021.
김재원, 차희원, "버추얼 휴먼 라이브 스트리밍의 이용 동기와 가상성 인식", 몰입이 지속 이용의도 및 상호작용 참여의도에 미치는 영향, 광고학연구, 제33권 제4호, pp. 89-123, 2022.
10.14377/KJA.2022.5.31.89
https://www.apple-economy.com/news/articleView.html?idxno=72250
N. I. Badler, R. Bindiganavale, J. C. Bourne, J. M. Allbeck, J. Shi, and M. S. Palmer, "Real Time Virtual Humans", Proceedings of The Fifth Pacific Conference on Computer Graphics and Applications, pp. 4-13, 1997.
M. Cavazza, R. Earnshaw, N. Magnenat-Thalmann, and D. Thalmann, "Motion control of virtual humans", IEEE Computer Graphics and Applications, Vol. 18, No. 5, pp. 24-31, 1998.
10.1109/38.708558
김영옥 외, "생성형 AI 사피엔스", 생능북스, p. 17, 2023.
10.55479/JCCR.2023.3.4.017
M. Kohli and G. R. Ethics, "Artificial Intelligence, and Radiology", American College of Radiology, Vol. 15, No. 9, pp. 1317-1319, 2019.
10.1016/j.jacr.2018.05.020 30017625
G. Erin and M. Cade, "Anthropic Said to Be Closing In on $300 Million in New A.I. Funding", The New York Times, 2023.
김대희, 이종현, 김범석, 양진홍, "특허 동향 분석을 통한 언어 모델 기반 생성형 인공지능 발전 방향 연구", 한국정보전자통신기술학회 논문지, Vol. 16, No. 5, pp. 279-291, 2023.
한국콘텐츠진흥원, "콘텐츠산업의 생성형 AI 활용 이슈와 대응 과제", KOCCA KOCCA포커스, 통권 150호, 2023.
이승욱 외 5명, "메타버스 시대를 위한 생성형 AI 기반 디지털 휴먼 기술 동향 및 미래 전망", 주간기술동향, 2023.
C. Bartneck, D. Kulić, E. Croft, and S. Zoghbi, "Measurement instrumentsfor the anthropomorphism, animacy, likeability, perceived intelligence, and perceived safety of robots", Internationaljournal of social robotics, Vol. 1, No. 1, pp. 71-81, 2009.
10.1007/s12369-008-0001-3
H. Wu, Z. Chen, and Y. Huang, et al., "Research on the uncanny valley effect in artificial intelligence news anchors", Multimed Tools Appl, 2024, https://doi.org/10.1007/s11042-023-18073-z
10.1007/s11042-023-18073-z
https://perso-live.estsoft.ai/

Information

Publisher :The Society of Convergence Knowledge
Publisher(Ko) :융복합지식학회
Journal Title :The Society of Convergence Knowledge Transactions
Journal Title(Ko) :융복합지식학회논문지
Volume : 12
No :2
Pages :37-49
DOI :https://doi.org/10.22716/sckt.2024.12.2.004

[1] https://www.techm.kr/news/articleView.html?idxno=96112

[2] https://surgicaltheater.com/

[3] https://engagevr.io/

[4] M. Mori, "The uncanny valley", Energy, Vol. 7, pp. 33-35, 1970.

[5] 한혜진, "영화 CG 캐릭터의 감성평가와 언캐니 밸리의 관계", 기초조형학연구, 제21권 제6호, pp. 669-680, 2020.
10.47294/KSBDA.21.6.48

[6] F. Sigmund, "Das Unheimliche", Archived from the original on July 14, 2011.

[7] M. Mori, K. F. Translated by MacDorman, and K. Norri, "The Uncanny Valley", IEEE Robotics and Automation, Vol. 19, No. 2, pp. 98-100, 2012.
10.1109/MRA.2012.2192811

[8] https://ko.wikipedia.org/wiki/불쾌한_골짜기

[9] A. P. Saygin, T. Chaminade, H. Ishiguro, J. Driver, and C. Frith, "The thing that should not be: predictive coding and the uncanny valley in perceiving human and humanoid robot actions", Social cognitive and affective neuroscience. Vol. 7, No. 4, pp. 413-22, 2012.
10.1093/scan/nsr025 21515639 PMC3324571

[10] 정우현, 김혜윤, 김대규, 현주석, 김기연, 장필식, "사건관련전위 관찰에 기초한 언캐니 밸리 현상에 대한 탐색적 이해", 감성과학, 제19권 제1호, pp. 95-110, 2016.

[11] K. F. MacDorman, R. D. Green, C. C. Ho, and C. T. Koch, "Too real for comfort? Uncanny responses to computer generated faces", Computers in human behavior, Vol. 25, No. 3, pp. 695-710, 2009.
10.1016/j.chb.2008.12.026 25506126 PMC4264966

[12] T. J. Burleigh, J. R. Schoenherr, and G. L. Lacroix, "Does the uncanny valley exist? An empirical test of the relationship between eeriness and the human likeness of digitally created faces", Computers in Human Behavior, Vol. 29, No. 3, 2013.
10.1016/j.chb.2012.11.021

[13] K. F. MacDorman and H. Ishiguro, "The uncanny advantage of using androids in cognitive and social science research", Interaction Studies, Vol. 7, No. 3, pp. 97-337, 2006.
10.1075/is.7.3.03mac

[14] 김남훈, "2D to 3D 애니메이션 캐릭터에 나타난 언캐니 밸리 효과의 사례분석 연구", 디지털디자인학연구, 제12권 제3호, pp. 147-158, 2012.

[15] 김기덕, 김헌식, "3D 입체영상 〈아바타〉와 언캐니 현상", 인문콘텐츠, 제22권, pp. 85-110, 2011.

[16] http://3d.about.com/od/3d-101-The-Basics/ss/What-Is-The-Uncanny-Valley.htm

[17] 오문석, 한규훈, 서영호, "극사실적 메타휴먼을 위한 3D 볼류메트릭 캡쳐 기반의 동적 페이스 제작", 한국방송․미디어공학회, 방송공학회논문지, 제27권 제5호, pp. 753-775, 2022.

[18] 정동훈, "가상 인간, 경계를 지우다", 한국콘텐츠진흥원, 이슈 엔 트랜드, Vol. 21, p. 12, 2021.

[19] 김재원, 차희원, "버추얼 휴먼 라이브 스트리밍의 이용 동기와 가상성 인식", 몰입이 지속 이용의도 및 상호작용 참여의도에 미치는 영향, 광고학연구, 제33권 제4호, pp. 89-123, 2022.
10.14377/KJA.2022.5.31.89

[20] https://www.apple-economy.com/news/articleView.html?idxno=72250

[21] N. I. Badler, R. Bindiganavale, J. C. Bourne, J. M. Allbeck, J. Shi, and M. S. Palmer, "Real Time Virtual Humans", Proceedings of The Fifth Pacific Conference on Computer Graphics and Applications, pp. 4-13, 1997.

[22] M. Cavazza, R. Earnshaw, N. Magnenat-Thalmann, and D. Thalmann, "Motion control of virtual humans", IEEE Computer Graphics and Applications, Vol. 18, No. 5, pp. 24-31, 1998.
10.1109/38.708558

[23] 김영옥 외, "생성형 AI 사피엔스", 생능북스, p. 17, 2023.
10.55479/JCCR.2023.3.4.017

[24] M. Kohli and G. R. Ethics, "Artificial Intelligence, and Radiology", American College of Radiology, Vol. 15, No. 9, pp. 1317-1319, 2019.
10.1016/j.jacr.2018.05.020 30017625

[25] G. Erin and M. Cade, "Anthropic Said to Be Closing In on $300 Million in New A.I. Funding", The New York Times, 2023.

[26] 김대희, 이종현, 김범석, 양진홍, "특허 동향 분석을 통한 언어 모델 기반 생성형 인공지능 발전 방향 연구", 한국정보전자통신기술학회 논문지, Vol. 16, No. 5, pp. 279-291, 2023.

[27] 한국콘텐츠진흥원, "콘텐츠산업의 생성형 AI 활용 이슈와 대응 과제", KOCCA KOCCA포커스, 통권 150호, 2023.

[28] 이승욱 외 5명, "메타버스 시대를 위한 생성형 AI 기반 디지털 휴먼 기술 동향 및 미래 전망", 주간기술동향, 2023.

[29] C. Bartneck, D. Kulić, E. Croft, and S. Zoghbi, "Measurement instrumentsfor the anthropomorphism, animacy, likeability, perceived intelligence, and perceived safety of robots", Internationaljournal of social robotics, Vol. 1, No. 1, pp. 71-81, 2009.
10.1007/s12369-008-0001-3

[30] H. Wu, Z. Chen, and Y. Huang, et al., "Research on the uncanny valley effect in artificial intelligence news anchors", Multimed Tools Appl, 2024, https://doi.org/10.1007/s11042-023-18073-z
10.1007/s11042-023-18073-z

[31] https://perso-live.estsoft.ai/

The Society of Convergence Knowledge Transactions ISSN:2287-8920(Print) 융복합지식학회논문지

All Issue