Forging Emotions: un experiment d’aprenentatge profund sobre les emocions i l’art

Main Article Content

Amalia Foka
https://orcid.org/0000-0001-5436-991X

La computació afectiva és un camp interdisciplinari que estudia els mètodes computacionals que es relacionen o influeixen en l’emoció. Aquests mètodes s’han aplicat a les obres d’art dels mitjans interactius, però s’han centrat en la detecció d’afectes en lloc de la seva generació. Per a la generació d’afectes, s’han d’explorar els mètodes computacionalment creatius, els quals últimament han estat impulsats per l’ús de xarxes generatives antagòniques (GAN en anglès), un mètode d’aprenentatge profund. L’experiment presentat en aquest treball, Forging Emotions (Forjant Emocions), explora l’ús de conjunts de dades d’emocions visuals i els processos de treball de les GAN per a la generació d’afectes visuals, és a dir, per generar imatges que puguin transmetre o desencadenar emocions específiques. Aquest experiment conclou que la metodologia utilitzada fins ara pels investigadors de ciències de la computació per construir conjunts de dades d’imatges que descriguin conceptes d’alt nivell com les emocions és insuficient i proposa utilitzar xarxes emocionals d’associacions d’acord amb la investigació en psicologia. Forging Emotions també conclou que, per generar afectes de manera visual, no sembla adequat limitar-se a les troballes bàsiques de la psicologia, per exemple, els colors brillants o foscos. Per tant, els esforços de recerca han de dirigir-se a comprendre l’estructura de les GAN formades i les GAN compositives per tal de produir composicions genuïnament noves que puguin transmetre o desencadenar emocions per mitjà del tema de les imatges generades.

Paraules clau
aprenentatge profund, computació afectiva, conjunts de dades d’emocions visuals, xarxa generativa antagònica (GAN)

Article Details

Com citar
Foka, Amalia. “Forging Emotions: un experiment d’aprenentatge profund sobre les emocions i l’art”. Artnodes, no. 31, pp. 1-10, doi:10.7238/artnodes.v0i31.402397.
Biografia de l'autor/a

Amalia Foka, Universitat de Ioànnina

D’origen grec, és una investigadora i educadora d’intel·ligència artificial creativa que explora la intersecció entre la informàtica i l’art. El seu treball utilitza diferents tecnologies d’intel·ligència artificial i dades de xarxes socials per generar i estudiar l’art. El seu treball ha estat presentat i publicat internacionalment, incloent-hi el Leonardo Journal (MIT Press), el WRO Media Art Biennale, l’ISEA, l’EVA Londres i molts més. Actualment, és professora adjunta en Ciències de la Computació: Aplicacions multimèdia per a les arts a l’Escola de Belles Arts de la Universitat de Ioànnina (Grècia), on imparteix cursos sobre codificació creativa, sistemes interactius creatius i art generatiu per IA. És llicenciada en Enginyeria de Sistemes d’Informàtica (1998) i té un màster en Control Avançat (1999) per l’Institut de Ciència i Tecnologia de la Universitat de Manchester (UMIST, Regne Unit). També és doctora en Robòtica (2005) pel Departament de Ciències de la Computació de la Universitat de Creta.

Referències

Alvarez-Melis, David and Judith Amores. “The Emotional GAN: Priming Adversarial Generation of Art with Emotion”. 31st Conference on Neural Information Processing Systems (NIPS), 2017.

Bau, David, Jun-Yan Zhu, Hendrik Strobelt, Bolei Zhou, Joshua B. Tenenbaum, William T. Freeman and Antonio Torralba. “GAN Dissection: Visualizing and Understanding Generative Adversarial Networks”. ArXiv (2018, November). DOI: https://doi.org/10.48550/arXiv.1811.10597

Calvo, Rafael A., Sidney D’Mello, Jonathan M. Gratch and Arvid Kappas (eds.). The Oxford Handbook of Affective Computing. Oxford University Press, 2015. DOI: https://doi.org/10.1093/oxfordhb/9780199942237.013.040

Chen, Xinlei, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar and C. Lawrence Zitnick. “Microsoft COCO Captions: Data Collection and Evaluation Server”. ArXiv (2015, April). DOI: https://doi.org/10.48550/arXiv.1504.00325

Dan-Glauser, Elise S. and Klaus R. Scherer. “The Geneva Affective Picture Database (GAPED): A New 730-Picture Database Focusing on Valence and Normative Significance”. Behavior Research Methods, vol. 43, no. 2 (2011): 468-477. DOI: https://doi.org/10.3758/s13428-011-0064-1

Deng, Jia, Wei Dong, Richard Socher, Li-Jia Li, Kai Li and Li Fei-Fei. “ImageNet: A large-scale hierarchical image database”. 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEE (2009): 248-255. DOI: https://doi.org/10.1109/CVPR.2009.5206848

Eerola, Tuomas and Jonna K. Vuoskoski. “A comparison of the discrete and dimensional models of emotion in music.” Psychology of Music, vol. 39, no. 1 (2011): 18-49. DOI: https://doi.org/10.1177/0305735610362821

Ekman, Paul. “Basic Emotions”. Handbook of Cognition and Emotion (Chichester, UK: John Wiley & Sons, Ltd, 2005), 45-60. DOI: https://doi.org/10.1002/0470013494.ch3

Fellous, Jean-Marc and Jenefer Robinson. “A Mechanistic View of the Expression and Experience of Emotion in the Arts”. The American Journal of Psychology, vol. 119, no. 4 (2006): 668. DOI: https://doi.org/10.2307/20445371

Freitas, Donna. The Happiness Effect: How Social Media Is Driving a Generation to Appear Perfect at Any Cost. Oxford University Press, 2017.

Gonsalves, Tina, Nadia Berthouze and Matt Iacobini. “The Chameleon Project”. Second Nature, no. 3 (2010): 138-163.

Goodfellow, Ian, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville and Yoshua Bengio. “Generative Adversarial Nets”. Advances in Neural Information Processing Systems (NIPS), vol. 27 (2014): 2672-80.

Instaloader. “Download Instagram Photos and Metadata”. Instaloader (n.d.). Accessed: 22 March, 2023. https://instaloader.github.io/

Karras, Tero, Samuli Laine and Timo Aila. “A Style-Based Generator Architecture for Generative Adversarial Networks”. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEE (2019): 4396-4405. DOI: https://doi.org/10.1109/CVPR.2019.00453

Klingemann, Mario. “Mario Klingemann, Artist Working with Code, AI and Data”. Quasimondo (2019).

Kurdi, Benedek, Shayn Lozano and Mahzarin R. Banaji. “Introducing the Open Affective Standardized Image Set (OASIS).” Behavior Research Methods, vol. 49, no. 2 (2017): 457-470. DOI: https://doi.org/10.3758/s13428-016-0715-3

Kwastek, Katja. Aesthetics of Interaction in Digital Art. MIT Press, 2013. DOI: https://doi.org/10.7551/mitpress/9592.001.0001

Lang, Peter J., Margaret M. Bradley and Bruce N. Cuthbert. International Affective Picture System (IAPS). NIMH, Center for the Study of Emotion & Attention, 2005. DOI: https://doi.org/10.1037/t66667-000

Lara-Cabrera, Raúl and David Camacho. “A taxonomy and state of the art revision on affective games.” Future Generation Computer Systems, vol. 92 (2019, March): 516-525. DOI: https://doi.org/10.1016/j.future.2017.12.056

Machajdik, Jana and Allan Hanbury. “Affective Image Classification Using Features Inspired by Psychology and Art Theory.” Proceedings of the International Conference on Multimedia - MM ’10, (2010): 83-92. New York: ACM Press. DOI: https://doi.org/10.1145/1873951.1873965

Marchewka, Artur, Łukasz Żurawski, Katarzyna Jednoróg and Anna Grabowska. “The Nencki Affective Picture System (NAPS): Introduction to a novel, standardized, wide-range, high-quality, realistic picture database.” Behavior Research Methods, vol. 46, no. 2 (2014): 596-610. DOI: https://doi.org/10.3758/s13428-013-0379-1

Mikels, Joseph A., Barbara L. Fredrickson, Gregory R. Larkin, Casey M. Lindberg, Sam J. Maglio and Patricia A. Reuter-Lorenz. “Emotional category data on images from the international affective picture system.” Behavior Research Methods, vol. 37, no. 4 (2005): 626-630. DOI: https://doi.org/10.3758/BF03192732

Mokady, Ron, Amir Hertz and Amit H. Bermano. “ClipCap: CLIP Prefix for Image Captioning”. ArXiv (2021, November). DOI: https://doi.org/10.48550/arXiv.2111.09734

Park, Minho, Hak Gu Kim and Yong Man Ro. “Photo-Realistic Facial Emotion Synthesis Using Multi-Level Critic Networks with Multi-Level Generative Model”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11296 (2019): 3-15. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-05716-9_1

Radford, Alec, Luke Metz and Soumith Chintala. “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”. ArXiv (2015, November). DOI: https://doi.org/10.48550/arXiv.1511.06434

Ridler, Anna. “Repeating and Mistranslating: The Associations of GANs in an Art Context”. Machine Learning for Creativity and Design, NIPS 2017 Workshop (2017).

Sharma, Piyush, Nan Ding, Sebastian Goodman and Radu Soricut. “Conceptual Captions: A Cleaned, Hypernymed, Image Alt-Text Dataset For Automatic Image Captioning”. ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), vol. 1 (2018): 2556-2565. DOI: https://doi.org/10.18653/V1/P18-1238

Wang, Junpeng. “Interpreting and Diagnosing Deep Learning Models: A Visual Analytics Approach”. The Ohio State University, 2019. http://rave.ohiolink.edu/etdc/view?acc_num=osu1555499299957829

Williams, Duncan, Alexis Kirke, Eduardo R. Miranda, Etienne Roesch, Ian Daly and Slawomir Nasuto. “Investigating affect in algorithmic composition systems”. Psychology of Music, vol. 43, no. 6 (2015): 831-854. DOI: https://doi.org/10.1177/0305735614543282

Xu, Feiyu, Hans Uszkoreit, Yangzhou Du, Wei Fan, Dongyan Zhao and Jun Zhu. “Explainable AI: A Brief Survey on History, Research Areas, Approaches and Challenges”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11839 (2019): 563-574. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-32236-6_51

You, Quanzeng, Jiebo Luo, Hailin Jin and Jianchao Yang. “Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark.” Proceedings of the AAAI Conference on Artificial Intelligence, vol. 30, no. 1 (2016). DOI: https://doi.org/10.1609/aaai.v30i1.9987

Articles similars

<< < 9 10 11 12 13 14 15 16 17 18 > >> 

També podeu iniciar una cerca avançada per similitud per a aquest article.