Forging Emotions: un experimento de aprendizaje profundo sobre las emociones y el arte

Main Article Content

Amalia Foka
https://orcid.org/0000-0001-5436-991X

La computación afectiva es un campo interdisciplinario que estudia los métodos computacionales que se relacionan o influyen en la emoción. Estos métodos se han aplicado a las obras de arte de los medios interactivos, pero se han centrado en la detección de afectos en lugar de su generación. Para la generación de afectos, se tienen que explorar los métodos computacionalmente creativos, los cuales últimamente han sido impulsados por el uso de redes generativas antagónicas (GAN en inglés), un método de aprendizaje profundo. El experimento presentado en este trabajo, Forging Emotions (Forjando Emociones), explora el uso de conjuntos de datos de emociones visuales y los procesos de trabajo de las GAN para la generación de afectos visuales, es decir, para generar imágenes que puedan transmitir o desencadenar emociones específicas. Este experimento concluye que la metodología utilizada hasta ahora por los investigadores de ciencias de la computación para construir conjuntos de datos de imágenes que describan conceptos de alto nivel como las emociones es insuficiente y propone utilizar redes emocionales de asociaciones de acuerdo con la investigación en psicología. Forging Emotions también concluye que, para generar afectos de manera visual, no parece adecuado limitarse a los hallazgos básicos de la psicología, por ejemplo, los colores brillantes u oscuros. Por lo tanto, los esfuerzos de investigación tienen que dirigirse a comprender la estructura de las GAN formadas y las GAN compositivas para producir composiciones genuinamente nuevas que puedan transmitir o desencadenar emociones por medio del tema de las imágenes generadas.

Palabras clave
aprendizaje profundo, computación afectiva, conjuntos de datos de emociones visuales, red generativa antagónica (GAN)

Article Details

Cómo citar
Foka, Amalia. «Forging Emotions: un experimento de aprendizaje profundo sobre las emociones y el arte». Artnodes, n.º 31, pp. 1-10, doi:10.7238/artnodes.v0i31.402397.
Biografía del autor/a

Amalia Foka, Universidad de Ioánina

De origen griego, es una investigadora y educadora de inteligencia artificial creativa que explora la intersección entre la informática y el arte. Su trabajo utiliza diferentes tecnologías de inteligencia artificial y datos de redes sociales para generar y estudiar el arte. Su trabajo ha sido presentado y publicado internacionalmente, incluyendo el Leonardo Journal (MIT Press), el WRO Media Arte Biennale, el ISEA, EVA Londres y muchos más. Actualmente, es profesora adjunta en Ciencias de la Computación: Aplicaciones multimedia para las artes en la Escuela de Bellas Artes de la Universidad de Ioánina (Grecia), donde imparte cursos sobre codificación creativa, sistemas interactivos creativos y arte generativo por IA. Es licenciada en Ingeniería de Sistemas de Informática (1998) y tiene un máster en Control Avanzado (1999) por el Instituto de Ciencia y Tecnología de la Universidad de Manchester (UMIST, Reino Unido). También es doctora en Robótica (2005) por el Departamento de Ciencias de la Computación de la Universidad de Creta.

Citas

Alvarez-Melis, David and Judith Amores. “The Emotional GAN: Priming Adversarial Generation of Art with Emotion”. 31st Conference on Neural Information Processing Systems (NIPS), 2017.

Bau, David, Jun-Yan Zhu, Hendrik Strobelt, Bolei Zhou, Joshua B. Tenenbaum, William T. Freeman and Antonio Torralba. “GAN Dissection: Visualizing and Understanding Generative Adversarial Networks”. ArXiv (2018, November). DOI: https://doi.org/10.48550/arXiv.1811.10597

Calvo, Rafael A., Sidney D’Mello, Jonathan M. Gratch and Arvid Kappas (eds.). The Oxford Handbook of Affective Computing. Oxford University Press, 2015. DOI: https://doi.org/10.1093/oxfordhb/9780199942237.013.040

Chen, Xinlei, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar and C. Lawrence Zitnick. “Microsoft COCO Captions: Data Collection and Evaluation Server”. ArXiv (2015, April). DOI: https://doi.org/10.48550/arXiv.1504.00325

Dan-Glauser, Elise S. and Klaus R. Scherer. “The Geneva Affective Picture Database (GAPED): A New 730-Picture Database Focusing on Valence and Normative Significance”. Behavior Research Methods, vol. 43, no. 2 (2011): 468-477. DOI: https://doi.org/10.3758/s13428-011-0064-1

Deng, Jia, Wei Dong, Richard Socher, Li-Jia Li, Kai Li and Li Fei-Fei. “ImageNet: A large-scale hierarchical image database”. 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEE (2009): 248-255. DOI: https://doi.org/10.1109/CVPR.2009.5206848

Eerola, Tuomas and Jonna K. Vuoskoski. “A comparison of the discrete and dimensional models of emotion in music.” Psychology of Music, vol. 39, no. 1 (2011): 18-49. DOI: https://doi.org/10.1177/0305735610362821

Ekman, Paul. “Basic Emotions”. Handbook of Cognition and Emotion (Chichester, UK: John Wiley & Sons, Ltd, 2005), 45-60. DOI: https://doi.org/10.1002/0470013494.ch3

Fellous, Jean-Marc and Jenefer Robinson. “A Mechanistic View of the Expression and Experience of Emotion in the Arts”. The American Journal of Psychology, vol. 119, no. 4 (2006): 668. DOI: https://doi.org/10.2307/20445371

Freitas, Donna. The Happiness Effect: How Social Media Is Driving a Generation to Appear Perfect at Any Cost. Oxford University Press, 2017.

Gonsalves, Tina, Nadia Berthouze and Matt Iacobini. “The Chameleon Project”. Second Nature, no. 3 (2010): 138-163.

Goodfellow, Ian, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville and Yoshua Bengio. “Generative Adversarial Nets”. Advances in Neural Information Processing Systems (NIPS), vol. 27 (2014): 2672-80.

Instaloader. “Download Instagram Photos and Metadata”. Instaloader (n.d.). Accessed: 22 March, 2023. https://instaloader.github.io/

Karras, Tero, Samuli Laine and Timo Aila. “A Style-Based Generator Architecture for Generative Adversarial Networks”. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEE (2019): 4396-4405. DOI: https://doi.org/10.1109/CVPR.2019.00453

Klingemann, Mario. “Mario Klingemann, Artist Working with Code, AI and Data”. Quasimondo (2019).

Kurdi, Benedek, Shayn Lozano and Mahzarin R. Banaji. “Introducing the Open Affective Standardized Image Set (OASIS).” Behavior Research Methods, vol. 49, no. 2 (2017): 457-470. DOI: https://doi.org/10.3758/s13428-016-0715-3

Kwastek, Katja. Aesthetics of Interaction in Digital Art. MIT Press, 2013. DOI: https://doi.org/10.7551/mitpress/9592.001.0001

Lang, Peter J., Margaret M. Bradley and Bruce N. Cuthbert. International Affective Picture System (IAPS). NIMH, Center for the Study of Emotion & Attention, 2005. DOI: https://doi.org/10.1037/t66667-000

Lara-Cabrera, Raúl and David Camacho. “A taxonomy and state of the art revision on affective games.” Future Generation Computer Systems, vol. 92 (2019, March): 516-525. DOI: https://doi.org/10.1016/j.future.2017.12.056

Machajdik, Jana and Allan Hanbury. “Affective Image Classification Using Features Inspired by Psychology and Art Theory.” Proceedings of the International Conference on Multimedia - MM ’10, (2010): 83-92. New York: ACM Press. DOI: https://doi.org/10.1145/1873951.1873965

Marchewka, Artur, Łukasz Żurawski, Katarzyna Jednoróg and Anna Grabowska. “The Nencki Affective Picture System (NAPS): Introduction to a novel, standardized, wide-range, high-quality, realistic picture database.” Behavior Research Methods, vol. 46, no. 2 (2014): 596-610. DOI: https://doi.org/10.3758/s13428-013-0379-1

Mikels, Joseph A., Barbara L. Fredrickson, Gregory R. Larkin, Casey M. Lindberg, Sam J. Maglio and Patricia A. Reuter-Lorenz. “Emotional category data on images from the international affective picture system.” Behavior Research Methods, vol. 37, no. 4 (2005): 626-630. DOI: https://doi.org/10.3758/BF03192732

Mokady, Ron, Amir Hertz and Amit H. Bermano. “ClipCap: CLIP Prefix for Image Captioning”. ArXiv (2021, November). DOI: https://doi.org/10.48550/arXiv.2111.09734

Park, Minho, Hak Gu Kim and Yong Man Ro. “Photo-Realistic Facial Emotion Synthesis Using Multi-Level Critic Networks with Multi-Level Generative Model”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11296 (2019): 3-15. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-05716-9_1

Radford, Alec, Luke Metz and Soumith Chintala. “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”. ArXiv (2015, November). DOI: https://doi.org/10.48550/arXiv.1511.06434

Ridler, Anna. “Repeating and Mistranslating: The Associations of GANs in an Art Context”. Machine Learning for Creativity and Design, NIPS 2017 Workshop (2017).

Sharma, Piyush, Nan Ding, Sebastian Goodman and Radu Soricut. “Conceptual Captions: A Cleaned, Hypernymed, Image Alt-Text Dataset For Automatic Image Captioning”. ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), vol. 1 (2018): 2556-2565. DOI: https://doi.org/10.18653/V1/P18-1238

Wang, Junpeng. “Interpreting and Diagnosing Deep Learning Models: A Visual Analytics Approach”. The Ohio State University, 2019. http://rave.ohiolink.edu/etdc/view?acc_num=osu1555499299957829

Williams, Duncan, Alexis Kirke, Eduardo R. Miranda, Etienne Roesch, Ian Daly and Slawomir Nasuto. “Investigating affect in algorithmic composition systems”. Psychology of Music, vol. 43, no. 6 (2015): 831-854. DOI: https://doi.org/10.1177/0305735614543282

Xu, Feiyu, Hans Uszkoreit, Yangzhou Du, Wei Fan, Dongyan Zhao and Jun Zhu. “Explainable AI: A Brief Survey on History, Research Areas, Approaches and Challenges”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11839 (2019): 563-574. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-32236-6_51

You, Quanzeng, Jiebo Luo, Hailin Jin and Jianchao Yang. “Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark.” Proceedings of the AAAI Conference on Artificial Intelligence, vol. 30, no. 1 (2016). DOI: https://doi.org/10.1609/aaai.v30i1.9987

Artículos similares

<< < 1 2 3 4 5 6 7 8 9 10 > >> 

También puede {advancedSearchLink} para este artículo.