Forging Emotions: un experimento de aprendizaje profundo sobre las emociones y el arte
Article Sidebar
Citaciones en Google Académico
Main Article Content
La computación afectiva es un campo interdisciplinario que estudia los métodos computacionales que se relacionan o influyen en la emoción. Estos métodos se han aplicado a las obras de arte de los medios interactivos, pero se han centrado en la detección de afectos en lugar de su generación. Para la generación de afectos, se tienen que explorar los métodos computacionalmente creativos, los cuales últimamente han sido impulsados por el uso de redes generativas antagónicas (GAN en inglés), un método de aprendizaje profundo. El experimento presentado en este trabajo, Forging Emotions (Forjando Emociones), explora el uso de conjuntos de datos de emociones visuales y los procesos de trabajo de las GAN para la generación de afectos visuales, es decir, para generar imágenes que puedan transmitir o desencadenar emociones específicas. Este experimento concluye que la metodología utilizada hasta ahora por los investigadores de ciencias de la computación para construir conjuntos de datos de imágenes que describan conceptos de alto nivel como las emociones es insuficiente y propone utilizar redes emocionales de asociaciones de acuerdo con la investigación en psicología. Forging Emotions también concluye que, para generar afectos de manera visual, no parece adecuado limitarse a los hallazgos básicos de la psicología, por ejemplo, los colores brillantes u oscuros. Por lo tanto, los esfuerzos de investigación tienen que dirigirse a comprender la estructura de las GAN formadas y las GAN compositivas para producir composiciones genuinamente nuevas que puedan transmitir o desencadenar emociones por medio del tema de las imágenes generadas.
Article Details
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
(c) Amalia Foka, 2023
Derechos de autor
Los artículos publicados en Artnodes están sujetos a una licencia de Reconocimiento 4.0 Internacional de Creative Commons, el texto completo de la cual se puede consultar en http://creativecommons.org/licenses/by/4.0/; los autores retienen el copyright. Puede copiarlos, distribuirlos, comunicarlos públicamente, hacer obras derivadas y usos comerciales siempre que reconozca los créditos de las obras (autoría, nombre de la revista, institución editora) de la manera especificada por los autores o por la revista.
Es responsabilidad de los autores obtener los permisos necesarios de las imágenes que estén sujetas a copyright.
Cesión de derechos de propiedad intelectual
El autor cede en régimen no exclusivo a los editores de la revista los derechos de explotación (reproducción, distribución, comunicación pública y transformación) para explotar y comercializar la obra, entera o en parte, en todos los formatos y modalidades de explotación presentes o futuros, en todos los idiomas, por todo el periodo de vida de la obra y por todo el mundo.
Declaro que soy el autor original de la obra. Los editores quedan, por lo tanto, exonerados de cualquier obligación o responsabilidad por cualquier acción legal que pueda suscitarse derivada de la obra depositada por la vulneración de derechos de terceros, sean de propiedad intelectual o industrial, de secreto comercial o cualquier otro
Amalia Foka, Universidad de Ioánina
De origen griego, es una investigadora y educadora de inteligencia artificial creativa que explora la intersección entre la informática y el arte. Su trabajo utiliza diferentes tecnologías de inteligencia artificial y datos de redes sociales para generar y estudiar el arte. Su trabajo ha sido presentado y publicado internacionalmente, incluyendo el Leonardo Journal (MIT Press), el WRO Media Arte Biennale, el ISEA, EVA Londres y muchos más. Actualmente, es profesora adjunta en Ciencias de la Computación: Aplicaciones multimedia para las artes en la Escuela de Bellas Artes de la Universidad de Ioánina (Grecia), donde imparte cursos sobre codificación creativa, sistemas interactivos creativos y arte generativo por IA. Es licenciada en Ingeniería de Sistemas de Informática (1998) y tiene un máster en Control Avanzado (1999) por el Instituto de Ciencia y Tecnología de la Universidad de Manchester (UMIST, Reino Unido). También es doctora en Robótica (2005) por el Departamento de Ciencias de la Computación de la Universidad de Creta.
Alvarez-Melis, David and Judith Amores. “The Emotional GAN: Priming Adversarial Generation of Art with Emotion”. 31st Conference on Neural Information Processing Systems (NIPS), 2017.
Bau, David, Jun-Yan Zhu, Hendrik Strobelt, Bolei Zhou, Joshua B. Tenenbaum, William T. Freeman and Antonio Torralba. “GAN Dissection: Visualizing and Understanding Generative Adversarial Networks”. ArXiv (2018, November). DOI: https://doi.org/10.48550/arXiv.1811.10597
Calvo, Rafael A., Sidney D’Mello, Jonathan M. Gratch and Arvid Kappas (eds.). The Oxford Handbook of Affective Computing. Oxford University Press, 2015. DOI: https://doi.org/10.1093/oxfordhb/9780199942237.013.040
Chen, Xinlei, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar and C. Lawrence Zitnick. “Microsoft COCO Captions: Data Collection and Evaluation Server”. ArXiv (2015, April). DOI: https://doi.org/10.48550/arXiv.1504.00325
Dan-Glauser, Elise S. and Klaus R. Scherer. “The Geneva Affective Picture Database (GAPED): A New 730-Picture Database Focusing on Valence and Normative Significance”. Behavior Research Methods, vol. 43, no. 2 (2011): 468-477. DOI: https://doi.org/10.3758/s13428-011-0064-1
Deng, Jia, Wei Dong, Richard Socher, Li-Jia Li, Kai Li and Li Fei-Fei. “ImageNet: A large-scale hierarchical image database”. 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEE (2009): 248-255. DOI: https://doi.org/10.1109/CVPR.2009.5206848
Eerola, Tuomas and Jonna K. Vuoskoski. “A comparison of the discrete and dimensional models of emotion in music.” Psychology of Music, vol. 39, no. 1 (2011): 18-49. DOI: https://doi.org/10.1177/0305735610362821
Ekman, Paul. “Basic Emotions”. Handbook of Cognition and Emotion (Chichester, UK: John Wiley & Sons, Ltd, 2005), 45-60. DOI: https://doi.org/10.1002/0470013494.ch3
Fellous, Jean-Marc and Jenefer Robinson. “A Mechanistic View of the Expression and Experience of Emotion in the Arts”. The American Journal of Psychology, vol. 119, no. 4 (2006): 668. DOI: https://doi.org/10.2307/20445371
Freitas, Donna. The Happiness Effect: How Social Media Is Driving a Generation to Appear Perfect at Any Cost. Oxford University Press, 2017.
Gonsalves, Tina, Nadia Berthouze and Matt Iacobini. “The Chameleon Project”. Second Nature, no. 3 (2010): 138-163.
Goodfellow, Ian, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville and Yoshua Bengio. “Generative Adversarial Nets”. Advances in Neural Information Processing Systems (NIPS), vol. 27 (2014): 2672-80.
Instaloader. “Download Instagram Photos and Metadata”. Instaloader (n.d.). Accessed: 22 March, 2023. https://instaloader.github.io/
Karras, Tero, Samuli Laine and Timo Aila. “A Style-Based Generator Architecture for Generative Adversarial Networks”. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEE (2019): 4396-4405. DOI: https://doi.org/10.1109/CVPR.2019.00453
Klingemann, Mario. “Mario Klingemann, Artist Working with Code, AI and Data”. Quasimondo (2019).
Kurdi, Benedek, Shayn Lozano and Mahzarin R. Banaji. “Introducing the Open Affective Standardized Image Set (OASIS).” Behavior Research Methods, vol. 49, no. 2 (2017): 457-470. DOI: https://doi.org/10.3758/s13428-016-0715-3
Kwastek, Katja. Aesthetics of Interaction in Digital Art. MIT Press, 2013. DOI: https://doi.org/10.7551/mitpress/9592.001.0001
Lang, Peter J., Margaret M. Bradley and Bruce N. Cuthbert. International Affective Picture System (IAPS). NIMH, Center for the Study of Emotion & Attention, 2005. DOI: https://doi.org/10.1037/t66667-000
Lara-Cabrera, Raúl and David Camacho. “A taxonomy and state of the art revision on affective games.” Future Generation Computer Systems, vol. 92 (2019, March): 516-525. DOI: https://doi.org/10.1016/j.future.2017.12.056
Machajdik, Jana and Allan Hanbury. “Affective Image Classification Using Features Inspired by Psychology and Art Theory.” Proceedings of the International Conference on Multimedia - MM ’10, (2010): 83-92. New York: ACM Press. DOI: https://doi.org/10.1145/1873951.1873965
Marchewka, Artur, Łukasz Żurawski, Katarzyna Jednoróg and Anna Grabowska. “The Nencki Affective Picture System (NAPS): Introduction to a novel, standardized, wide-range, high-quality, realistic picture database.” Behavior Research Methods, vol. 46, no. 2 (2014): 596-610. DOI: https://doi.org/10.3758/s13428-013-0379-1
Mikels, Joseph A., Barbara L. Fredrickson, Gregory R. Larkin, Casey M. Lindberg, Sam J. Maglio and Patricia A. Reuter-Lorenz. “Emotional category data on images from the international affective picture system.” Behavior Research Methods, vol. 37, no. 4 (2005): 626-630. DOI: https://doi.org/10.3758/BF03192732
Mokady, Ron, Amir Hertz and Amit H. Bermano. “ClipCap: CLIP Prefix for Image Captioning”. ArXiv (2021, November). DOI: https://doi.org/10.48550/arXiv.2111.09734
Park, Minho, Hak Gu Kim and Yong Man Ro. “Photo-Realistic Facial Emotion Synthesis Using Multi-Level Critic Networks with Multi-Level Generative Model”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11296 (2019): 3-15. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-05716-9_1
Radford, Alec, Luke Metz and Soumith Chintala. “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”. ArXiv (2015, November). DOI: https://doi.org/10.48550/arXiv.1511.06434
Ridler, Anna. “Repeating and Mistranslating: The Associations of GANs in an Art Context”. Machine Learning for Creativity and Design, NIPS 2017 Workshop (2017).
Sharma, Piyush, Nan Ding, Sebastian Goodman and Radu Soricut. “Conceptual Captions: A Cleaned, Hypernymed, Image Alt-Text Dataset For Automatic Image Captioning”. ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), vol. 1 (2018): 2556-2565. DOI: https://doi.org/10.18653/V1/P18-1238
Wang, Junpeng. “Interpreting and Diagnosing Deep Learning Models: A Visual Analytics Approach”. The Ohio State University, 2019. http://rave.ohiolink.edu/etdc/view?acc_num=osu1555499299957829
Williams, Duncan, Alexis Kirke, Eduardo R. Miranda, Etienne Roesch, Ian Daly and Slawomir Nasuto. “Investigating affect in algorithmic composition systems”. Psychology of Music, vol. 43, no. 6 (2015): 831-854. DOI: https://doi.org/10.1177/0305735614543282
Xu, Feiyu, Hans Uszkoreit, Yangzhou Du, Wei Fan, Dongyan Zhao and Jun Zhu. “Explainable AI: A Brief Survey on History, Research Areas, Approaches and Challenges”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11839 (2019): 563-574. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-32236-6_51
You, Quanzeng, Jiebo Luo, Hailin Jin and Jianchao Yang. “Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark.” Proceedings of the AAAI Conference on Artificial Intelligence, vol. 30, no. 1 (2016). DOI: https://doi.org/10.1609/aaai.v30i1.9987
Artículos similares
- Marco Paladini, Carlo R. M. A Santagiustina, Costanza Sartoris, Giulia Saya, Michele Schiavinato, Gabriella Traviglia, La memoria de la comunidad digital AquaGranda: activando la concienciación sobre el riesgo climático , Artnodes: Núm. 33: (Enero 2024). NODO 33. Artivismo mediático: sobre la arqueología y la historia de la cultura digital para el cambio social (coord.: Carolina Fernández-Castrillo y Diego Mantoan)
- Jörgen Skågeby, Contracorrientes en el márquetin del «microordenador»: ordenadores personales y genealogía de los medios , Artnodes: Núm. 21: (Junio 2018). NODO 21. Arqueología de los medios (coord.: Pau Alsina, Ana Rodríguez, Vanina Hofman)
- Pau Alsina, Ana Rodríguez, Vanina Yael Hofman, El devenir de la arqueología de los medios: derroteros, saberes y metodologías , Artnodes: Núm. 21: (Junio 2018). NODO 21. Arqueología de los medios (coord.: Pau Alsina, Ana Rodríguez, Vanina Hofman)
- Santiago Rementeria-Sanz, El factor estético en la automatización de tareas lógicas: el caso del ajedrez , Artnodes: Núm. 26: (Julio 2020). NODO 26. IA, arte y diseño: Cuestionando el aprendizaje automático (coord.: A. Burbano y Ruth West)
- Ignasi Gozalo Salellas, Imaginación radical y anacronía de las imágenes: radios libres y vídeo comunitario en España , Artnodes: Núm. 29: (Enero 2022). NODO 29. Ecología de la imaginación (coord.: Marina Garcés)
- Marcelo Alejandro Fraile-Narvaez, El autor y el intérprete: una mirada contemporánea al proyecto del Biocentro para la Universidad de Frankfurt de Peter Eisenman , Artnodes: Núm. 29: (Enero 2022). NODO 29. Ecología de la imaginación (coord.: Marina Garcés)
- Blanca Pujals, Una cuestión de materia. La deconstrucción de cadenas microscópicas en el espacio transnacional. , Artnodes: Núm. 25: (Enero 2020). NODO 25. Diálogos entre Arte y Ciencia Fundamental (coord.: M. Bello y A. Gracie)
- Søren Bro Pold, Nuevas formas de ocultarse: hacia el realismo de la metainterfaz , Artnodes: Núm. 24: (Julio 2019). NODO 24. Después de la posverdad (coord.: Jorge Luis Marzo)
- Ada Xiaoyu Hao, Hacer «visible» el tacto mediante la unión de la fantasía con la esteticista virtual en The Best Facial Clinic: el índice de fallos técnicos en la telesinestesia en época de pandemia mundial , Artnodes: Núm. 28: (julio 2021). NODO 28. En los límites de lo posible: arte, ciencia y tecnología (coord.: Paloma Díaz, Andrea García)
- Ze Gao, Tristan Camille Braud, Varvara Guljajeva, Oportunidades museísticas impulsadas por la realidad virtual: archivos digitalizados en la era del metaverso , Artnodes: Núm. 32: (Julio 2023). NODO 32. Posibles III (coord.: Pau Alsina y Andrés Burbano)
<< < 1 2 3 4 5 6 7 8 9 10 > >>
También puede {advancedSearchLink} para este artículo.