Forging Emotions: un experiment d’aprenentatge profund sobre les emocions i l’art
Article Sidebar
Main Article Content
La computació afectiva és un camp interdisciplinari que estudia els mètodes computacionals que es relacionen o influeixen en l’emoció. Aquests mètodes s’han aplicat a les obres d’art dels mitjans interactius, però s’han centrat en la detecció d’afectes en lloc de la seva generació. Per a la generació d’afectes, s’han d’explorar els mètodes computacionalment creatius, els quals últimament han estat impulsats per l’ús de xarxes generatives antagòniques (GAN en anglès), un mètode d’aprenentatge profund. L’experiment presentat en aquest treball, Forging Emotions (Forjant Emocions), explora l’ús de conjunts de dades d’emocions visuals i els processos de treball de les GAN per a la generació d’afectes visuals, és a dir, per generar imatges que puguin transmetre o desencadenar emocions específiques. Aquest experiment conclou que la metodologia utilitzada fins ara pels investigadors de ciències de la computació per construir conjunts de dades d’imatges que descriguin conceptes d’alt nivell com les emocions és insuficient i proposa utilitzar xarxes emocionals d’associacions d’acord amb la investigació en psicologia. Forging Emotions també conclou que, per generar afectes de manera visual, no sembla adequat limitar-se a les troballes bàsiques de la psicologia, per exemple, els colors brillants o foscos. Per tant, els esforços de recerca han de dirigir-se a comprendre l’estructura de les GAN formades i les GAN compositives per tal de produir composicions genuïnament noves que puguin transmetre o desencadenar emocions per mitjà del tema de les imatges generades.
Paraules clau:
Article Details
Aquesta obra està sota una llicència internacional Creative Commons Reconeixement 4.0.
(c) Amalia Foka, 2023
Drets d'autor
Els continguts publicats a Artnodes estan subjectes a una llicència de Reconeixement 4.0 Internacional de Creative Commons, el text complet de la qual es pot consultar a http://creativecommons.org/licenses/by/4.0/; els autors retenen el copyright. Podeu copiar-los, distribuir-los, comunicar-los públicament i fer-ne obres derivades sempre que reconegueu els crèdits de les obres (autoria, nom de la revista, institució editora) de la manera especificada pels autors o per la revista.
És responsabilitat dels autors obtenir els permisos necessaris de les imatges que estiguin subjectes a copyright.
Cessió de drets de propietat intel·lectual
L’autor cedeix en règim no exclusiu als editors de la revista els drets d’explotació (reproducció, distribució, comunicació pública i transformació) per a explotar i comercialitzar l’obra, sencera o en part, en tots els formats i modalitats d’explotació presents o futurs, en tots els idiomes, per tot el període de vida de l’obra i per tot el món.
Declaro que sóc l’autor original de l’obra. Els editors queden, per tant, exonerats de qualsevol obligació o responsabilitat per qualsevol acció legal que es pugui suscitar derivada de l’obra dipositada per la vulneració de drets de tercers, siguin de propietat intel·lectual o industrial, de secret comercial o qualsevol altre.
Referències
Alvarez-Melis, David and Judith Amores. “The Emotional GAN: Priming Adversarial Generation of Art with Emotion”. 31st Conference on Neural Information Processing Systems (NIPS), 2017.
Bau, David, Jun-Yan Zhu, Hendrik Strobelt, Bolei Zhou, Joshua B. Tenenbaum, William T. Freeman and Antonio Torralba. “GAN Dissection: Visualizing and Understanding Generative Adversarial Networks”. ArXiv (2018, November). DOI: https://doi.org/10.48550/arXiv.1811.10597
Calvo, Rafael A., Sidney D’Mello, Jonathan M. Gratch and Arvid Kappas (eds.). The Oxford Handbook of Affective Computing. Oxford University Press, 2015. DOI: https://doi.org/10.1093/oxfordhb/9780199942237.013.040
Chen, Xinlei, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar and C. Lawrence Zitnick. “Microsoft COCO Captions: Data Collection and Evaluation Server”. ArXiv (2015, April). DOI: https://doi.org/10.48550/arXiv.1504.00325
Dan-Glauser, Elise S. and Klaus R. Scherer. “The Geneva Affective Picture Database (GAPED): A New 730-Picture Database Focusing on Valence and Normative Significance”. Behavior Research Methods, vol. 43, no. 2 (2011): 468-477. DOI: https://doi.org/10.3758/s13428-011-0064-1
Deng, Jia, Wei Dong, Richard Socher, Li-Jia Li, Kai Li and Li Fei-Fei. “ImageNet: A large-scale hierarchical image database”. 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEE (2009): 248-255. DOI: https://doi.org/10.1109/CVPR.2009.5206848
Eerola, Tuomas and Jonna K. Vuoskoski. “A comparison of the discrete and dimensional models of emotion in music.” Psychology of Music, vol. 39, no. 1 (2011): 18-49. DOI: https://doi.org/10.1177/0305735610362821
Ekman, Paul. “Basic Emotions”. Handbook of Cognition and Emotion (Chichester, UK: John Wiley & Sons, Ltd, 2005), 45-60. DOI: https://doi.org/10.1002/0470013494.ch3
Fellous, Jean-Marc and Jenefer Robinson. “A Mechanistic View of the Expression and Experience of Emotion in the Arts”. The American Journal of Psychology, vol. 119, no. 4 (2006): 668. DOI: https://doi.org/10.2307/20445371
Freitas, Donna. The Happiness Effect: How Social Media Is Driving a Generation to Appear Perfect at Any Cost. Oxford University Press, 2017.
Gonsalves, Tina, Nadia Berthouze and Matt Iacobini. “The Chameleon Project”. Second Nature, no. 3 (2010): 138-163.
Goodfellow, Ian, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville and Yoshua Bengio. “Generative Adversarial Nets”. Advances in Neural Information Processing Systems (NIPS), vol. 27 (2014): 2672-80.
Instaloader. “Download Instagram Photos and Metadata”. Instaloader (n.d.). Accessed: 22 March, 2023. https://instaloader.github.io/
Karras, Tero, Samuli Laine and Timo Aila. “A Style-Based Generator Architecture for Generative Adversarial Networks”. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEE (2019): 4396-4405. DOI: https://doi.org/10.1109/CVPR.2019.00453
Klingemann, Mario. “Mario Klingemann, Artist Working with Code, AI and Data”. Quasimondo (2019).
Kurdi, Benedek, Shayn Lozano and Mahzarin R. Banaji. “Introducing the Open Affective Standardized Image Set (OASIS).” Behavior Research Methods, vol. 49, no. 2 (2017): 457-470. DOI: https://doi.org/10.3758/s13428-016-0715-3
Kwastek, Katja. Aesthetics of Interaction in Digital Art. MIT Press, 2013. DOI: https://doi.org/10.7551/mitpress/9592.001.0001
Lang, Peter J., Margaret M. Bradley and Bruce N. Cuthbert. International Affective Picture System (IAPS). NIMH, Center for the Study of Emotion & Attention, 2005. DOI: https://doi.org/10.1037/t66667-000
Lara-Cabrera, Raúl and David Camacho. “A taxonomy and state of the art revision on affective games.” Future Generation Computer Systems, vol. 92 (2019, March): 516-525. DOI: https://doi.org/10.1016/j.future.2017.12.056
Machajdik, Jana and Allan Hanbury. “Affective Image Classification Using Features Inspired by Psychology and Art Theory.” Proceedings of the International Conference on Multimedia - MM ’10, (2010): 83-92. New York: ACM Press. DOI: https://doi.org/10.1145/1873951.1873965
Marchewka, Artur, Łukasz Żurawski, Katarzyna Jednoróg and Anna Grabowska. “The Nencki Affective Picture System (NAPS): Introduction to a novel, standardized, wide-range, high-quality, realistic picture database.” Behavior Research Methods, vol. 46, no. 2 (2014): 596-610. DOI: https://doi.org/10.3758/s13428-013-0379-1
Mikels, Joseph A., Barbara L. Fredrickson, Gregory R. Larkin, Casey M. Lindberg, Sam J. Maglio and Patricia A. Reuter-Lorenz. “Emotional category data on images from the international affective picture system.” Behavior Research Methods, vol. 37, no. 4 (2005): 626-630. DOI: https://doi.org/10.3758/BF03192732
Mokady, Ron, Amir Hertz and Amit H. Bermano. “ClipCap: CLIP Prefix for Image Captioning”. ArXiv (2021, November). DOI: https://doi.org/10.48550/arXiv.2111.09734
Park, Minho, Hak Gu Kim and Yong Man Ro. “Photo-Realistic Facial Emotion Synthesis Using Multi-Level Critic Networks with Multi-Level Generative Model”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11296 (2019): 3-15. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-05716-9_1
Radford, Alec, Luke Metz and Soumith Chintala. “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”. ArXiv (2015, November). DOI: https://doi.org/10.48550/arXiv.1511.06434
Ridler, Anna. “Repeating and Mistranslating: The Associations of GANs in an Art Context”. Machine Learning for Creativity and Design, NIPS 2017 Workshop (2017).
Sharma, Piyush, Nan Ding, Sebastian Goodman and Radu Soricut. “Conceptual Captions: A Cleaned, Hypernymed, Image Alt-Text Dataset For Automatic Image Captioning”. ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), vol. 1 (2018): 2556-2565. DOI: https://doi.org/10.18653/V1/P18-1238
Wang, Junpeng. “Interpreting and Diagnosing Deep Learning Models: A Visual Analytics Approach”. The Ohio State University, 2019. http://rave.ohiolink.edu/etdc/view?acc_num=osu1555499299957829
Williams, Duncan, Alexis Kirke, Eduardo R. Miranda, Etienne Roesch, Ian Daly and Slawomir Nasuto. “Investigating affect in algorithmic composition systems”. Psychology of Music, vol. 43, no. 6 (2015): 831-854. DOI: https://doi.org/10.1177/0305735614543282
Xu, Feiyu, Hans Uszkoreit, Yangzhou Du, Wei Fan, Dongyan Zhao and Jun Zhu. “Explainable AI: A Brief Survey on History, Research Areas, Approaches and Challenges”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11839 (2019): 563-574. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-32236-6_51
You, Quanzeng, Jiebo Luo, Hailin Jin and Jianchao Yang. “Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark.” Proceedings of the AAAI Conference on Artificial Intelligence, vol. 30, no. 1 (2016). DOI: https://doi.org/10.1609/aaai.v30i1.9987
Articles similars
- Marco Paladini, Carlo R. M. A Santagiustina, Costanza Sartoris, Giulia Saya, Michele Schiavinato, Gabriella Traviglia, La memòria de la comunitat digital AquaGranda: activant la conscienciació sobre el risc climàtic , Artnodes: No 33: (Gener 2024). NODE 33. Artivisme mediàtic: sobre l'arqueologia i la història de la cultura digital per al canvi social (coord.: Carolina Fernández-Castrillo i Diego Mantoan)
- Jörgen Skågeby, Contracorrents del màrqueting del ‘microordinador’: ordinadors personals i genealogia dels mitjans , Artnodes: No 21: (Juny 2018). NODE 21. Arqueologia dels mitjans (coord.: Pau Alsina, Ana Rodríguez, Vanina Hofman)
- Pau Alsina, Ana Rodríguez, Vanina Yael Hofman, L’esdevenir de l’arqueologia dels mitjans: rumbs, sabers i metodologies , Artnodes: No 21: (Juny 2018). NODE 21. Arqueologia dels mitjans (coord.: Pau Alsina, Ana Rodríguez, Vanina Hofman)
- Santiago Rementeria-Sanz, El factor estètic en l’automatització de tasques lògiques: el cas dels escacs , Artnodes: No 26: (Juliol 2020). NODE 26. IA, art i disseny: Qüestionant l'aprenentatge automàtic (coord.: A. Burbano i Ruth West)
- Ignasi Gozalo Salellas, Imaginació radical i anacronia de les imatges: ràdios lliures i vídeo comunitari a Espanya , Artnodes: No 29: (Gener 2022). NODE 29. Ecologia de la imaginació (coord.: Marina Garcés)
- Marcelo Alejandro Fraile-Narvaez, L’autor i l’intèrpret: una mirada contemporània al projecte del Biocentre per a la Universitat de Frankfurt de Peter Eisenman , Artnodes: No 29: (Gener 2022). NODE 29. Ecologia de la imaginació (coord.: Marina Garcés)
- Blanca Pujals, Una qüestió de matèria. La desconstrucció de cadenes microscòpiques a l’espai transnacional , Artnodes: No 25: (Gener 2020). NODE 25. Diàlegs entre Art i Ciència Fonamental (coord.: M. Bello i A. Gracie)
- Søren Bro Pold, Noves maneres d’amagar-se: cap al realisme de la metainterfície , Artnodes: No 24: (Juliol 2019). NODE 24. Després de la postveritat (coord.: Jorge Luis Marzo)
- Ada Xiaoyu Hao, Fer «visible» el tacte mitjançant la unió de la fantasia amb l’esteticista virtual a The Best Facial Clinic: l’índex de fallides tècniques en la telesinestèsia en època de pandèmia mundial , Artnodes: No 28: (juliol 2021). NODE 28. En els límits d'allò que és possible: art, ciència i tecnologia (coord.: Paloma Díaz, Andrea García)
- Ze Gao, Tristan Camille Braud, Varvara Guljajeva, Oportunitats museístiques impulsades per la realitat virtual: arxius digitalitzats en l’era del metavers , Artnodes: No 32: (Juliol 2023). NODE 32. Possibles III (coord.: Pau Alsina i Andrés Burbano)
<< < 1 2 3 4 5 6 7 8 9 10 > >>
També podeu iniciar una cerca avançada per similitud per a aquest article.