Forging Emotions: un experiment d’aprenentatge profund sobre les emocions i l’art
Article Sidebar
Citacions a Google Acadèmic
Main Article Content
La computació afectiva és un camp interdisciplinari que estudia els mètodes computacionals que es relacionen o influeixen en l’emoció. Aquests mètodes s’han aplicat a les obres d’art dels mitjans interactius, però s’han centrat en la detecció d’afectes en lloc de la seva generació. Per a la generació d’afectes, s’han d’explorar els mètodes computacionalment creatius, els quals últimament han estat impulsats per l’ús de xarxes generatives antagòniques (GAN en anglès), un mètode d’aprenentatge profund. L’experiment presentat en aquest treball, Forging Emotions (Forjant Emocions), explora l’ús de conjunts de dades d’emocions visuals i els processos de treball de les GAN per a la generació d’afectes visuals, és a dir, per generar imatges que puguin transmetre o desencadenar emocions específiques. Aquest experiment conclou que la metodologia utilitzada fins ara pels investigadors de ciències de la computació per construir conjunts de dades d’imatges que descriguin conceptes d’alt nivell com les emocions és insuficient i proposa utilitzar xarxes emocionals d’associacions d’acord amb la investigació en psicologia. Forging Emotions també conclou que, per generar afectes de manera visual, no sembla adequat limitar-se a les troballes bàsiques de la psicologia, per exemple, els colors brillants o foscos. Per tant, els esforços de recerca han de dirigir-se a comprendre l’estructura de les GAN formades i les GAN compositives per tal de produir composicions genuïnament noves que puguin transmetre o desencadenar emocions per mitjà del tema de les imatges generades.
Article Details
Aquesta obra està sota una llicència internacional Creative Commons Reconeixement 4.0.
(c) Amalia Foka, 2023
Drets d'autor
Els continguts publicats a Artnodes estan subjectes a una llicència de Reconeixement 4.0 Internacional de Creative Commons, el text complet de la qual es pot consultar a http://creativecommons.org/licenses/by/4.0/; els autors retenen el copyright. Podeu copiar-los, distribuir-los, comunicar-los públicament i fer-ne obres derivades sempre que reconegueu els crèdits de les obres (autoria, nom de la revista, institució editora) de la manera especificada pels autors o per la revista.
És responsabilitat dels autors obtenir els permisos necessaris de les imatges que estiguin subjectes a copyright.
Cessió de drets de propietat intel·lectual
L’autor cedeix en règim no exclusiu als editors de la revista els drets d’explotació (reproducció, distribució, comunicació pública i transformació) per a explotar i comercialitzar l’obra, sencera o en part, en tots els formats i modalitats d’explotació presents o futurs, en tots els idiomes, per tot el període de vida de l’obra i per tot el món.
Declaro que sóc l’autor original de l’obra. Els editors queden, per tant, exonerats de qualsevol obligació o responsabilitat per qualsevol acció legal que es pugui suscitar derivada de l’obra dipositada per la vulneració de drets de tercers, siguin de propietat intel·lectual o industrial, de secret comercial o qualsevol altre.
Amalia Foka, Universitat de Ioànnina
D’origen grec, és una investigadora i educadora d’intel·ligència artificial creativa que explora la intersecció entre la informàtica i l’art. El seu treball utilitza diferents tecnologies d’intel·ligència artificial i dades de xarxes socials per generar i estudiar l’art. El seu treball ha estat presentat i publicat internacionalment, incloent-hi el Leonardo Journal (MIT Press), el WRO Media Art Biennale, l’ISEA, l’EVA Londres i molts més. Actualment, és professora adjunta en Ciències de la Computació: Aplicacions multimèdia per a les arts a l’Escola de Belles Arts de la Universitat de Ioànnina (Grècia), on imparteix cursos sobre codificació creativa, sistemes interactius creatius i art generatiu per IA. És llicenciada en Enginyeria de Sistemes d’Informàtica (1998) i té un màster en Control Avançat (1999) per l’Institut de Ciència i Tecnologia de la Universitat de Manchester (UMIST, Regne Unit). També és doctora en Robòtica (2005) pel Departament de Ciències de la Computació de la Universitat de Creta.
Alvarez-Melis, David and Judith Amores. “The Emotional GAN: Priming Adversarial Generation of Art with Emotion”. 31st Conference on Neural Information Processing Systems (NIPS), 2017.
Bau, David, Jun-Yan Zhu, Hendrik Strobelt, Bolei Zhou, Joshua B. Tenenbaum, William T. Freeman and Antonio Torralba. “GAN Dissection: Visualizing and Understanding Generative Adversarial Networks”. ArXiv (2018, November). DOI: https://doi.org/10.48550/arXiv.1811.10597
Calvo, Rafael A., Sidney D’Mello, Jonathan M. Gratch and Arvid Kappas (eds.). The Oxford Handbook of Affective Computing. Oxford University Press, 2015. DOI: https://doi.org/10.1093/oxfordhb/9780199942237.013.040
Chen, Xinlei, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar and C. Lawrence Zitnick. “Microsoft COCO Captions: Data Collection and Evaluation Server”. ArXiv (2015, April). DOI: https://doi.org/10.48550/arXiv.1504.00325
Dan-Glauser, Elise S. and Klaus R. Scherer. “The Geneva Affective Picture Database (GAPED): A New 730-Picture Database Focusing on Valence and Normative Significance”. Behavior Research Methods, vol. 43, no. 2 (2011): 468-477. DOI: https://doi.org/10.3758/s13428-011-0064-1
Deng, Jia, Wei Dong, Richard Socher, Li-Jia Li, Kai Li and Li Fei-Fei. “ImageNet: A large-scale hierarchical image database”. 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEE (2009): 248-255. DOI: https://doi.org/10.1109/CVPR.2009.5206848
Eerola, Tuomas and Jonna K. Vuoskoski. “A comparison of the discrete and dimensional models of emotion in music.” Psychology of Music, vol. 39, no. 1 (2011): 18-49. DOI: https://doi.org/10.1177/0305735610362821
Ekman, Paul. “Basic Emotions”. Handbook of Cognition and Emotion (Chichester, UK: John Wiley & Sons, Ltd, 2005), 45-60. DOI: https://doi.org/10.1002/0470013494.ch3
Fellous, Jean-Marc and Jenefer Robinson. “A Mechanistic View of the Expression and Experience of Emotion in the Arts”. The American Journal of Psychology, vol. 119, no. 4 (2006): 668. DOI: https://doi.org/10.2307/20445371
Freitas, Donna. The Happiness Effect: How Social Media Is Driving a Generation to Appear Perfect at Any Cost. Oxford University Press, 2017.
Gonsalves, Tina, Nadia Berthouze and Matt Iacobini. “The Chameleon Project”. Second Nature, no. 3 (2010): 138-163.
Goodfellow, Ian, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville and Yoshua Bengio. “Generative Adversarial Nets”. Advances in Neural Information Processing Systems (NIPS), vol. 27 (2014): 2672-80.
Instaloader. “Download Instagram Photos and Metadata”. Instaloader (n.d.). Accessed: 22 March, 2023. https://instaloader.github.io/
Karras, Tero, Samuli Laine and Timo Aila. “A Style-Based Generator Architecture for Generative Adversarial Networks”. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEE (2019): 4396-4405. DOI: https://doi.org/10.1109/CVPR.2019.00453
Klingemann, Mario. “Mario Klingemann, Artist Working with Code, AI and Data”. Quasimondo (2019).
Kurdi, Benedek, Shayn Lozano and Mahzarin R. Banaji. “Introducing the Open Affective Standardized Image Set (OASIS).” Behavior Research Methods, vol. 49, no. 2 (2017): 457-470. DOI: https://doi.org/10.3758/s13428-016-0715-3
Kwastek, Katja. Aesthetics of Interaction in Digital Art. MIT Press, 2013. DOI: https://doi.org/10.7551/mitpress/9592.001.0001
Lang, Peter J., Margaret M. Bradley and Bruce N. Cuthbert. International Affective Picture System (IAPS). NIMH, Center for the Study of Emotion & Attention, 2005. DOI: https://doi.org/10.1037/t66667-000
Lara-Cabrera, Raúl and David Camacho. “A taxonomy and state of the art revision on affective games.” Future Generation Computer Systems, vol. 92 (2019, March): 516-525. DOI: https://doi.org/10.1016/j.future.2017.12.056
Machajdik, Jana and Allan Hanbury. “Affective Image Classification Using Features Inspired by Psychology and Art Theory.” Proceedings of the International Conference on Multimedia - MM ’10, (2010): 83-92. New York: ACM Press. DOI: https://doi.org/10.1145/1873951.1873965
Marchewka, Artur, Łukasz Żurawski, Katarzyna Jednoróg and Anna Grabowska. “The Nencki Affective Picture System (NAPS): Introduction to a novel, standardized, wide-range, high-quality, realistic picture database.” Behavior Research Methods, vol. 46, no. 2 (2014): 596-610. DOI: https://doi.org/10.3758/s13428-013-0379-1
Mikels, Joseph A., Barbara L. Fredrickson, Gregory R. Larkin, Casey M. Lindberg, Sam J. Maglio and Patricia A. Reuter-Lorenz. “Emotional category data on images from the international affective picture system.” Behavior Research Methods, vol. 37, no. 4 (2005): 626-630. DOI: https://doi.org/10.3758/BF03192732
Mokady, Ron, Amir Hertz and Amit H. Bermano. “ClipCap: CLIP Prefix for Image Captioning”. ArXiv (2021, November). DOI: https://doi.org/10.48550/arXiv.2111.09734
Park, Minho, Hak Gu Kim and Yong Man Ro. “Photo-Realistic Facial Emotion Synthesis Using Multi-Level Critic Networks with Multi-Level Generative Model”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11296 (2019): 3-15. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-05716-9_1
Radford, Alec, Luke Metz and Soumith Chintala. “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”. ArXiv (2015, November). DOI: https://doi.org/10.48550/arXiv.1511.06434
Ridler, Anna. “Repeating and Mistranslating: The Associations of GANs in an Art Context”. Machine Learning for Creativity and Design, NIPS 2017 Workshop (2017).
Sharma, Piyush, Nan Ding, Sebastian Goodman and Radu Soricut. “Conceptual Captions: A Cleaned, Hypernymed, Image Alt-Text Dataset For Automatic Image Captioning”. ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), vol. 1 (2018): 2556-2565. DOI: https://doi.org/10.18653/V1/P18-1238
Wang, Junpeng. “Interpreting and Diagnosing Deep Learning Models: A Visual Analytics Approach”. The Ohio State University, 2019. http://rave.ohiolink.edu/etdc/view?acc_num=osu1555499299957829
Williams, Duncan, Alexis Kirke, Eduardo R. Miranda, Etienne Roesch, Ian Daly and Slawomir Nasuto. “Investigating affect in algorithmic composition systems”. Psychology of Music, vol. 43, no. 6 (2015): 831-854. DOI: https://doi.org/10.1177/0305735614543282
Xu, Feiyu, Hans Uszkoreit, Yangzhou Du, Wei Fan, Dongyan Zhao and Jun Zhu. “Explainable AI: A Brief Survey on History, Research Areas, Approaches and Challenges”. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 11839 (2019): 563-574. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-32236-6_51
You, Quanzeng, Jiebo Luo, Hailin Jin and Jianchao Yang. “Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark.” Proceedings of the AAAI Conference on Artificial Intelligence, vol. 30, no. 1 (2016). DOI: https://doi.org/10.1609/aaai.v30i1.9987
Articles similars
- Moisés Mañas Carbonell, María José Martínez de Pisón Ramón, Laboratorio de Luz. Més de 30 anys de recerca en art, ciència i tecnologia en el panorama espanyol , Artnodes: Núm. 31: (Gener 2023). NODE 31. Possibles II (coord.: Pau Alsina i Andrés Burbano)
- Ahmed Elgammal, Marian Mazzone, Artistes, intel·ligència artificial i creativitat basada en màquines amb Playform , Artnodes: Núm. 26: (Juliol 2020). NODE 26. IA, art i disseny: Qüestionant l'aprenentatge automàtic (coord.: A. Burbano i Ruth West)
- Mª Isabel Soler Ruiz, Rosa Mármol Pérez, Art, Tecnologia i Humanisme. El laboratori de disseny social Studio Roosegaarde com a ecosistema creatiu tecnopoètic , Artnodes: Núm. 21: (Juny 2018). NODE 21. Arqueologia dels mitjans (coord.: Pau Alsina, Ana Rodríguez, Vanina Hofman)
- José María de Luelmo Jareño, La màquina iconoclasta en la era digital , Artnodes: Núm. 28: (juliol 2021). NODE 28. En els límits d'allò que és possible: art, ciència i tecnologia (coord.: Paloma Díaz, Andrea García)
- Marc Downie, Creació de so per part de criatures de realitat virtual , Artnodes: Núm. 5: (Setembre 2006). NODE 5. Entrevistes (coord.: Pau Alsina, Pau Waelder)
- Ivan Flores Arancibia, Begonya Saez Tajafuerce, El trauma d’allò inert. Apunts per a una nova parasitologia , Artnodes: Núm. 27: (Gener 2021). Node 27. Arts en temps de pandèmia (coord.: Laura Benítez i Erich Berger)
- Henk Slager, Recuperació de l'estètica; 16 notes , Artnodes: Núm. 20: (Desembre 2017). NODE 20. Art i Recerca (coord.: Pau Alsina, Ana Rodríguez, Irma Vilà Òdena)
- Noelia Quintero, La pantalla al carrer: convergència i coincidències agòniques entre el grafit i els objectes dels nous mitjans audiovisuals , Artnodes: Núm. 7: (Desembre 2007). NODE 7. Jugabilitat (coord.: Pau Alsina)
- Andres E Burbano, Reporti del projecte: Invencions en les vores de la Història , Artnodes: Núm. 13: (Novembre 2013). NODE 13. Història(es) de l'art dels mitjans (coord.: Ana Rodríguez Granell, Pau Alsina)
- krizia Nardini, Esdevenir un altre: el pensament encarnat i la «matèria o importància transformadora» de la teorització del (nou) materialisme feminista , Artnodes: Núm. 14: (Novembre 2014). NODE 14. Nous materialismes feministes (coord.: Ana Rodríguez Granell)
<< < 9 10 11 12 13 14 15 16 17 18 > >>
També podeu iniciar una cerca avançada per similitud per a aquest article.