Flyar is a screensaver, Twitter visualization application that uses Augmented Reality and gesture interaction. It enables users to see themselves in real time, inside a pc screen, surrounded by virtual birds that flutter about or fly towards them to deliver incoming tweets. Developed by YDreams.
.txt is an interactive performance work, mediated by several sensorial technologies, that explores contemporary transversal forms of artistic languages. The result is the creation of a unique vocabulary articulated physically, through interactive soundscapes, visual composition and real time choreography; an array of artistic expressions that support the dramaturgic intention.
The project’s central ideas are:
1. “the big-bang” of (artistic) language: the birth of a gesture, a sound, an image and their evolution and relation to the performer throughout the piece
In .txt images and body are one. Words are as important as gestures or as images derived from words. They are there to spur strong reactions, by its value and movement. And motion is sometimes vital to captive the imaginary.
The images, movements and bodies should rise above the screen and scenic space alike, forgetting grammatical, syntaxic, semantic and semiologic formulations. They constitute a dramaturgic, emotional, sensitive whole, and should become a transcendental experience that can take you to another place, towards another emotion, and induce in each one’s body our (own) experiences.
2. Considering interactivity as a medium in itself, the interface between the performer and technology is explored as content
The non-instrusive tracking of the performer and of the performance by computer vision, and the gestural interpretation algorithms, along with the ability to simulate reactions through behavioural descriptors, expand the concept of responsive stage onto a living-like environment, where the performer is simply one of the components.
The piece also intends to reinforce the perception of real time interaction with participatory content by the audience. .txt audience encouraged to revolutionise power structures through the subversive manipulation of the electronic media serrounding us. Through Twitter this empowered “spectActor” can take part in the dialogue happening on stage by adding content to the performer interaction environment.
The scenic space and decoration design unfolds from the search for new scenographic solutions that can be effective at the visual and narrative, but also at the interactive level. Extending the array of interaction possibilities, scenic decoration becomes a physical interface available to the performer control.
Physical simulations like particles systems, bird flocking or potential fields applied to typography and its evanescence to abstract communication symbols constitute the performer’s universe. Its evolution, behavior and emotions are determined by the performer’s interaction with it while keeping an autonomous emergent behavior.
3. Critical reflection of convergences between art and science in its social, historic and aesthetic dimensions is a part of the performance itself
Centring the visual imagery in text and typography .txt expresses also homerage to such a plethora of great digital art works, from installations to performances and electronic poetry, in all its forms, that contributed to digitally explore this media.
“The Electronic Revolution” (1970) by Willliam S. Burroughs serves as a dramaturgic base to develop the narrative structure along the lines traced above. In his essay, Burroughs identifies essential questions about the use and abuse of media technologies. Furthermore, he proposes artistic ideas, as well as humanistic concerns, that have been inspiring the narrative dimension of “.txt” project. Some of the compositional devices shared by many artists of his time are re-visited, refined and transferred to other areas. His famous cut-ups, for example, can be compared to sampling techniques today applied to all kind of fragments of digital and analog media materials.
Tal como o filme de Vitorio De Sica que lhe serve de referencial e o alimenta plasticamente, este trabalho desfaz-se de adornos e procura, numa representação depurada, a manipulação de um plano de Umberto D, por reacção à atenção que o espectador lhe dedica, analisada computacionalmente.
Neste filme, um dos expoentes do neo-realismo italiano, o realizador retrata, numa Itália em profunda depressão, a luta interior de um funcionário público reformado pela sobrevivência diária e pela manutenção da sua dignidade.
O movimento de Umberto D no plano em que tenta mendigar, é utilizado como reflexo do resultado da análise da atenção do espectador, por intermédio de um sistema computacional com essas capacidades. O excerto em que Umberto estende a mão, só se reproduz se ninguém estiver observando o personagem ou, apenas, olhando de soslaio, num reflexo da forma como a sociedade olha envergonhada para a pobreza mas também da angústia de a assumir. Quando o espectador observa com atenção Umberto D, este, vira a mão, simulando que percepciona a queda de gotas de chuva. Como faz no filme, quando, finalmente, um transeunte lhe oferece esmola.
Attention as Interface
Attention is the cognitive process of selectively concentrating on one aspect of the environment while ignoring other things. [Strayer, D. L., Drews, F. A. & Johnston, W. A. (2003) Journal of Experimental Psychology: Applied, 9,” 23-32.]
A interacção com o espectador resulta da análise da atenção que o mesmo lhe dedica. O dispositivo de interacção procura conceptualizar um nível de interacção não apenas reactivo mas, também, cognitivo. A interacção é resultado de uma interpretação afectiva do comportamento do espectador, através de várias abordagens tecnológicas e conceptuais e não apenas resultado da reacção a um estímulo imediato de sensores.
Estratégias e tecnologias que começam a ser utilizadas em publicidade para aferição de impacto comunicacional são aqui convocadas. Métodos mistos de visão por computador e de sensores, associados a algoritmos de computação afectiva, permitem definir áreas e comportamentos que revelam detalhes emocionais do utilizador, face a um dispositivo comunicacional. O contexto de apresentação da peça, excluído de outros estímulos e pressupondo a disponibilidade do espectador, proporciona uma interpretação mais simples embebida na análise temporal da direcção do olhar e da distância do espectador à projecção de Umberto D, não deixando de convocar, conceptualmente, uma interpretação afectiva.
: “the future of cinema is loops” unpublished article by Nicholas Negroponte
A partir da análise computacional do comportamento do(s) espectador(es) procede-se a uma reconstrução dinâmica do plano de De Sica, respeitando critérios de linearidade e coerência temporal, tão caros ao movimento neo-realista italiano. O conjunto de entradas do sistema, visão computacional e sensores de proximidade, permitem analisar o comportamento do(s) espectador(es), reflectindo na manipulação do loop de Umberto D o comportamento destes para com a situação social que se lhe depara. Desde a posição em que Umberto está com a mão no queixo, cabisbaixo, envergonhado porque estão muitas pessoas, perto e atentas a ele, até considerar disfarçar porque alguém se aproxima, observando-o. O algoritmo de montagem dinâmica procura criar, a partir deste loop de De Sica, uma experiência cinemática coerente que só a repetição controlada, denuncia. A abordagem à edição de imagem, apesar de computacional, procura uma continuidade espacial, temporal e comportamental verosímil, enquanto experiência cinemática clássica. Pequenos loops dentro do loop global e transições naturais entre sequências de imagens, são a estratégia composicional da montagem.
Em exibição na estação Baixa-Chiado do Metro de Lisboa integrado nos projectos tangênciais da Experimenta Design 2009
De 9 de Setembro a 7 de Outubro, de 2009
In exibition at Baixa-Chiado subway station as part of the Tangencial projects of Experimenta Design 2009
From 9th September until 7th October, 2009
Umberto D igital Haiku Nº2
A atenção como interface
Uma experiência cinemática interactiva que reinterpreta um plano do filme Umberto D de Vitorio De Sica, manipulando-o por resposta à atenção que os espectadores lhe dedicam. A Itália de 1952, retratada no filme e em profunda crise económica e social, encontra um reflexo nesta actual crise, repetindo a pobreza envergonhada e o embaraço da sociedade perante a mesma.
O plano de Umberto D mendigando, é montado algoritmicamente a partir da análise computacional da atenção do(s) espectador(es), reflectindo o constrangimento da personagem em assumir a necessidade de mendigar. A assumpção dessa atitude apenas acontece quando ninguém o observa de perto e é disfarçada quando se sente observado. Na realidade, apenas se poderá observar da mesma forma como observamos frequentemente estas situações, de soslaio e com embaraço.
A intenção de criação de uma experiência cinemática coerente, cruza-se com estratégias e tecnologias que começam a ser utilizadas em publicidade para aferição do impacto comunicacional e que, aqui, são convocadas. A coexistência habitual da mendicidade e da publicidade em locais públicos funde-se, formalmente, na utilização de mobiliário urbano de publicidade exterior, como dispositivo expositivo.
Umberto D igital Haiku Nº2
Attention as interface
An interactive cinematic experiment that reinterprets a scene in Vitorio De Sica´s film, Umberto D, controlling it accordingly, in direct response to the viewers level of attention. This film depicts Italy in 1952, in the middle of a deep recession, while mirroring the actual economic crisis, it reiterates the ashamed poverty and society’s discomposure in its regard.
The algorithmic montage of Umberto seeking charity is controlled by the computational analysis of the viewers attention, reflecting the character’s discomfort in assuming the necessity to beg. Depicting this attitude only when nobody is closely watching and disguised when Umberto feels he is being observed. This reality can only be observed with the shameful, embarrassed side glance we frequently use when in a similar delicate situation.
The intention of creating a coherent cinematic experience combined with methods and technologies that are being adapted into advertising to obtain metrics
relating to the communicational impact, are the foundation of this piece. The common coexistence of beggary along side publicity for consumer goods in public places, here merge within an outdoor advertising structure as the exhibition device.
Fernando Nabais
Apoios/Sponsors: YDreams, ExperimentaDesign, Metro de Lisboa.
Fernando Nabais . com 