Abstract

This article has a dual aim: firstly, to introduce a workflow that allows the integration of a stylized equirectangular video animation for virtual reality use and secondly, we propose to explore this technique in cinematic narratives presenting one short virtual reality 360 movie.
This workflow facilitates the creation of stylized animations and immersive environments for a vr experience using open source software. Our method uses as input a 3d scene/animation and one image that is used as a style source. The base render will go through a synthesis API that supports auto-generation of example guide maps, which produces a style transfer-like effect to generate some stylized key frames. These will go through another algorithm that uses the base render and the stylized key frames to synthesize the remaining stylized frames.
Finally, we demonstrate the stylization by a style transfer-like effect of stereoscopic 360º digital animation. We explore the possibility of integrating a visual style from a source image, and the creation of a 3d scene based on that style. Resulting in a bridge between visual content of a “classic / traditional” character with an immersiveness of a vr experience.

Keywords: Virtual reality, Cinema, Animation, Immersion.

1 - Introdução

O projeto proposto foi desenvolvido no contexto da unidade curricular de “Laboratório Media Interativos”, central da licenciatura de Produção de Conteúdos Interativos e Multimédia do Instituto Superior de Ciências Educativas do Douro.

Os conteúdos programáticos da unidade curricular destacam o desenvolvimento de “Estruturas Algorítmicas” e “Conceito base de Linguagens Orientadas a Objetos” assim como “Identificação de metodologias de organização de conteúdos e otimização de ficheiros”, conceitos essenciais para o técnico multimédia que o curso pretende formar. Estes enunciados refletem-se no trabalho desenvolvido desde o uso de algoritmos opensource para a criação e edição de conteúdos, assim como foram desenvolvidas capacidades técnicas que permitiram a compreensão e consequente organização e otimização dos ficheiros trabalhados.

Esta investigação, inspirou-se em filmes cujo resultado visual se assemelha a pinturas, tais como “What Dreams May Come” (1998, Vincent Ward) ou, mais recentemente e de forma radical, “Loving Vincent” (2017, Dorota Kobiela & Hugh Welchman), onde 120 artistas de vários países pintaram frame a frame um filme em estilo impressionista de Van Gogh. Tendo sido necessárias 12 pinturas por segundo, num total de 65,000 quadros pintados a óleo e de 1.026 desenhos baseados nas mais de 400 pinturas que Van Gogh fez ao longo de oito anos.

Seria possível aplicar texturas semelhantes a um universo tridimensional imersivo de forma automatizada? De que forma a abordagem visual impressionista se pode relacionar numa narrativa contemporânea com tecnologia do século XXI?

O trabalho resultou numa animação digital desenvolvida para ser exibida através de um HMD (Head Mounted Device) de realidade virtual que tem como narrativa principal uma viagem feita ao longo do percurso de um “canal veneziano” entre edifícios altos e antigos, com fachadas repletas de vários tipos de janelas e portas adornadas. Varandas e as pontes aproximam-se do espaço do percurso da animação preenchendo o espaço digital.

O workflow/método implementado possibilita ainda o desenvolvimento de conteúdo multimédia através de algoritmos que sintetizam ficheiros digitais sem recurso à programação. Deste modo, abrindo portas tanto à grande maioria de estudantes, como aos interessados em aprofundar o presente método.

Tendo a luz e o movimento como preocupação central comum, foi selecionada e incorporada uma linguagem plástica impressionista tendo em vista uma nova relação preceptiva do utilizador com a “fisicalidade” do meio. A pintura escolhida como “estilo base” possui relevo nas suas pinceladas, brilhos e sombras elevam e dão forma à obra, adicionando tridimensionalidade à bidimensionalidade da tela. Jogo preceptivo que, a par da familiarização do utilizador com referências reais, potencia que este experiencie o espaço da animação com outros sentidos para além do da visão. “However, even vision implies an unconscious ingredient of touch: with our eyes we stroke the edges, surfaces, and details of buildings’’ (Pallasmaa, 1994). “Our response to art stems from an irrepressible urge to recreate in our own brains the creative process-cognitive, emotional, and empathic -though which the artist produced the work” (Kandel, 2012).

2 - workflow que permite a criação de uma imagem equiretangular estilizada a partir de uma cena tridimensional

De forma a conseguir uma animação de um espaço baseado nas referências visuais e com a flexibilidade do digital, foi modelada uma cena tridimensional da qual exportamos o render em forma de imagens equiretangulares, para que estas fossem mapeadas à esfera que compõem o mundo do vídeo da realidade virtual.

O método que permitiria o resultado “perfeito” desejado resultaria da estilização de cada frame do vídeo, uma estilização que seria feita para que cada um deles fosse completamente único na sua composição e estrutura.

Todavia, assim como uma cópia de uma pintura irá sempre ter pinceladas e toques que não são completamente semelhantes ao original e, arrastado pela dura realidade técnica deste vídeo utópico (horas infindáveis de processamento de imagem com os meios atuais), o resultado apresentado é, na verdade, composto por apenas 58 frames realmente estilizados a partir da ferramenta “texture-synthesis”, os restantes frames foram interpolados a partir da aplicação do software “Ebsynth”1.

A ferramenta texture-synthesis é um software desenvolvido por Anastasia Opara e Tomasz Stachowiak publicado pela Embark Studios2. A Texture-synthesis tem como base outras implementações mais antigas3 do mesmo procedimento base, mas com o benefício da evolução tecnológica exponencial dos tempos presentes. Este gera resultados de um efeito de transferência de estilo através de texture synthesis and remixing from a single example. Este algoritmo isoladamente apresenta uma série de características que tornam a sua utilização dispendiosa. Contudo, a comunidade do “Blender” (um software de desenho tridimensional open source) criou uma ponte na forma de um Add-on que estabelece a ligação entre o algoritmo de sintetização de textura e o User interface do Blender4.

Uma das facetas deste algoritmo é a transferência de estilo, ou melhor, um efeito equivalente ou próximo da transferência de estilo. Esta distinção é necessária porque a transferência de estilo é convencionalmente utilizada referindo-se à utilização de algoritmos treinados. O algoritmo utilizado mostra flexibilidade, não precisando de ser treinado sobre determinado conteúdo.

Neural style transfer is an optimization technique used to take two images—a content image and a style reference image (such as an artwork by a famous painter)—and blend them together so the output image looks like the content image, but “painted” in the style of the style reference image5

A Texture synthesis baseia-se na compreensão mecânica do conteúdo visual, o processo desenvolvido aplica uma série de transformações à imagem que lhe permite replicar o conteúdo da imagem base mudando o seu original. Para tal, uma série de etapas foram implementadas para minimizar e corrigir potenciais erros na transformação de conteúdo. Entre as quais a aplicação de filtro como blur sobre a imagem transformada, permitindo assim um resultado mais consistente. Uma outra deveras relevante é a backtracking. Esta permite ao algoritmo voltar atrás no processo de construção do conteúdo e corrigir informação consoante o número de interações designadas. O processo é descrito de forma bastante ilustrativa e clara na apresentação onde a autora da mais recente implementação do algoritmo contextualiza o método usado e as várias etapas da sua criação6.

A ferramenta Ebsynth é um software que produz “example based synthesis”, em contraste com outros algoritmos que têm por base o machine learning. Toma como input; uma sequência de imagens do vídeo base, um conjunto de “frames chave” - keyframes estilizados (que irão influenciar o estilo dos restantes).

“Example based synthesis” implica utilização direta da imagem estilo fornecida. Os processos de estilização direta com base em exemplos necessitam de uma escolha cuidada dos keyframes estilizados para que o software tenha o máximo de informação presente no keyframe para que a estilização seja aplicada eficazmente a mais frames. Sendo que o conteúdo da cena está em constante alteração, este projeto necessitou de 58 keyframes estilizados para que tivesse informação suficiente para processar e renderizar os restantes frames.

3 - Modelação tridimensional, ambiente e animação

O ambiente visual do vídeo final é constituído por dois momentos distintos. Um primeiro, onde é construída e animada a cena na sua globalidade (a partir do Blender); um segundo, a estilização, processado a partir da sequência de imagens base e de uma imagem estilo, usada como exemplo visual.

É importante referir que, nas várias etapas da sua composição, cada decisão influencia o conteúdo visual resultante. A modelação pode ser feita de forma exata com uma abordagem mais ligada à arquitetura que resultará numa linguagem visual com determinadas conotações, ou poderá ser tomada uma abordagem mais estilizada, com ligações ao low poly ou até mesmo modelos esculpidos digitalmente. Estes teriam uma silhueta e uma presença espacial completamente distintas.

Tendo em consideração o leque de experiências estéticas do utilizador, importa utilizar a linguagem, ou conjunto de linguagens, que de forma mais fluida transmita a sensação de envolvimento com o espaço. Estas linguagens estendem-se da modelação dos modelos originais às próprias técnicas aplicadas à câmara digital. Impactantes, mas muitas vezes desleixadas em projetos, o foco da câmara e as definições de renderização de panorama influenciam mesmo que discretamente a perceção espacial do utilizador. A diferentes opções de distância focal e abertura de lente digital, ajudam a aludir a diferentes escalas do espaço.

De forma a atingir uma melhor sensação de relação com o espaço procurou-se estabelecer uma relação entre o conteúdo visual e o ambiente sonoro. Na prática, foram atribuídos sons, de forma espacial, a vários modelos tridimensionais, a sua presença está dependente da distância com a câmara e por sua vez com o utilizador, pronunciando assim as relações com o espaço. Por exemplo, são ouvidos sons de passos quando se passa pela ponte, assim como inícios ou fins de conversa na aproximação a janelas e portas dos edifícios. Tudo acompanhado de uma série de sons ligados à natureza e ao ambiente litoral.

A faixa sonora que compõem grande parte do ambiente audível da cena abraça conscientemente o estereótipo de uma romântica viagem de gôndola por um canal em Veneza. Assim, a relação da faixa sonora com o contexto do vídeo é direta, potenciando o imaginário sobre uma determinada localização geográfica do espaço, como também facilita a homogeneização dos restantes conteúdos sonoros presentes na cena.

Entendemos que, tal como Barthes interpreta um texto, também interpretamos a narrativa visual como sendo feita de escritas múltiplas, “saídas de várias culturas e que entram umas com as outras em diálogo, em paródia, em contestação; mas há um lugar em que essa multiplicidade se reúne, e esse lugar não é o autor, como se tem dito até aqui, é o leitor: o leitor é o espaço exato em que se inscrevem, sem que nenhuma se perca, todas as citações de que uma escrita é feita” (Barthes, 2004).

Durante a construção da cena tridimensional, os modelos foram baseados em formas identificadas em pinturas de Veneza. Este conjunto de referências tiveram grande influência na resultante relação de dimensões entre objetos, assim como as peculiaridades do próprio software de modelação. Sendo a própria exploração das ferramentas parte integrante do trabalho, foram aceites com alguma liberdade todas as limitações técnicas propostas pelos softwares. O resultado: um misto de exatidão de ângulos e linhas retas precisas que contrastam com a compreensão de escalas influenciadas pela bidimensionalidade das pinturas referência.

A influência das referências visuais está também presente na iluminação da cena, assim como está marcada pelo próprio workflow. Várias seriam as abordagens possíveis, mas uma vez que o output do software 3d utiliza uma variação de valores de gray-scale, a construção do ambiente da cena deixa de necessitar uma paleta de cores precisa, facilitando, de certa forma, a iluminação do ambiente. A escolha da iluminação em si, de forma a obter uma forte presença de zonas com contraste de iluminação assim como uma grande presença dos meios tons, resultou de um misto de pontos de luzes em “candeeiros” no contexto da cena e iluminação global. Estas escolhas permitiram, segundo as especificidades do algoritmo de transferência de estilo, um melhor resultado visual.

A pequena animação obtida tem início e fim num túnel escuro. O barco abranda ao entrar até a um momento de quase imobilidade e começa a acelerar, voltando a estabelecer a velocidade prévia. Neste momento, de quase imobilidade, os frames do vídeo terminam e a seguinte animação é a repetição da anterior cena. O vídeo torna-se assim um loop. Com esta solução é permitido ao utilizador entrar na narrativa visual a qualquer momento e que possa escolher quando a experiência termina.

4 - Dificuldades

Muitos são os métodos e algoritmos de criação gráfica automatizada, exibidos em mostras de artigos e de conquistas da ciência computacional. Alguns antigos como o “Deep dream generator”7, contudo ainda são bastante limitados na resolução de exportação e na sua acessibilidade. Métodos como este possuem significativo potencial, mas ainda estão presos nos labirintos da internet pela dificuldade técnica exigida para replicar os resultados. Os algoritmos que superam esta barreira, através de uma interface gráfica agradável e de um uso acessível, são habitualmente impedidos de chegar ao grande público de criadores pelo seu exorbitante preço. Não obstante, a abundância destas ferramentas fez com que finalmente começassem a cair diretamente no domínio público as diversas ferramentas que permitem o desenvolvimento deste conteúdo.

O maior obstáculo do workflow adotado foi, sem dúvida, o tempo de renderização. A renderização dos frames, que se executa a partir do Blender, necessita de ter uma resolução de 5376px x 3024px para que depois da estilização resultem imagens com qualidade que permita a identificação de “pinceladas” individuais. Para a estilização de uma imagem convencional, que não tenha como intuito ser vista como um ambiente de realidade virtual, o processo de renderização e estilização é deveras mais acessível. Isto porque a estilização é aplicada e escrutinada na mesma escala. Os artefactos vindos da estilização são compreendidos na escala da imagem. Em contraste está a imagem equiretangular, usada nas visualizações panorâmicas 360º do espaço, na qual a totalidade do campo de visão da câmara é captado e projetado numa imagem retangular. A imagem equiretangular é criada e processada com a sua escala real, mas é olhada e escrutinada a uma escala muito mais detalhada, dado à natureza da experiência da imagem 360º. O utilizador, em tempo algum, irá experienciar a totalidade da imagem, sendo que, os artefactos e, por sua vez, os detalhes da estilização deverão ter isto em conta. Assim, com a resolução existente no projeto é possível ao utilizador explorar a textura dos frames do vídeo com alguma liberdade.

O uso do output do Blender como imagem base no processo de transferência de estilo, implica estas imagens sejam utilizadas com base no seu valor de luminância, o que facilita a exportação da grande quantidade de frames renderizados. Todavia, estando grande parte do conteúdo visual dependente da aleatoriedade do algoritmo de transferência de estilo, foram frequentes os artefactos resultantes. Destes, o que se manifesta com maior intensidade, toma da forma de compressão da imagem equirectangular tanto no topo como no fundo do espaço visual.

Estas compressões são relativas ao mapeamento da imagem retangular no objeto esférico. Usualmente estas costuras não se mostram presentes devido ao conteúdo delas ser de natureza mais simples como também ao processo mais direto normalmente utilizado na sua elaboração. No presente projeto, o conteúdo foi editado após já estar em forma de imagem equiretangular, ficando assim presentes os artefactos do seu mapeamento. Poderia ter sido desenvolvida uma abordagem de renderização e consequente estilização que tomasse em conta a distorção e mapeamento da imagem equirectangular. Porém, este aspeto provou-se fora das competências abordadas pelo projeto. O aumento da escala da estilização (para pinceladas mais pequenas) reduz o artefacto visível, mas não o soluciona por completo. O funcionamento volátil do algoritmo de estilização impacta também a estereoscopia.

Para que exista a ilusão do espaço tridimensional e para assegurar qualidade da experiência do utilizador é necessário que o conteúdo visual permaneça consistente em ambos os lados, sendo a única diferença influenciada pela ligeira diferença na posição da câmara. Tendo em conta que a aplicação da estilização pode variar ligeiramente dependendo da posição inicial de cada núcleo do CPU no espaço da imagem, e por consequente as seguintes posições enquanto este passa pelas várias etapas de processamento da imagem, não é possível assegurar a consistência visual requerida para garantir o funcionamento do efeito estereoscópico.

Destaca-se ainda, no decorrer do vídeo, uma tremulação da imagem. Esta ocorre devido às inconsistências entre as várias imagens usadas pela ferramenta Ebsynth. A tentativa de ligar o conteúdo visual de cada keyframe é dificultada pela ininterrupta alteração de toda a imagem (o barco move-se pela cena e, na imagem final, a alteração de pontos de focagem é constante). Contudo, novas atualizações ao código base deste software parecem indicar que este tormento técnico será resolvido em breve.

5 - Imersão e Realidade Virtual

A imersão na imagem digital é uma técnica de interface entre o homem e o computador na qual se dá ao operador a sensação de se encontrar no interior de um espaço tridimensional constituído por objetos visíveis com volume (Cadoz, 1994:129). Como facilmente se poderá verificar, muito antes da utilização de técnicas de realidade virtual, a utilização de ambientes imersivos interativos em instalações já era comum em produções artísticas. Efetivamente, a sua exibição tem sido possível recorrendo a dispositivos específicos como HMDs, Shutter-Glasses ou CAVEs8, com os quais os utilizadores podem “navegar” e interagir com cenários que se modificam em tempo real (Eliseu, 2017). Segundo Oliver Grau (Grau, 2003:17), por contraste em relação à simulação, que não tem que ser imersiva, a utilização imersiva de realidade virtual descreve um espaço ilusório dirigido aos sentidos. Nestes espaços ilusórios, o observador recebe uma impressão de movimento ao focar objetos que se aproximam e afastam dele, enquanto, numa pintura, por exemplo, a profundidade é experimentada ou presumida unicamente de acordo com a imaginação (devendo-se parte desta ilusão a técnicas bem conhecidas, como a perspetiva).

Um poderoso efeito da imersão é a capacidade de atrair a atenção. Significa que ficam bloqueadas as distrações e é possível uma concentração seletiva apenas na informação que se deseja. A imersão pode ser mesmo um processo intelectualmente estimulante, mentalmente absorvente, uma mudança, uma passagem de um estado mental para outro e, tal como observou Oliver Grau (2003:13) as obras de arte imersivas podem tornar-se dionisíacas, causando fascínio e excitação no espectador, dado que destroem ou diluem o espaço real, substituindo-o por uma ilusão dos sentidos onde noções de distância, espaço e pensamento perdem parte do seu significado.

Podemos afirmar que a arte pode virtualizar a virtualização, denunciando assim o motor da virtualização (Lévy, 1999). Pois a imagem virtual, longe de desmaterializar ou desrealizar os objetos e os seres, os pode tornar mais reais por atualizar o virtual que eles são, “O real é virtual” (Gil, 2005:109). Portanto, concordamos que não é possível para a arte reproduzir o real na sua plenitude, nem existe esse propósito. Em vez de copiar, a transformação do real é o domínio central e a essência da arte: criação de realidades individuais e coletivas (Grau 2003:17). O que inicialmente consistiu num processo de virtualização do mundo real, pela sua replicação, essencialmente recorrendo a tecnologias de realidade virtual, encontra-se de forma gradual a dar lugar a um processo de materialização de mundos imaginários (Eliseu, 2017).

Durante a segunda metade do séc.XX a realidade virtual, um dos principais frutos dos sistemas computadorizados, foi-se afirmando como uma mais-valia e um recurso criativo pelo desenvolvimento de novas e mais qualificadas formas de interação entre público e instalação artística. Ainda que, frequentemente, os ambientes de realidade virtual desenvolvidos fizessem do utilizador um mero observador, não permitindo que, através das suas ações, pudesse modificar o espaço tridimensional, estes foram utilizados com sucesso no campo artístico, principalmente por permitirem infinitos pontos de vista e o livre posicionamento do utilizador. Atualmente, um ambiente virtual pode, inclusive, criar a sensação de remover os participantes de um dado espaço e substituí-los por um avatar. Esta forte evolução tecnológica vai fornecer ao cinema tradicional novas ferramentas de produção e por outro lado também inicia mudanças nas estratégias de produção, criando novas convenções, transformando géneros, contrariando as tradicionais relações entre a realidade e a sua representação (Eliseu, 2017).

Conclusão

Considerando o âmbito experimental do projeto proposto e do seu essencial componente prático, demonstrou-se um possível caminho à execução de conteúdo imersivo procedural e estilizado para realidade virtual.

O contexto tecnológico que permite este workflow promete um contínuo, senão exponencial, crescimento tanto na produção de conteúdo através de algoritmos complexos, como na sua disponibilidade a investigadores interessados, bem como a um público meramente curioso e alheio a competências de programação.

A nível técnico o projeto cumpriu o enunciado, produzindo um método de trabalho que se estende pelas componentes da multimédia. Indo além da cimentação de conhecimentos técnicos e teóricos curriculares, esperamos ter contribuído simultaneamente para a discussão de investigações futuras.

Somos ainda levados a concluir que não estamos mais apenas perante a imagem fotográfica em movimento, como acontecia no cinema clássico. Todavia, também nos afastamos do tradicional processo de replicação do real comumente associado ao universo mais recente da realidade virtual. Propomos antes um espaço híbrido, onde mais do que a mera representação do mundo, o foco é dar lugar a um processo de experimentação imersiva de mundos imaginários.

Notas

1O software EbSynth usa um conjunto de frames estilizados como guia e propaga de forma inteligente o estilo desse conjunto de frames para toda a sequência de imagens. https://ebsynth.com/

2Texture-synthesis; “Um API robusto e leve para Multiresolution Stochastic Texture Synthesis, um algoritmo não paramétrico baseado em exemplos para geração de imagens.” https://github.com/EmbarkStudios/texture-synthest

3Anteriores implementações; https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/papers/efros-iccv99.pdf

4Programa de código aberto, desenvolvido pela Blender Foundation, para modelação, animação, texturização, composição, renderização, e edição de vídeo. https://www.blender.org/

5Neural Style transfer é uma técnica de otimização usada para juntar duas imagens - uma imagem de conteúdo e uma imagem de referência de estilo - e combiná-las numa imagem que demonstra características visuais da imagem de estilo, mas presentes na estrutura da imagem de estilo.

6Apresentação do funcionamento de “Texture Synthesis” no evento Nórdica Game 2019, https://www.youtube.com/watch?v=fMbK7PYQux4&t=417s&ab_channel=NordicGame

7Deep Dream Generator, conjunto de ferramentas que permite explorar diferentes algoritmos de inteligência artificial. https://deepdreamgenerator.com/

8O conceito CAVE baseia-se num cubo com 3x3x3 metros, que está aberto num dos seus lados. A ilusão de se encontrar dentro de um espaço tridimensional e virtual consegue-se graças à utilização de óculos 3d, bem como às projeções exibidas em todas as paredes e no chão (Lieser, 2009:208).

Bibliografia

Barthes, Ronald. 1967. The Death of the Author. UbuWeb: http://www.ubu.com/aspen/aspen5and6/index.html. Acedido a 13 de Abril de 2021.

Cadoz, Claude. 1994. A realidade virtual. Lisboa: Instituto Piaget.

Dorota Kobiela & Hugh Welchman. 2017. “Loving Vincent” Good Deed Entertainment, USA.

Eliseu, Sérgio. 2017. O mundo como uma CAVE – Estratégias narrativas em realidade aumentada. Faculdade de Belas Artes, Universidade do Porto: Porto.

Pallasmaa, Juhani. 1994. encounters - Architectural essays edited by Peter Mackeith.

Lévy, Pierre. 1995. O Que é o Virtual? Translated by Sandro Patrício Gama Nóbrega. Coimbra: Quarteto.

Lieser, Wolf. 2009. Digital Art. Langenscheidt: h.f. ullmann, 2009.

Grau, Oliver. 2003. Virtual Art: From Illusion to Immersion, London: The MIT Press Cambridge.

Gil, José. 2005. Sem Título, escritos sobre artes e artistas, Lisboa: Relógio D´Água.

Kandel, Eric. 2012. The Biological Response to Beauty and Ugliness in Art [Excerpt]. https://www.scientificamerican.com/article/age-of-insight-excerpt/. Acedido a 13 de Abril de 2021.

Vincent Ward. 1998. “What Dreams May Come” Universal Pictures, USA.