La revolución tecnológica detrás de ‘La Casa del Dragón’ y ‘The Mandalorian’

La semana pasada tuvo lugar en Barcelona una nueva edición de la feria ISE (Integrated Systems Europe), la feria del audiovisual más importante del continente. Tras 16 años en Amsterdam, este ha sido el segundo año en Barcelona. La feria se celebró con éxito de asistencia y participación, con 58,107 visitante de 155 países distintos.

Uno de los temas principales de este año ha sido la generación de efectos en tiempo real. En una de las charlas estrella del ISE 2023, BK Johannsessen, director de negocio de retransmisión y eventos en directo de Epic Games, la compañía detrás de Fortnite y –esto es lo importante, el motor gráfico UnrealEngine–. Johannsessendeclaró con contundencia: «Esto es solo el principio. El futuro es brillante y es en tiempo real».

En esta línea, pudimos asistir a dos charlas, organizadas por el Clúster Audiovisual de Catalunya. Dedicadas ambas a uno de los avances que más está impactando en la industria audiovisual y por ende, en las series: los platós virtuales con pantallas LED. O lo que es lo mismo, el ascenso del arte virtual en los rodajes.

La primera de las charlas fue la titulada «La revolución de los platós virtuales con pantallas LED» y contó con la moderación de Javier Salinas, responsable de la Unidad de Innovación y Producción Audiovisual de la Universidad CEU San Pablo, y la participación de Alex Tomàs, Sales Manager Iberia de Infiled, Toni Mena, CTO de FX Animation Barcelona 3D & Film School, Ruben Plaza, Solutions Specialist EMEA de disguise  y Miquel García, responsable de postproducción de Gestmusic (Banijay Iberia).

David Gray (en el medio) junto a la organización de las ‘Tech talks’ del ISE y Eduard Gil, manager del Clúster Audiovisual de Catalunya (derecha).

El avance tecnológico que suponen las pantallas LED y la generación de efectos a tiempo real, con Unreal Engine siendo el motor gráfico más usado, está volviendo a poner en uso una máxima clásica del cine: que los efectos sean captados por el objetivo de la cámara. De esta forma, se retorna a un set en el que los decorados (ahora virtuales) vuelven a tener presencia. Eso acelera y abarata los procesos de producción respecto a las pantallas de croma y el dejarlo todo en manos de la post-producción. «Es el año de los platós virtuales» apuntó Javier Salinas y no le falta razón. En esa primera charla pudimos comprender de primera mano el impacto real que se está notando ya en la industria local.

Lo cual fue ideal para llegar a la siguiente charla con los conceptos claros. Se trataba de «Lux Machina & Virtual Production: What’s Behind House Of The Dragon, The Mandalorian Or Bullet Train?». En ella, David Gray, Managing Director de la empresa Lux Machina, nos contó los pormenores de la producción virtual y los efectos especiales en cámara (a partir de ahora, ICVFX).

Su charla giró en torno a los procesos que utiliza Lux Machina, empresa líder en platós virtuales utilizados en series como The Mandalorian. Así como de las tecnicidades de una práctica que está revolucionando los rodajes. La creación de efectos especiales en tiempo real facilita que sea la propia cámara la que capte los efectos. Um hecho que, según Gray, «enriquece y abarata el proceso, además de hacerlo colaborativo entre los distintos departamentos» de un rodaje.

Gracias a esta revolución, la pre-producción y la producción está recuperando peso en importancia respecto a la post-producción. Lo cual da pie a una convergencia de roles muy interesante, además del ascenso de un nuevo departamento como es el del arte virtual. De todo ello, y de cómo está afectando esta revolución al mundo de las series, pudimos hablar directamente con David Gray en esta entrevista:

Pregunta: ¿Puedes explicarnos por qué es tan importante esta nueva tecnología de la que nos hablas, los efectos en cámara y el uso de pantallas LED?

David Gray: Sí, el principal beneficio de esta tecnología es el tipo de colaboración que fomenta en el set pues supone que todo se pueda ver en el monitor y que todos los que trabajan en el set lo puedan ver. El director de fotografía, el departamento de arte, el director…pueden ver lo que sucederá en ese monitor.

En especial para películas de gran presupuesto, con muchos efectos especiales, donde quizás se pasan medio año frente a una pared verde para cromas, esto supone un alivio, pues puede ser un ambiente muy cargante. Creo que fue Ian McKellen quien dijo después de rodar El Hobbit que no quería volver a trabajar en un estudio lleno de paredes verdes. 

Así que los ICVFX y las pantallas LED dentro de lo que llamamos “The Volume”, les permite, por ejemplo, a los actores y actrices volver a estar cerca de un entorno y un mundo más tangible, cerca de la experiencia real. En lugar de hacerles actuar frente a una pelota de tenis enganchada a un palo, podemos crear personajes virtuales con los que pueden interactuar mejor.

P: Parece en parte, un retorno a técnicas antiguas como la retroproyección o el matte painting ¿Qué supone esto para la industria?

D.G: Supone todo un cambio y es muy interesante porque con los métodos de antes, hacer cine suponía hacerlo prácticamente todo antes (y durante) de la producción. Y luego, todo cambió a partir de los 90 cuando los efectos especiales cambiaron la manera de producir. Entonces, la post-producción pasó a ser lo más importante. Nos hemos acostumbrado a este sistema los últimos veinticinco años pero ahora estamos volviendo al sistema de antes y los métodos tradicionales. El cine, en realidad, se mueve muy lentamente a nivel técnico. Realmente, se han hecho las cosas de la misma forma durante 100 años, hemos cambiado del analógico al digital pero los roles son prácticamente los mismos.

«La fusión entre lo digital (o virtual) y lo físico es donde se produce la magia».

Y es normal que al inicio de una revolución tecnológica haya miedo a perder trabajos, la gente teme que la tecnología suplante su trabajo pero no es así. Al contrario. Por ejemplo, el departamento de arte es ahora más importante que nunca para aportar conocimiento y artesanía a la creación de espacios, de lugares, para saber cómo deben ser. Unir sus habilidades en colaboración con el departamento de arte virtual es la clave ahora mismo.

Cuando esta tecnología LED empezó a arrancar, surgió como una herramienta basada en los efectos visuales y no creo que deba ser eso. Creo que debería ser una herramienta para la fase de pre-producción, para el departamento de arte y el diseñador de producción. Estos son los departamentos que deberían liderar el proceso de diseño y luego, cuando pasamos a la producción, debería ser una herramienta para el director de fotografía, por ejemplo, ya que se trataría de ajustar la luz que entraría en cámara.

En ese momento, el departamento de arte ya tendría todo completo pero aún así, la tecnología les permitiría seguir modificando y arreglando elementos. Las oportunidades son infinitas. Y luego todo llega al equipo de efectos especiales con una gran riqueza de datos e información, lo cual ayuda a que sea todo más completo y ágil. 

P: Hablas del departamento de arte virtual. ¿Cómo se lo describirías a un público general?

D.G: Se están añadiendo nuevos departamentos en el proceso cinematográfico que, como sabéis, sigue teniendo casi los mismos departamentos que siempre: dirección de arte, producción, equipo de cámaras, dirección de fotografía etc. Ahí es donde entra el nuevo departamento de arte virtual, que traduce todos esos elementos en una escena virtual que se verá en un “volumen” (o set LED) o incluso antes, en la fase de previsualización.

Así que tenemos al departamento de arte virtual formado por artistas digitales creando elementos digitales. Por otro lado también tenemos al equipo de operaciones técnicas, donde encontramos una mezcla formada por operadores del motor gráfico, supervisores que traducen los datos y la información, los operadores de las pantallas LED, los operadores de cámaras de captura de movimiento…En general, como ves, son perfiles que también provienen de otras industrias como las del videojuego, por ejemplo. 

David Gray en un momento de su charla.

Todas estas habilidades y nuevos roles, además deben funcionar entre sí a un nivel de lenguaje. Por lo que el departamento de arte debe saber qué necesita el departamento de cámara y qué supone poner un objeto determinado a nivel de cámara. Hay un proceso de aprendizaje continuo que es muy enriquecedor. Solo hace falta tiempo para que la gente se acostumbre y aprenda cómo funciona para que todo ese posible nerviosismo se disipe. 

P: ¿En última instancia, gracias a esta tecnología todo en un set será virtual en lugar de físico?

D.G: Creo que la fusión entre lo digital (o virtual) y lo físico es donde se produce la magia. Aún queda más por desarrollar pero se trata de facilitar el trabajo a los creadores, de abrir las posibilidades de colaboración para que entiendan bien cómo funciona esta tecnología interactiva. Por ahora es algo virtual pero a la larga, sucederá todo a tiempo real. Los motores gráficos y los workflows que habrán ayudarán a eso. Ya ha pasado con Avatar, que ha sido muy importante para aportar esa inmediatez física. Pero no hay que olvidar que esto es solo una herramienta, como el croma, el matte painting en su día. Es solamente una nueva herramienta para los creativos, no una solución mágica, sino una herramienta más en su estuche. 

P: ¿Y crees que como espectadores notamos estas diferencias, como el caso mencionado de Ian McKellen, por ejemplo, en las interpretaciones? 

D.G: Es una pregunta muy interesante, ver cómo la tecnología afecta a las interpretaciones de los actores. Un director dijo que el cambio al digital le permitió tener más tiempo y libertad para trabajar con los actores, por ejemplo, revisar lo rodado con ellos, visualizar y dar instrucciones con ello. Por eso creo que esta tecnología también dará pie a desbloquear ciertos matices y mejoras en la relación con los actores. Disponer de la materialización que supone ver todo lo creado en cámara enriquecerá sin duda la experiencia en el set. Es de lo que se trata.

«La producción virtual ayudará a acelerar tanto el ciclo de producción que así la alta demanda de contenido se podrá abastecer. Pero aún tardaremos un tiempo en verlo».

P: Cada vez tenemos más series blockbuster de gran presupuesto. Históricamente, al público de las series le preocupaban más los personajes y las historias pero, ¿crees que esto está cambiando? ¿Es el público de series es más exigente en cuanto a los efectos y el aspecto visual?

D.G: No creo que necesariamente la gente de fuera de la industria vaya a ver una serie por sus avances tecnológicos. Como pasa con el cine, parte del público va a ver blockbusters por las explosiones, otros porque les gusta la fantasía. Creo que se trata más bien de un empujón hacia conseguir ver las historias que nos gustan de la mejor manera posible. Yo por ejemplo soy un geek del tema y claro, veo Avatar y estoy todo el rato pensando “el 3D es fantástico” pero la mayoría del público solo piensa en el espectáculo de la película en sí misma. 

Sí que pienso que como con todo, cuando el listón de la calidad sube, es difícil volver a lo anterior. En este sentido, sí que el público es más exigente.

P: ¿Como cuando sale una nueva consola y ya no puedes volver a la antigua por culpa de los gráficos viejos?

D.G: Exacto. De hecho, los efectos en tiempo real serán cada vez mejores y los resultados captados por la cámara serán tan buenos en el set que, gracias al resultado final, el público se acostumbrará a ese nivel de calidad. Es como lo que sucedió en su día con Los Soprano a nivel de calidad narrativa o la revolución que causó Perdidos.

Así luce ‘La Casa del Dragón’ gracias a ‘The Volume’.

La calidad de la series ha ido subiendo y más aún con las plataformas y el dinero que se gastan en producciones de alto presupuesto, comparado con los presupuestos de televisiones como por ejemplo, la BBC. Netflix o Apple están haciendo subir la calidad visual del producto y creo que habrá un efecto goteo que hará que la mayoría de producciones puedan permitirse buenos efectos. Aunque seguirá habiendo personajes cuyo encanto será precisamente la falta de efectos de gran nivel, como en Doctor Who.

P: Recientemente hubo polémica con Marvel y el abuso que hace con las compañías de efectos especiales. Parece que hay tanta demanda que no se da abasto. ¿Crees que existe cierto abuso?

D.G: El gran problema de Marvel es que retrasa las decisiones hasta el último segundo (risas). Pero sí, la cantidad de contenido que piden las plataformas para alimentar su catálogo es enorme. Y ahora mismo, lo positivo de los ICVFX es que pueden evolucionar hacia ritmos de trabajo más rápidos que serán beneficiosos para satisfacer esa demanda.

Esta nueva tecnología digital permitirá que surjan oportunidades para volver a revivir géneros como las épicas bélicas o el western.

En cuanto los departamentos de arte virtual, diseño de producción, fotografía y realización adopten esta herramienta lo más temprano posible, en la fase de planificación, los tiempos de producción en el rodaje se irán reduciendo exponencialmente, también los de post-producción. Por eso creo, y en referencia al problema de los efectos en Marvel, francamente, que la producción virtual ayudará a acelerar tanto el ciclo de producción que así la alta demanda de contenido se podrá abastecer. Pero aún tardaremos un tiempo en verlo porque se necesita un cambio de mentalidad en la industria.

P: A nivel de efectos especiales, ¿cómo ves el mundo de las series en 5 o 10 años? 

D.G: Ya se están realizando nuevos formatos con las herramientas de las que hablamos y las que estamos desarrollando. Por ejemplo Netflix tiene programa de baile (Dance Monsters) que es un buen ejemplo de la tecnología de captación de movimiento aplicada a otro tipo de experiencia. 

Sí, los próximos 5-10 años serán asombrosos en este sentido. No sé si entonces aún usaremos pantallas LED o si la inteligencia artificial habrá suplantado el proceso de creación en tiempo real y lo podremos ver todo al momento. Lo que es excitante es que no sabemos realmente lo que pasará y cómo evolucionará. 

«He visto a directores de fotografía llegar al set y tratar “The Volume” como un simple fondo digital y colocan sus luces como si nada, delante de las pantallas.»

P: ¿Veremos una serie con efectos del nivel de Avatar?

D.G: Teniendo en cuenta que han tardado 12 años entre la primera Avatar y la segunda, veremos (risas). Pero sí, en los próximos años, toda esta evolución permitirá que las series de televisión tengan acceso a esta tecnología, de la misma forma que los efectos especiales se democratizaron, esta nueva herramienta también lo hará y los costes y los tiempos disminuirán. Que más y más gente tenga acceso a esta tecnología será muy interesante porque puede permitir que otro tipo de mentes creativas se interesen por ella. 

Por ejemplo, en el campo de los efectos especiales nos hemos preocupado mucho por crear entornos que sean fotorrealistas pero espero que esta democratización provoque que gente creativa al cargo de escenarios, videoclips, videoarte, etc…sean capaces de utilizar esta herramienta y crear ambientes espectaculares o abstractos, que se alejen del fotorrealismo y sean más creativos. Pienso que será muy interesante de ver en el futuro. 

P: Tengo la sensación que si series como Roma o Deadwood hubieran gozado de esta tecnología no hubieran sido canceladas bruscamente por sus grandes presupuestos y decorados enormes ¿Puede que esta tecnología permita revivir géneros clásicos algo olvidados, más allá de la fantasía, la ciencia ficción o los superhéroes actuales?

D.G: Esa es una cuestión muy interesante. De hecho, la reciente 1899 de Netflix es un buen ejemplo de ello, con el uso de cientos de figurantes digitales. Philipp Klausing uno de los productores de la serie, que ha trabajo supervisando los efectos, dijo: “No puedo tener una partida de presupuesto destinada a 150 figurantes pero sí que puedo recurrir a efectos especiales, crear los figurantes y utilizarlos tantas veces como necesite”. 

Así que pienso que sí, esta nueva tecnología digital permitirá que surjan oportunidades para volver a revivir géneros como las épicas bélicas o el western. Me gustaría que sucediera, la verdad. 

«Creo que será muy excitante ver las cosas que la IA nos permitirá hacer. Será un salto de calidad impresionante».

P: Como espectadores de series, si pensamos en efectos especiales, lo primero que nos viene a la cabeza es un Dragón de Juego de Tronos, por ejemplo. Pero, ¿me podrías citar algún ejemplo de uso de los efectos especiales en cámara que quizás no hayamos notado nunca como espectadores?

D.G: Mmm, creo que muchos espectadores se sorprenderían de la cantidad de escenas dentro de coches en las que utilizamos LEDs para el fondo de las ventanas. Sobre todo desde hace cinco años. A eso le llamamos producción virtual invisible, porque no lo ves a menos que te fijes específicamente en ello. Por eso funciona como efecto. 

También me viene a la mente, a una escala más grande, el puente de Dragonstone en La Casa del Dragón. Imagino que, darse cuenta o no de los efectos, depende también del nivel de implicación en la historia que tenga el espectador. En especial en grandes producciones que la gente ve por el espectáculo y la historia, si están centrados en ello, no se fijan en los efectos. Y lo puedes ver en Disney y Star Wars, comparando The Mandalorian y Obi-Wan Kenobi, pues mucha gente criticó los efectos especiales de la última. 

Una escena de ‘The Mandalorian’.

P: Ya, es cierto,¿Por qué los efectos de Obi-Wan Kenobi se notaban más que los de The Mandalorian? Recuerdo tener esa sensación al verla. Parece que Dave Filoni y Jon Favreau supieron darle partido a “The volume” y en cambió el equipo de Obi-Wan Kenobi hizo que se notara mucho más y todo se viera como más limitado de espacio. ¿Influye la planificación en esto?

D.G: Sí, éste es otro tema interesante pues pienso que para tener buenos efectos con “The Volume” hace falta gente con mentalidad de efectos especiales en los dos lados de la producción. Jon Favreau lleva años liderando la industria en films con grandes efectos especiales (Iron Man, El libro de la selva) y tiene este tipo de mentalidad. Hay dos tipos de mentalidades en estos casos: las creativas y las técnicas. Normalmente los directores de fotografía aúnan estas dos mentalidades.  Si no, lo que se necesita es gente de las dos mentalidades trabajando juntos. Y en especial, gente dispuesta a comprometerse con el proceso y sacarle el máximo de provecho. 

He visto a directores de fotografía llegar al set y tratar “The Volume” como un simple fondo digital. Colocan sus luces como si nada, delante de las pantallas. Y en cambio, he visto otros directores de fotografía abrazar la tecnología y empaparse de conocimiento para cambiar la luz del escenario virtual creado, manipulando el equipo ellos mismos, tocando el color, iluminando a personajes con la propia pantalla LED, etc. Así que como todo, llevará su tiempo porqué la gente se adapta en distintos ritmos pero eso demuestra que se puede utilizar la tecnología en el set con efectos creativos de una forma muy eficiente. 

P: Has estado reivindicando mucho la importancia de los equipos y las personas, el factor humano. Estos días se habla mucho de la inteligencia artificial (IA), ¿cómo te sientes respecto a ella? ¿Veremos series hechas enteramente por una IA?

D.G: Este será un año de avances muy rápidos en inteligencia artificial. Lo hemos visto con ChatGPT. Creo que en uno a cinco años, a corto plazo, será una herramienta que nos permitirá ser más creativos porque eliminará los procesos más mundanos y repetitivos. La inteligencia artificial es muy buena con los patrones y en última instancia, las artes visuales o la música son patrones. ¿Creo que la IA nos reemplazará en nuestro trabajo ahora mismo? No, pienso que será una herramienta útil. Pero a largo plazo, en 5-10 años? Quién sabe. 

Detrás de las cámaras en ‘The Mandalorian’ en un plató virtual.

P: ¿No te asusta la IA entonces?

D.G: No. Creo que será muy excitante ver las cosas que la IA nos permitirá hacer. Será un salto de calidad impresionante. Los creadores de contenido podrán acceder a crear ambientes digitales de forma más fácil, en redes como Tik-Tok, por ejemplo y habrán auténticas virguerías. 

De una forma, será la auténtica democratización del proceso cinematográfico. Una auténtica revolución. Algo que en su día, hacia los años 2000 parecía que debía suceder, con las cámaras digitales baratas pero a la larga no ha sido así. Pues aún así, necesitas experiencia, trabajar con un equipo en colaboración y creatividad para hacer un producto a la altura. Incluso teniendo iPhones necesitas ciertos conocimientos para que luzca bien y las cámaras digitales de alto nivel siguen siendo caras. Esa democratización nunca ha llegado del todo.  En cambio, la IA sí puede llegar a provocar una democratización total a nivel técnico, tan solo hará falta creatividad, que es la base de cualquier proyecto así. 

P: Para terminar, ¿qué series actuales estás disfrutando más?

D.G: De hecho, lo último que he disfrutado ha sido 1899 en Netflix, pero por desgracia la han cancelado. La casa del Dragón me gustó mucho también. Y quiero ver The Last of Us, pero esperaré a acabar el final de Better Call Saul antes, que lo voy arrastrando. 

P: Muchas gracias por tu tiempo y toda esta esta explicación tan interesante. ¡Acaba ya Better Call Saul y ponte con The Last of Us!

D.G: (Risas), muchas gracias a vosotros…¡Así lo haré!