Guilherme Martins

WORKSHOP CRIAÇÃO MULTIMÉDIA

Metamorfose II https://www.facebook.com/groups/587572031331479/

Iluminação com video !O video quando usado em projecção no palco é acima de tudo luz em movimento e como tal, pode sempre ser usado como um meio de iluminação.

Aspectos a ter em conta:

- o video e a luz de palco convencional são complementos um do outro e nunca se devem sobrepor;

- o desenho de video e o desenho de luz devem sempre convergir num único sentido, caso contrário tornam-se inimigos;

- a luz do video é fria, a luz de palco pode ser quente

Einstein Dreams, Rui HortaGotheborg Opera, Suécia

http://youtu.be/ESWnAV3dMhU

Performance vs Qualidade !projecção fluida com qualidade mínima aceitável VS projecção de alta resolução e com pouca performance

http://gizmodo.com/5093670/giz-explains-every-video-format-you-need-to-know

Os principais formatos: • AVI (Audio Video Interleave) is Windows' standard multimedia container• MPEG-4 Part 14 (known to you as .mp4) is the standardized container for MPEG-4• FLV (Flash Video) is the format used to deliver MPEG video through Flash Player• MOV is Apple's QuickTime container format• OGG, OGM and OGV are open-standard containers• MKV (Mastroska) is another open-specification container that you've seen if you've ever downloaded anime• VOB means DVD Video Object. Guess what? It's DVD's standard container, and what you get when you rip a DVD.• ASF is a Microsoft format designed for WMV and WMA—files can end in .wmv or .asf

Para cada formato acima descrito existem diversos codificadores possíveis (codecs). Um codec é um encapsulador de informação que armazena mais ou menos bytes num ficheiro mantendo mais ou menos qualidade. Para visualizar um video precisamos que o nosso player tenha um descodificador compatível. Existem codecs para audio e para video. !VLC Media Player: http://www.videolan.org/vlc/

A minha eleição para LIVE VIDEO: formato: .mov e codec: PhotoJPEG !PhotoJPEG porque é um formato sem compressão, cada frame é uma imagem JPEG, isto faz com que o reprodutor (player) tenha mais performance porque não necessita de descodificar.

Baixa Performance: !

computador (CPU, GPU, RAM) antigo !

video de grandes dimensões !

codec inapropriado !

formato inapropriado

Alta Performance !

computador (CPU, GPU, RAM) recente !

video de dimensões reduzidas (qb.) !

codec apropriado !

formato apropriado

LIVE VIDEO, VIDEO PERFORMANCE, VJ

vários videos a tocar em simultâneo video cross-fade

processamento de efeitos loop e sampling

VS

Fidelidade de reprodução: O que vemos no ecran do computador e o que vemos na projecção: !Sempre que temos um output de um computador, seja uma impressão, um som, ou um video, é necessário ter em conta os meios e os suportes de reprodução. !Neste caso estamos a falar de projecção de video, os elementos que pesam na qualidade da reprodução de video podem ser: !- A marca, modelo, estado da lâmpada do projector; - O suporte de projecção (ex: tela de projecção com mais ou menos ganho/teor de reflexão); - Luz ambiente, luz solar, luz de palco. !

Quando criamos conteúdos visuais para palco, é uma boa prática reservar tempo para retocar tonalidades no video (brilho e contraste).

Produzir conteúdos visuais para espectáculo implica uma grande convergência entre todos os envolvidos: - cenografia, encenação, coreografia, performers, técnicos audiovisuais. !Pré-produzir um video/animação implica uma coreografia precisa, em que o performer tem que estar em sintonia com o video e vice-versa.

Video previamente produzido VS Video Interactivo

Einstein Dreams Gotheborg Opera, Suécia

http://youtu.be/ESWnAV3dMhU

Adobe Premiere

Apple Final Cut Pro

Se queremos editar uma filmagem, cortar, colar, fazer transições e efeitos simples existem ferramentas especificas para estas funções, chamam-se Ferramentas de Edição.

Video previamente produzido VS Video Interactivo

Animação, Composição-Video, FX, CG, Motion Graphics.

Ferramentas em que a imaginação é o limite:

Autodesk Combustion Adobe After Effects

Apple Motion

Video previamente produzido VS Video Interactivo

Conteúdos visuais interactivos permitem que o performer não esteja “agarrado” a uma linha temporal (timeline). !Existe uma dança simbiótica entre o performer e o video. !Terminologia comum: Sistema de detecção (tracking); Visão por computador (computer-vision); Sistemas de particulas e agentes interactivos; Processamento em tempo-real.

.txt http://vimeo.com/7441635

Video previamente produzido VS Video Interactivo

Sincronização de Video com Luz e Audio Arduino Shield DMX Arduino Shield MIDI

http://arduino.cc

Wireless MIDI Tx/Rx http://www.m-audio.com/products/en_us/MidAir.html

Wireless DMX Tx/Rx http://www.lightronics.com/wrlss_bxs.html

SOFTWARE HARDWARE

HARDWARE SOFTWARE

Através de software e hardware específico é possível criar interfaces de sincronização entre os diversos meios.

TUDO pode comunicar com TUDO, apenas depende se estamos a lidar com sistemas abertos, ou sistemas fechados.

Protocolos de comunicação entre:

MIDI (audio) - http://en.wikipedia.org/wiki/MIDI DMX (luz) - http://en.wikipedia.org/wiki/DMX512 OSC - http://opensoundcontrol.org/introduction-osc

MIDI e DMX requerem uma ligação física (cabo) e a comunicação é efectuada através de impulsos eléctricos. No entanto existem emissores e receptores wireless para ambos os sistemas: !!OSC é um protocolo de rede (TCP, UDP) e permite logo à partida que a ligação seja efectuada sem fios (WIFI, BLUETOOTH).

Interfaces de controle Audio / Video

Uma interface permite-nos desprender do teclado e do rato dando uma maior naturalidade no controle de aplicações de video / audio ao vivo (VJ e DJ).

Trigger Finger

ReactTable

TouchOSC for IPhone and IPad

Lemur

Multi-Projecção !Módulos de expansão Matrox DualHead2Go e TripleHead2Go !Multi-projecção implica a utilização de dois ou mais projectores, criando assim uma projecção de grande dimensão. !Utilizando módulos de expansão de desktop, é possível usar dois, três ou mais projectores em simultâneo. !Pontos fortes: - baixo custo - simplicidade e rapidez na configuração e instalação !Pontos fracos: - necessário computador de alta performance para processar video de grandes dimensões. !!!!!http://www.matrox.com/graphics/en/products/gxm/th2go/ !

Matrox TripleHead2GO

Matrox DualHead2GO

INPUTvindo do computador

RIGHT

CENTER

LEFT

DoubleHead2Go

TripleHead2Go

O computador detecta um dispositivo, como se fosse um monitor de grandes dimensões. !A Matrox encarrega-se da distribuição do sinal de video para os diferentes monitores.

Resoluções possíveis (entre outras):

DualHead2Go: 1600 x 800 - 2048 x 768

TripleHead2Go: 2400 x 800 - 3072 x 768

Multi-Projecção com um computador por projector: !Tendo um computador por cada projector torna possível a utilização de um vasto número de projectores. !Este sistema requer um computador servidor, em que a sua função é enviar informação de controle por rede para todos os outros computadores. !Pontos fortes: - permite projecção de grandes dimensões - fluidez e performance visto que cada computador só processa o video que está a projectar !Pontos fracos: - muitos computadores - configuração de rede - falhas de comunicação !Exemplos de software: !Dataton Watchout - http://www.dataton.com/watchout Multiscreener (cycling74) - http://www.zachpoff.com/software/multiscreener/ MostPixelsEver (processing) - http://www.shiffman.net/2007/03/02/most-pixels-ever/

Multiscreener

PUMA L.I.F.T.

Feito com Multiscreener, 11 computadores, 10 projectores http://www.youtube.com/watch?v=TM8DA830xng&feature=player_embedded

Edge-Blend:

http://paulbourke.net/texture_colour/edgeblend/

Quando precisamos de uma projecção de grandes dimensões, um único projector pode não ser suficiente.

Os projectores de gama profissional têm esta funcionalidade, no entanto pode também ser desempenhada por software.

Edge-Blend é o nome que se dá à técnica de suavizar a “colagem” entre duas projecções.

Edge-Blend:

Edge-Blend:

Criação Video !Visualização: !Como qualquer processo criativo, o conceito de uma obra forma-se a partir de um aglomerado de ideias. !Cabe a um artista visual conceber visualizações dessas mesmas ideias através de esboços, maquetes virtuais ou reais, para em conjunto com o criador (encenador, coreógrafo, etc.) se irem tomando decisões acerca da estética da obra, do sistema e desenho de projecção e restantes media (luz, audio, adereços, figurinos, etc).

TalkShow, Rui Horta

Criação Video - Visualização

TalkShow, Rui Horta

TalkShow, Rui Horta

Criação Video - Visualização

TalkShow, Rui Horta CCB, Lisboa

TalkShow, Rui Horta CCB, Lisboa

TalkShow, Rui Horta CCB, Lisboa

TalkShow, Rui Horta CCB, Lisboa

TalkShow, Rui Horta CCB, Lisboa

TalkShow, Rui Horta CCB, Lisboa

Criação Video !Coreografar o video:

TalkShow, Rui Horta CCB, Lisboa

http://youtu.be/EUJB3v3zpIU

Criação Video !Quem apareceu primeiro, a coreografia ou o video?

TalkShow, Rui Horta CCB, Lisboa

Criação Video !Quem apareceu primeiro, a coreografia ou o video?

TalkShow, Rui Horta CCB, Lisboa

http://youtu.be/P-B3tFYC8D4

4′33” (Tributo a John Cage)Casa da Música, Porto

4′33” (Tributo a John Cage)Casa da Música, Porto

4′33” (Tributo a John Cage)Casa da Música, Porto

4′33” (Tributo a John Cage)Casa da Música, Porto

4′33” (Tributo a John Cage)Casa da Música, Porto

http://youtu.be/XcAfVkhslq4

Local Geographic, Rui Horta !CCB, Lisboa

Multi-Projecção com módulos de expansão Matrox DualHead2Go e TripleHead2GoLocal Geographic, Rui Horta !CCB, Lisboa

Local Geographic, Rui Horta !CCB, Lisboa

Projection Masking - “Overlay Alpha Mask” !Usar uma máscara com transparência que possibilite o recorte perfeito da silhoueta da superficie a ser projectada. !A máscara consiste num ficheiro em formato .PNG com transparência (Alpha Channel).

Projection Masking !Esta máscara é gerada a partir de uma fotografia tirada no local exacto onde está a lente do projector. Desta maneira sabemos que tanto a perspectiva como a silhueta da área de projecção estão correctas.

WORKSHOP VIDEOFlowering Tree, John Adams

Fundação Calouste Gulbenkian, Lisboa

WORKSHOP VIDEOFlowering Tree, John Adams

Fundação Calouste Gulbenkian, Lisboa

WORKSHOP VIDEOFlowering Tree, John Adams

Fundação Calouste Gulbenkian, Lisboa

Flowering Tree, John Adams

Fundação Calouste Gulbenkian, Lisboahttp://youtu.be/-lx-EcERcKI

Pedro e Inês, O Bando !Teatro Carlos Alberto, Porto

Pedro e Inês, O Bando !Teatro Carlos Alberto, Porto

Pedro e Inês, O Bando !Teatro Carlos Alberto, Porto

Pedro e Inês, O Bando !Teatro Carlos Alberto, Porto http://vimeo.com/24128832

Projection Mapping !Mapear superficies de modo a que sirvam de suporte à projecção. Estas superfícies podem ser volumétricas, irregulares, curvas, etc. !Existem diferentes técnicas para atingir diferentes resultados: !3D: é recriado virtualmente todo o ambiente de projecção, desde as superfícies sólidas ao próprio projector. Torna-se assim possível criar animações 3D por cima dos sólidos dando uma nova noção espacial e volumétrica a toda a projecção. !Keystone Digital (Quad Warp): através de ferramentas de keystone digital, os erros de perspectiva são corrigidos e a projecção é alinhada com a superficie que normalmente é plana. Pouca versatilidade para superficies complexas. !Quad Warp e Mesh Warp: O mesmo acima citado mas desta vez é criada uma rede de multiplos pontos de controle. A imagem pode ser distorcida em diversas áreas independentemente ou em simultâneo.

Video Mapping - Quad Warp !Através de quatro pontos de controle, os planos de video podem ser ajustados às superficies. !

Paint Me Uma ópera de Luís Tinoco e Stephen Plaice

Culturgest, 2010

Esboço do cenário, Rui Horta

Visualização do cenário em 3D

estação carruagem zona de fantasia

Paint Me Culturgest, Lisboa

Estudos do sistema de projecção

1 projector por cada área de projecção

1 projector por cada superfície de projecção

Paint Me Culturgest, Lisboa

Maquete da área de Fantasia

Paint Me Culturgest, Lisboa

Paint Me Culturgest, Lisboa

Paint Me Culturgest, Lisboa

Paint Me Culturgest, Lisboa

Paint Me Culturgest, Lisboa

Paint Me Culturgest, Lisboa https://www.youtube.com/watch?v=7j3DPwGHLuE

Paint Me Culturgest, Lisboa https://www.youtube.com/watch?v=xwja_nB1PI0

Legendagem em tempo real !Legendagem em tempo real pode ser conseguida através de diversos métodos, tudo depende dos meios disponíveis: !- dupla-projecção com slideshow em sobreposição !- slideshow sobreposto a um video na mesma projecção Flowering Tree

Fundação Calouste Gulbenkian, Lisboa

Flowering Tree Fundação Calouste Gulbenkian, Lisboa

Chroma Key !Chroma key consiste em subtrair uma cor “chave” de uma imagem e desta maneira mostrar uma outra imagem que se encontre num plano anterior. !

Chroma Key !Chroma key consiste em subtrair uma cor “chave” de uma imagem e desta maneira mostrar uma outra imagem que se encontre num plano anterior.

Autodesk Combustion Final Cut Pro

Adobe After Effects

A maioria das ferramentas de edição e criação de video têm a possibilidade de efectuar Chroma Key, cada uma com as suas funcionalidades específicas. !!No entanto existem também a possibilidade de fazer o mesmo em tempo real.

http://cycling74.com

Arduino

http://arduino.cc

Maxuinohttp://maxuino.org !http://www.maxuino.org/video

Einstein VideoPlayer

Project initiated by Guilherme Martins during a dance performance entitled "Einstein Dreams" created by Rui Horta. All this took place at Göteborg Opera in Sweden, September of 2010. !Current features: !- playlist based on alphanumeric order - parametric crossfade between videos - parametric fade in and out to black and/or white - keystone / corner-pin adjustment - record and load custom presets - mask overlay with a PNG with transparency - customizable cue list to control everything - opensource GNU license !DOWNLOAD: !http://files.artica.cc/Einstein_v105.zip !https://github.com/Artica/EinsteinVideoPlayer

https://www.youtube.com/watch?v=bj91PCjmRAA

Tool Making: Processing - processing.org Max/Msp/Jitter - cycling74.com QuartzComposer - link VVVV - vvvv.org TouchDesigner - derivative.ca openFrameWorks - openframeworks.cc !Frame Router: Syphon (frame router) - syphon.v002.info !Video Mapping: Mesh Warp Server - http://meshwarpserver.org/ Video Projection Tools - hcgilje.wordpress.com/resources/video-projection-tools MadMapper - madmapper.com !VJ: VDMX - http://www.vidvox.net/ Archaos - www.archaos.org Modul8 - www.modul8.us Freeframe (linux) - http://freeframe.sourceforge.net/downloads.html !Multi-Projecção MostPixelsEver (Processing) - http://www.shiffman.net/2007/03/02/most-pixels-ever/ Multiscreener, Free Synchronized Multi-Channel Video Player (MAXJITTER) - http://www.zachpoff.com/software/multiscreener/

!

VIDEO TOOLS: !3L http://thrill.artificialeyes.tv/ CoGe http://coge.lovqc.hu/ Flowmotion http://www.robotfunk.com/ Gephex http://www.gephex.org/ glitchNES http://www.no-carrier.com/glitchnes.html GRAND VJ http://www.arkaos.net/ Livid Cell http://www.lividinstruments.com/software_cell.php Mabuse http://mabuse.co.uk/ Modul8 http://www.garagecube.com/modul8/index.php Motion Dive Tokyo http://www.digitalstage.jp/mdt/index.php Moldeo http://www.moldeo.org/ MXWendler http://www.mxwendler.net/ Onyx-VJ http://www.onyx-vj.com/ Processing http://www.processing.org/ Puredata http://puredata.info/ Quase-Cinema http://www.quasecinema.org/ Resolume Avenue http://www.resolume.com/avenue/ Salvation http://www.harrisondigitalmedia.com/ SoYuZ http://www.vjsputnik.com/ VJ4live http://www.vj4live.com/ Videator http://www.stone.com/Videator/ VIP 5.0 http://www.artificialeyes.tv/vip VDMX http://www.vidvox.net/ VJ Mode http://www.soniconlab.com/

Guilherme Martins é artista visual tendo-se especializado na criação de vídeo para projecção em espectáculos. As suas criações visuais têm percorrido obras de dança, ópera, teatro e espectáculos performativos desde 2007, com encenadores de grande nome, entre eles Rui Horta, Tiago Guedes e Anatoly Praudin.

Guilherme foi também designer em diversas agências de renome internacional das quais se salientam Ogilvy Interactive e YDreams. !Podem ser consultadas mais informações sobre o seu percurso profissional e artístico em: http://guilhermemartins.net !Contactos: gmartins@artica.cc guilhermemanuel77@gmail.com +351 918 154 947

Quando pensamos em arte, dificilmente a associamos à precisão dos computadores e electrónica. Deste desafio nasce a Artica, para quebrar estas barreiras, aliando as novas tecnologias ao serviço da criação e da estética. Durante os seus quatro anos de actividade, a Artica criou e implementou proectos em robótica personalizada, instalações interactivas, multimédia interactiva para espectáculo, computação física, protipagem de produto, fabricação digital e workshops de robótica educativa. Uma empresa com um conceito inovador até para mercados estrangeiros: personalizar tecnologia e arte, para potencializar a experiência. !http://artica.cc