Wat is de VFX Pipeline?

Wat is de VFX Pipeline?

De VFX pipeline splitst de stappen van een visual effects workflow voor film, televisie en digitale mediaprojecten uit. Het houdt het hele VFX-proces overzichtelijk, zodat iedereen weet wat zijn rol is en hoe deze past in de productietijdlijn. Van storyboarding en referentiebeelden tot modellering, rotoscoping, compositie en belichting (om er maar een paar te noemen).

Bij kleinere producties kan één VFX-artiest de hele workflow voor zijn rekening nemen, maar de meeste producties maken gebruik van teams van gespecialiseerde artiesten.

De pijplijn brengt een zekere mate van gezond verstand in een proces dat gewoonlijk niet volledig lineair is. Leden van het VFX-proces worden vaak betrokken bij de preproductie, productie en postproductie.

Om hun beste werk te doen (en om te voorkomen dat ze verschillende stappen opnieuw moeten doen), moeten artiesten elke stap van de VFX-workflow begrijpen en waarderen.

💡 Lees meer: Hoe Stimulated Inc. Beweegt 6K Immersive VFX Footage voor Podium Shows

VFX-pijplijn diagram

⬇️ Downloaden PDF-versie Het schema van de VFX-pijplijn

De VFX-workflow

Bij de vraag "Wat betekent VFX in de montage?" is het belangrijk te begrijpen dat geen twee echte VFX pipeline workflows identiek zijn. Wij hebben deze stappen in onze VFX-roadmap hieronder onderverdeeld in de fasen pre-productie, productie en post-productie, maar vele onderstaande stappen komen vaak parallel voor tijdens het project.

Pre-productie

Een groot deel van de visual effect workflow in pre-productie is gerelateerd aan de planning, wat helpt om de crews op de hoogte te houden terwijl ze zich voorbereiden op eventuele technische vereisten of potentiële uitvoeringsproblemen. VFX-artiesten in de planningsfase kunnen VFX opnamelijst sjablonen om tijd te besparen bij het plannen van welke shots en scènes visuele effecten nodig hebben.

1. Onderzoek & Ontwikkeling (O&O)

Bij O&O van een videoproject zijn in de eerste plaats Technical Directors (TD's) betrokken, die samenwerken met VFX-supervisors om de technische aanpak te plannen en te bepalen welke shots en effecten technisch haalbaar zijn. Bij zeer zware VFX-projecten kunnen ook externe wetenschappers, ingenieurs of wiskundigen worden ingeschakeld voor verdere begeleiding.

TD's moeten ervoor zorgen dat alle software en bestanden die in de VFX-pijplijn worden gebruikt, compatibel zijn en maken soms aangepaste software en plug-ins om de efficiëntie van de VFX-pijplijn te verbeteren.

Het grootste deel van de O&O-fase gaat door tijdens de levensduur van een project, terwijl het materiaal wordt bijgesteld en de concepten evolueren.

2. Storyboarding en animaties

Storyboarding is waar het VFX artistieke team visuele representaties maakt van alle acties binnen het script. Karakterbewegingen en verhaal settings worden geanalyseerd en basis tekeningen worden gemaakt om de gewenste kadrering per shot te illustreren.

Zoals de meeste planningselementen is storyboarding echter niet definitief. Het gaat er meer om een paal in de grond te zetten en de VFX-artiesten een goed idee te geven van wat de redactie wil.

3. Pre-Visualisatie

Previsualisatie, ook bekend als previs, gebruikt storyboards om low-poly 3D-modellen, wireframes en scènevoorstellingen te maken die als stand-in dienen voor de komende visuele effecten. Previs vindt meestal plaats samen met andere leden van het creatieve team om camerahoeken te bepalen, opnamelocaties te bepalen en complexe scènes te plannen.

Andere VFX-stappen in de preproductiefase kunnen concept en art design omvatten, waarbij artistieke concepten verder worden verfijnd en volledige beelden worden geproduceerd om personages, instellingen en rekwisieten te definiëren.

Lay-out (ook bekend als production design) bepaalt, zoals de naam al aangeeft, hoe de uiteindelijke decors eruit moeten zien en geeft richtlijnen aan makers van fysieke of digitale decors.

Productie

Dit is wanneer de VFX-workflow echt van start gaat, omdat dan de meeste opnames plaatsvinden, ruwe videobestanden worden gemaakt, en VFX dailies worden ingediend. Maar veel VFX-taken kunnen tegelijk met het productieproces worden uitgevoerd.

4. 3D-modellering

3D-modellering vindt plaats in alle drie de productiefasen, maar in de productiefase zetten kunstenaars storyboard-art of low-poly 3D-modellen om in levensechte weergaven. De meeste 3D-modellering is gewijd aan het creëren van middelen zoals voertuigen of gebouwen die niet praktisch of kosteneffectief zijn om op de set te brengen, maar 3D-modellen worden ook gebruikt om personages (om niet-mensen te illustreren of als digitale dubbelgangers) en andere rekwisieten te creëren.

Hoewel 3D-modellen van onpraktische zaken als ruimteschepen of de Batmobiel visueel het meest interessant zijn, vervangen of completeren 3D-modelleurs ook fysieke objecten die op de set zijn opgenomen en die moeten worden verbeterd wat betreft belichting, schaduw of textuur.

3D-modellering is een van de meest tijdrovend en arbeidsintensief elementen van de VFX-pijplijn en is vaak afhankelijk van referentiefoto's die tijdens de productie zijn genomen. De 3D-modellen die bewegen moeten worden opgetuigd en geanimeerd, maar daarover later meer.

5. Mat schilderen

Matte painting is een van de oudste VFX-technieken die er bestaan en behelst het creëren van visuele achtergronden die niet bestaan. Tegenwoordig worden dergelijke achtergronden vaak digitaal gemaakt met behulp van LED panelen en game engines, vaak als volledige 3D sets voor virtuele productieof door chroma keying met behulp van een groen of blauw scherm.

Jaren geleden werd matschilderen uitsluitend gedaan met behulp van foto's en beschilderde glaspanelen (matte verf werd gebruikt omdat die het licht niet reflecteert).

Maar matte painting wordt nog steeds gebruikt in veel producties - waaronder de Harry Potter films, Game of Thrones, en The Witcher - deels omdat het geld kan besparen. Maar het is vrij beperkt in wat het kan doen: Matte schilderijen kunnen hun belichting, camerahoeken of andere elementen niet veranderen.

6. Referentie Fotografie

Gedurende de hele productiefase hangen leden van het VFX-team rond op de set om referentiefoto's te maken van acteurs, scènes, rekwisieten en al het andere belangrijke. Deze foto's worden vervolgens gebruikt om 3D-modellen op te tuigen, te animeren en van textuur te voorzien.

💡 Lees meer: Overdracht van grote bestanden voor postproductieteams

Post-Productie

Postproductie brengt alle elementen van een videoproductie - VFX, beeldmateriaal, muziek en geluid - samen in het eindproduct. Terwijl, zoals we hebben gezien, het VFX-team gedurende de hele productiecyclus bezig is, is de VFX-postproductie workflow de drukste fase van het hele proces voor het VFX-team.

7. Rigging en Animatie

Stel je voor wat er gebeurt als een poppenspeler aan de touwtjes van een marionet trekt, en je hebt al een aardig idee van wat rigging en animatie inhouden - maar dan op digitaal niveau. Rigging en animatie blazen leven in 3D-modellen door een systeem van controles te bouwen waarmee animators deze objecten kunnen manipuleren.

Rigging-teams vertrouwen vaak op referentiefoto's, maar motion capture camera's of pakken worden ook vaak gebruikt om bewegingsgegevens vast te leggen als hulpmiddel bij het rigging- en animatieproces.

Rigging-teams zijn vaak zo gedetailleerd dat hun werk kan bestaan uit het berekenen van huidgewichten en het toevoegen van digitale skeletten en spieren binnen 3D-personages om natuurlijke bewegingen na te bootsen.

8. FX en simulatie

FX-artiesten zijn verantwoordelijk voor het creëren van concepten en scènes die bewegen en reageren volgens de wetten van de fysica, zoals een lang shot van een razend gevecht op zee of in de ruimte - compleet met vurige explosies, die in werkelijkheid kan niet bestaan in de ruimtemaar hoe dan ook, ze zien er cool uit. FX-artiesten werken vaak met elementen als vuur, rook, vloeistoffen en zelfs deeltjes.

FX-artiesten werken samen met animatoren om ervoor te zorgen dat deze gesimuleerde elementen niet opvallen (op een slechte manier) en er toch zo natuurlijk mogelijk uitzien en aanvoelen.

9. Motion Tracking/Match Moving

Motion tracking, ook bekend als match moving, stelt VFX-artiesten (in deze context matchmove-artiesten genoemd) in staat effecten in te voegen in bewegende scènes en live-action footage zonder dat het geheel er slecht uitziet.

VFX-elementen toevoegen aan een statische opname is immers relatief eenvoudig - maar dezelfde elementen toevoegen aan een camerabeweging brengt veel meer variabelen met zich mee. Daarom houdt motion tracking rekening met de positionering, oriëntatie, schaal en hoe het object beweegt binnen het shot, inclusief het repliceren van fysieke camerabewegingen met behulp van virtuele camera's in hun motion tracking software.

10. Structureren

Het textureren is zoals het klinkt: Het voegt texturen toe aan de oppervlakken van 3D-modellen. Textuur kan alles omvatten, van oppervlaktekleur tot geschubde huid op een reptiel, tot reflecties in water, tot een metaalglans of krassen op een autodeur. Dit zorgt ervoor dat modellen er zo realistisch mogelijk uitzien.

11. Rotoscoping en maskeren

Rotoscoping houdt in dat kunstenaars objecten of personages uit frames van de oorspronkelijke beelden tekenen en uitknippen, om de uitgeknipte beelden tegen een andere achtergrond of context te gebruiken.

Rotoscoping was meestal een relatief pijnlijk en handmatig proces, vooral in de dagen voor gecomputeriseerde VFX.

"Een legendarisch voorbeeld van handmatige rotoscoping vond plaats tijdens Alfred Hitchcock's The Birds, toen ploegen vogels in de natuur filmden en ze in elk shot rotoscopeerden. Het duurde drie maanden om honderden vogels, één voor één, in één shot te rotoscopen."

Tegenwoordig voeren VFX-artiesten nog steeds handmatig rotoscoping uit, maar nieuwe instrumenten zoals Runwaydie gebruik maken van machinaal lerenhebben geholpen het proces drastisch te versnellen.

Het hele rotoscoping- en maskeerproces kan worden vermeden door chroma keying, wat, zoals we al zeiden, het proces is waarbij voorgrondonderwerpen worden opgenomen tegen een gemakkelijk te verwijderen achtergrond (zoals een groen scherm). Maar in veel gevallen is rotoscoping ook nodig om een perfecte uitsnede te maken.

12. Verlichting en weergave

Belichting wordt meestal behandeld nadat de textuurartiesten hun ding hebben gedaan. Het is het laatste element dat wordt toegepast voordat het effect of het computergegenereerde beeld (CGI) compleet is. Door virtuele belichting en schaduwen toe te voegen en aan te passen aan statische of live-action computergegenereerde scènes of personages, net als bij texturering, zien ze er realistischer uit terwijl aspecten van de oorspronkelijke opname, zoals kleur en intensiteit, worden verbeterd.

Maar net als echte verlichting moeten virtuele lichten strategisch in een scène worden geplaatst. Belichters gebruiken hulpmiddelen zoals shader-instellingen en belichtingskaarten om dit te bereiken door spot-, vlak- en gerichte verlichting te plaatsen die overeenkomt met de hoeken en schaduwen van de originele beelden.

Zodra de belichting is toegepast, wordt de hele scène overgedragen aan compositing.

13. Compositing

Compositing, ook wel stitching genoemd, is de laatste stap van de post-productie VFX workflow. Terwijl het de laatste stap is in het VFX stappenplan, het is ook het belangrijkste omdat het alle verschillende VFX-elementen integreert met echte beelden om een definitieve opname of scène te maken.

Een slechte compositing job kan al je anders geweldige VFX werk tot dit punt ruïneren - het is dus cruciaal om het goed te doen.

Bij dit proces verzamelt een compositor alle inhoud - waaronder live-action beelden, renders, VFX-platen en matte schilderijen - en voegt deze samen ter voorbereiding op de volgende stap in de post-productie (meestal inkleuren). Voor sommige opnamen hoeven maar een paar elementen te worden gecombineerd, maar voor andere moeten er tientallen lagen worden aangebracht, terwijl de belichting, reflecties, schaduwen en atmosfeer moeten worden aangepast om een naadloze uitstraling te krijgen.

💡 Lees meer: MASV gebruiken voor 4K 360° Driving Plates voor VFX

VFX-tools en software

VFX wordt alleen maar belangrijker in de moderne videoproductie-industrie - het eerste seizoen van Amazons The Rings of Power maakte gebruik van meer dan 1.500 VFX-artiesten uit 20 studio's.

Maar wat voor soort software en VFX-systemen gebruiken toonaangevende VFX-artiesten om hun magie te verweven?

Hier zijn een paar voorbeelden.

After Effects

After Effects wordt beschouwd als een van de beste, zo niet de beste, VFX software die er is. Dat komt deels omdat het naadloos integreert met Adobe's Premiere Pro videobewerkingssoftware en samenwerkingstools zoals Frame.iomaar ook omdat het verdomd goed is in wat het doet.

After Effects heeft ook veel aanpasbare VFX-sjablonen van derden die je kunt downloaden om je project te helpen schalen.

Fusie

Blackmagic Design's Fusion is een geweldig hulpmiddel om meeslepende 360 of VR videostereoscopische 3D-effecten; en de compositie van 3D-modellen en echte, live-actiebeelden. Het wordt geleverd als onderdeel van videobewerkingssoftware DaVinci Resolve, en is gebruikt om VFX-scènes te creëren in films zoals Guardians of the Galaxy en de Hongerspelen en zelfs films voor videospelletjes zoals Halo 5.

Nuke

Foundry's Nuke is VFX- en filmbewerkingssoftware die wordt gebruikt door grote spelers uit de industrie zoals Walt Disney Animation Studios, Blizzard Entertainment, Sony Pictures Animation en DreamWorks Animation, en is gebruikt voor producties van De Kroon naar Boardwalk Empire. Het biedt naadloze reviewworkflows en de mogelijkheid om VFX-elementen toe te voegen aan dynamische redactionele tijdlijnen.

Houdini

Houdini door SideFX wordt gebruikt in het R&D proces en op andere momenten om tot aangepaste effecten te komen. Het integreert animatieontwerp, effectrendering en karaktermodellering en biedt een groot aantal VFX-simulatiemodules voor vloeistoffen, mensenmassa's, korrels en andere elementen, waaronder vernietiging en pyro-effecten. Houdini integreert ook met andere software zoals Maya.

Maya

Autodesk's Maya biedt 3D animatie en modellering, simulaties en ultra-realistische rendering. Belichtingsartiesten gebruiken het vaak om virtuele belichting te maken en te plaatsen en 3D-modelleurs om geanimeerde personages of andere objecten te maken en op te tuigen. Hoewel het is beschreven als moeilijk te gebruiken door recensenten, omvat de software verschillende VFX pipeline-elementen, waaronder dynamische simulaties, texturering en animatie.

HitFilm Pro

HitFilm Pro (en zijn gratis versie voor de consumentenmarkt, HitFilm Express) is een alles-in-één VFX- en videobewerkingstool waarmee VFX-artiesten effecten kunnen toepassen op de NLE-tijdlijn (in plaats van ze te leggen). De app wordt geleverd met bijna 1000 VFX templates en presets, met functies zoals maskering, 2D en 3D motion tracking, green screen keying en particle simulators.

Blender

Blender door Blender Foundation is krachtige open-source freeware, perfect voor wie begint met VFX en het vak wil leren zonder duizenden dollars uit te geven aan andere alternatieven (vele hierboven vermeld). De 3D animatietools omvatten een camera- en object tracker die handmatige of geautomatiseerde tracking, camera reconstructie en real-time previews biedt.

Tips en beste praktijken voor hoogwaardige visuals

• Je voert voortdurend communicatie tussen verschillende creatieve teams; niet alleen andere VFX-artiesten, maar ook video-editors, coloristen, het productieteam op locatie, de regisseur, enz.
• De verschillende VFX-systemen (tools, processen, software, enz.) van de hele VFX-workflow door en door kennen voordat je aan een maandenlang project begint.
• Bij virtuele productie moeten VFX-artiesten zich ervan bewust zijn dat wat er goed uitziet op werkstations, dat misschien niet is op een gigantische LED-muur. Unreal Engine beveelt hun In-Camera VFX Production Test aan om de aanbevolen configuraties voor virtuele podia te zien.
• Fysieke objecten (branden, kuilen, bandensporen, enz.) vervangen door VFX-renderings om een hoop geld te besparen ten opzichte van het repliceren van hetzelfde in de fysieke wereld, of het teruggaan en opnieuw filmen van bepaalde scènes om alles perfect te krijgen.
• Netflix raadt VFX-artiesten die thuis werken aan virtuele desktopoplossingen te gebruiken, zoals HP RGS of Teradici, een enkele monitor op 1920×1200 als basisresolutie, en speciale bandbreedte en verbindingen met lage latentie.
• Volg altijd de juiste conventies voor bestandsnamen.

Middelen voor verder leren en ontwikkelen

Hier zijn nog een paar VFX-gidsen om je te helpen nog meer inzichten rond VFX-pijplijnen en best practices te ontdekken:

• Netflix VFX Best Practices
• Unreal engine In-Camera VFX Best Practices
• Hoe deze gratis of betaalbare VFX-tools uw verhaal kunnen inspireren
• Wat is compositie? VFX Compositing technieken uitgelegd
• VFX: Hoe gebruik je een groen scherm als een professional in 4 eenvoudige stappen?
• Hoe integreert u visuele effecten in uw productieontwerp?