VR: föreläsning 8

varför använder man ljud i VR? för ökad realism eftersom ljud är en integrerad del av vår uppfattning och förstärker känslan av medvetenhet samt fördjupning

vad är ambient ljud? atmosfär(miljö)-ljud som ger storleken av omgivningen

vad är direkt ljud? ger känsla av position och riktning (vattenfall, gata, etc.)

problem med ljud i VR? virtuell ljudkälla och akustik, verklig uppspelning och akustik

varför vill vi ha kontroll över ljudkällan? ljudet bestäms av den faktiska situationen t.ex struktur och tjocklek av en bruten vägg, dynamiskt över tid t.ex regn, blåst ändras över tid (enhetligt ljud känns tråkigt och fel)

egenskaper för inspelning av ljud? billigt i produktion, se upp för akustik (använd studio), dålig uppspelningskontroll (volym, längd, tonhöjd)

Ljudformat: kanalkodning stereoljud är dåligt för VR (inte immersivt), monoljud kan placeras i 3D

Ljudformat: ambisonics (fullsfäriskt surrondljud) omgivningsljud (inspelat eller syntetiserat), sfäriska övertoner för kodning av riktning

varför är ljud inte så enkelt? rör sig långsamt och har en lång våglängd, det är svårt att stoppa: går igenom material, återspeglas av alla material, svänger runt hörn (det gör ljus med men ljud påverkas mer pga längre våglängd)

Ljudeffekter: direkt och indirekt ljud förstärkt ljud ger efterklang ger eko

Ljudeffekter: reflektion och brytning ljudet böjs till och med runt hörn, interaktion med yta förändrar ljudet

Ljudeffekter: dopplereffekt ljud förstärks och avtar (t.ex ambulans)

egenskaper av direkt och indirekt ljud indirekt ljud finns överallt och förstärker direkt ljud (upp till en viss fördröjning och det är viktigt), miljöspecifik viktigt för atmosfär och immersion

kombination av indirekt och direkt ljud kan ge.. varierande fördröjning beroende på väg, varierande frekvensprofil beroende på reflektion (t.ex om ljud åker genom en vägg), simulerad av en avancerad miljösimulering

Förenklad miljösimulering: förenklad modell efterklang och eko, lång/kort fördröjning för stora/små rum mindre förfall med hårda ytor, vått/torrt förhållande för närhet

Förenklad miljösimulering: filter filter för ockluderande ljudkällor, filter för att simulera telefoner etc.

Förenklad miljösimulering: material och geometrier hårda ytor reflekteras mer, textilier och möbler tar bort efterklang, ljud runt hörn/bakom föremål/etc.

utmaningar med ljuduppspelning cross talk mellan talare, rumsakustik och publikplacering (olika avstånd till högtalare gör att de får olika ljudstyrka)

spatial surround system (rumsligt ljud): fördelar med binaural (hörselkåpor/hörlurar) ta bort oönskat brus, bra frekvensrespons, ingen överhörning/crosstalk (ingen akustik)

spatial surround system (rumsligt ljud): problem med binaural (hörselkåpor/hörlurar) kabel kan vara i vägen, besvärligt att ta av och på och obekvämt att ha på sig under lång tid, bäst för liten publik

ljuduppfattning: automatisk analys av.. ljudkällans egenskaper, rumsegenskaper, ljudriktning och avstånd

ljuduppfattning: personliga skillnader ålder, erfarenhet, kunnighet och förväntan

Ljudriktningsuppfattning (finns förenklade modeller som endast funkar i 1D och inte heller så bra..) Bättre lösning är HRTF (Head Related Transfer Function) som är en överföringfunktion för huvud/öra och den är riktningsberoende, det finns en uppsättning per öra (symmetri antas vanligtvis), 2D ljudriktning, för att uppskatta spelar man vitt brus från många håll och mäter ljud i användarens öra eller i öronen på ett dummy head

Nämn en komersiell ljudmjukvara Unity3D sound som innehåller olika källor, listeners, filter och effekter

Klicka

Skriv

Lyssna

Spel

Skriv ut