Uživatel:Vysinto1

Z HPM wiki
Přejít na: navigace, hledání

Obsah

Interaktivní syntezátor Reactable

stůl Reactable

Dotykový stůl, který dostal označení Reactable vyvinuli čtyři studenti z univerzity Pompeu Fabra v Barceloně. Jedná se o hudební modulární syntezátor s výsledky velice podobnými profestionálním studiovým zařízením. Pohybováním (otáčením nebo přemisťováním) jednotlivých fyzických bloků lze upravovat vlastnosti příslušných zvuků. Manipulace probíhá na kulatém dotykovém stole, přičemž další parametry je možno upravovat přímým dotykem v okolí položeného bloku.

Objekty

Položení objektu na desku stolu je ekvivalentní fyzickému stisku tlačítka syntezátoru. Objektů existuje šest druhů. Mezi sebou se liší svým jedinečným tvarem a funkcí.

Základním objektem je kvádr, představující zvukový generátor. Jeho pootáčením lze měnit frekvenci, amplitudu (vybuzení) lze upravovat pohybem prstu v blízkosti kvádru na dotykové ploše. Kvádry se zakulacenými okraji reprezentují zvukové filtry, jejichž využití v tvorbě pomocí Reactable je bohaté. Filtry zpracovávají zvuk přidáním nejrůznějších efektů. Analogií jejich použití je například stisk kytarového pedálu. Aktivováním filtru v blízkosti zvukového generátoru lze docílit o mnoho zajímavějšího podání signálu. Kruhové objekty, osmistěny a pětistěny tvoří směšovače a samplery, díky nimž mohou producenti vytvářet ve své práci daleko složitější melodie, smyčky a linky, které harmonizují a mění tvar průběhu zvukového signálu. Polokoule, kterým se přezdívá "globální objekty", jsou jedinečné v tom, že okolo sebe na desce vytvoří kruhové pole ovlivňující každý objekt ocitající se v jeho blízkosti. Zajišťují například funkci metronomu.

Druhy objektů:
01 oscilator.png Oscilátor 02 prehravac smycek.png Přehrávač smyček
03 sampler.png Sampler 04 mikrofonni vstup.png Mikrofonní vstup
05 filtr.png Filtr 06 zpozdeni.png Zpoždění
07 modulator.png Modulátor 08 tvarovac.png Tvarovač
09 lfo.png Nízkofrekvenční oscilátor 10 sekvencer.png Sekvencer

Funkce

Zjišťování polohy umístěných bloků ve vztahu k sobě navzájem je zajišťováno systémem počítačového vidění (CV) umístěným na spodní straně desky. Nastavení onoho systému je kompletně ukryto uvnitř zařízení. Tvoří ho dva důležité nástroje, a to kamera a projektor. Oba zmíněné nástroje slouží k různým účelům. Kamera, běžící na systému zvaném reacTIVision, sleduje bloky a analyzuje řadu faktorů. Jedním z nich je to, jaká strana bloku aktuálně míří dolů na stůl, dalším je zkoumání pozice bloků od středu stolu. Důležité je také umístění bloků vzhledem k jejich vlastní ose, povrchové úpravy a jiné blokové vlastnosti. ReacTIVision komunikuje se Správcem připojení, který koná dvě funkce. Zaprvé, předává informace audio syntezátoru, jenž vytváří simulovaný zvuk, a zadruhé, předává informace projektoru, vytvářejícího animace a zajímavý obraz na ploše stolu.


Schéma funkce



Stůl

Fotoaparát s projektorem jsou umístěny pod stolem, čímž mohou pokrýt jeho celý povrch. Lze také využít zrcadlo k dosažení delší projekční vzdálenosti. Samotný dotykový povrch může tvořit běžné plexisklo. Aby nedošlo k přímému odrazu světelného zdroje a lampy projektoru, měla by být spodní strana povrchu opatřena matným povrchem při zachování celkové průhlednosti.

Zdroj světla

Pro sledování musí být objekty řádně osvětleny. Teoreticky by měl být stůl tmavý, aby uživatel viděl dostatečně dobře promítaný obraz. Na tmavém povrchu by však byla většina promítaného světla pohlcena. Řešením je využití infračerveného osvětlení pro účely nasvícení pro počítačové vidění, neboť většina CCD a CMOS snímačů pracuje v IR spektru. Veškeré světlo z viditelného spektra musí být ze zdroje světla odstraněno například pásmovým filtrem pro danou vlnovou délku.

Kamera

Nejlepšího výkonu vzhledem k nízké latenci dosahují průmyslové kamery s vysokým rozlišením a velkým senzorem. Minimální požadavky na rozlišení jsou 640x482 s rychlostí 30Hz. Ideálně je vhodné použít kameru s rozlišením 1280x720 s rychlostí 60 snímků za sekundu.

Projektor

Pro maximální osvit plochy stolu z minimální možné vzdálenosti by měl projektor disponovat vzdáleností throw 0,6 a nižší. Projektor bývá umístěn vzhůru nohama a využívá se odrazu od zrcadla z důvodu lichoběžníkového zkreslení. Latence projektoru by měla být nízká, ideální je využití herních projektorů s latencí koolem 15 ms. Nejlepší kvalitu obrazu nabídnou projektory s nativním rozlišením Full HD.

ReacTIVision

Jedná se o open source nástrojovou sadu počítačového vidění, pomocí níž lze získávat a zpracovávat informace o pohybových změnách definovaných symbolů připevněných na fyzické objekty, stejně jako o dotycích prstů. Využívá především zprávy TUIO přes port UDP 3333 do libovolné klientské aplikace s podporou rozhraní TUIO. Alternativně lze v aplikaci využít komunikace skrze zprávy MIDI, a to zejména pro případy přímého propojení s MIDI sekvencery.

TUIO

Definování protokolu je snahou o poskytnutí obecného a univerzálního komunikačníhéo rozhraní mezi stolními ovladači a základními aplikačními vrstvami. Protokol vyhovuje potřebám stolních dotykových interaktivních ploch (např. Reactable), kde je uživatel schopen manipulovat se sadou objektů nebo kreslit na ploše těchto interaktivních ploch špičkami prstů. Objekty jsou sledovány senzorovým systémem, díky čemuž lze sledovat umístění a orientaci na ploše stolu.

Neoznačené objekty jsou aproximovány tak, že je zvolen středový bod, úhel hlavní osy a dva rozměry, jako je oblast objektu. Ta je udávána v počtu pixelů podělených součinem výšky a šířky. Tyto hodnoty jsou normalizovány a výsledkem je tzv. 'blob profil'.

Blob message.png

TUIO je kódován ve formátu Open Sound Protocol (OSC), poskytující efektivní binární kódovací metodu pro přenos libovolných dat z ovládacího zařízení. Výchozí metodou přenosu je zapouzdření binárních dat v rámci paketů UDP odeslaných na port 3333. Tato metoda přenosu je běžně označována jako TUIO / UDP a je velmi rozšířena vzhledem ke své jednoduchosti a rychlosti odesílání skrze místí či veřejnou sítí. Alternativně lze využít i metody přenosu TUIO / TCP nebo TUIO / FLC (flashové připojení přes sdílenou pamět) pro rozhraní Adobe Flash.

Vzhledem k implementaci je nutné využití OSC knihovny jako například oscpack nebo liblo. Každá zpráva TUIO se skládá ze tří typů zpráv. Z počáteční zprávy ALIVE, následovanou libovolným poštem zpráv SET a závěrečné zprávy FSEQ. ID v rámci FSEQ se zvyšuje s každým doručeným balíčkem a redundantní zprávy mohou být označovány ID=-1. V argumentu application je definován název a jedinečnou síťovou adresu, jaké je zpráva určena (ID adresa, MAC adresa, název hostitele)

Příklad TUIO řetežce:

 /tuio/2Dcur source application@address
 /tuio/2Dcur alive s_id0 ... s_idN
 /tuio/2Dcur set s_id x_pos y_pos x_vel y_vel m_accel
 /tuio/2Dcur fseq f_id


Reactable Mobile

aplikace Reactable Mobile

Mobilní aplikace nabízí široké možnosti využití generování zvukových signálů pro živá vystoupení. Aplikaci lze propojit se softwarem Ableton Live pomocí Ableton Link, čímž dojde k synchronizaci úderů a tempa. Nejkomfortnější je provozování Reactable Mobile na tabletu. Ten nabízí větší prostor pro ovládání vlastností jednotlivých prvků. Aplikace je rozšířena o další bloky, které ve fyzické verzi chybí.



Zdroje

http://reactable.com/live/[1]

https://electronics.howstuffworks.com/gadgets/audio-music/reactable.htm[2]

http://reactivision.sourceforge.net/[3]

https://www.tuio.org/?specification[4]

http://reactable.com/mobile/manual/[5]

http://www.projectorcentral.com/classroom_projector_buyers_guide_throw_distance_zoom.htm[6]

Osobní nástroje
Jmenné prostory
Varianty
Akce
Navigace
Nástroje