Projetos selecionados
Instrumento audiovisual controlado por movimentoExperimento / PoC

Kinetica

Um experimento audiovisual incorporado que transforma movimentos capturados pela webcam em paisagens sonoras e campos GLSL reativos — com o corpo como instrumento.

Visitar experimento
Seu corpo se torna interface, instrumento e controlador visualInstrumento audiovisual controlado por movimentoExperimento / PoC
Tela inicial do Kinetica convidando a começar uma experiência audiovisual controlada pela webcam.
O desafio

Era preciso traduzir mãos e corpo em controles musicais imediatos e aprendíveis, mantendo o vídeo privado e inteiramente no navegador.

A resposta

O MediaPipe lê pose e mãos e mapeia gesto, postura e movimento em camadas sonoras e uniforms de shaders GLSL através de sete mundos visuais.