Áudio biauricular em vídeos de 360 graus

O áudio Binaural é perfeito para a realidade virtual. No entanto, por outro lado as gravações não são tantoDe modo algum.

Como um par de vídeos estéreo que dão a ilusão de uma visão 3D a partir de exatamente uma perspectiva, mas não contém a informação que nos permite saber como é o mundo se movermos as nossas cabeças.. O mesmo acontece com o áudio binaural, gravando uma ilusão de som 3D sem a informação que nos diz como tudo à nossa volta soa quando movemos a nossa cabeça. Algo que seria diferente, dependendo da localização das nossas orelhas quando movemos a cabeça.

Em filmes estéreo e gravações biaurais, toda a computação e o 3D se passa no nosso cérebro sem que a gravação tenha um modelo 3D ou qualquer ideia do que é o 3D. Sem câmeras suficientes, você poderia criar um ponto 3D do mundo dentro do ponto de vista da câmera (assumindo que este software ainda não exista).

Ou você também pode usar uma câmera leve para capturar ondas de luz vindas de todas as direções em um espaço pequeno. Estas duas opções de vídeo ainda não são soluções viáveis para vídeos de realidade virtual, mas As câmaras de 360 graus são suficientes para fazer o nosso cérebro feliz neste sentido.

Que opções de som temos para vídeos 360º?

microestrutura Gravações Binaurais não são suficientesmas alguns campos são mais fáceis de capturar. Você pode fazer um trabalho decente com um pequeno micro tetraedro, com o qual você pode usando algumas matemáticas você pode modelar o som de cerca de.

Isto é o que é conhecido como ambisônicae é um tecnologia relativamente aberta desde que a maioria das patentes expirou. Mesmo assim, as pessoas ainda não ouviram falar disso nem do som binaural. Mas bem, é por isso que escrevemos sobre isso no camera360grados.com certo?

A questão é que a informação pode ser armazenada em apenas 4 faixas de áudio regulares. Talvez um pouco mais, dependendo da qualidade da micro ambisónica. Algo que é incomum em formatos de áudio normais e não representa o som que teria de sair dos alto-falantes ou a informação de um campo sonoro. Este formato de som pode ser descodificado usando a matemática para toda a vida até formatos de áudio que podem ser emitidos através dos auscultadores ou alto-falantes sem problemas enquanto você assiste ao vídeo de 360 graus. Você também pode transformá-la em uma equação em uma série de harmônicas esféricas. Onde esta série é truncada depende da ordem da sua ambisónica.

Já temos esta tecnologia na ponta dos dedos há algum tempo, mas o uso real que fizemos dela tem sido mínimo. Numa sala cheia de altifalantes, o efeito só é perfeito em um local do centro da cidade. Isto é supondo que você consiga ajustar estes dispositivos corretamente e decodificar o som. Algo que não o torna totalmente prático mesmo para equipamento doméstico.

Para aqueles usuários de fones de ouvido, ele tem que ser ouvido em estéreo de qualquer maneira, então por que se preocupar? Mas com o VR, você está sempre no centro exatoe descodificações estéreo podem ser alteradas em tempo real com base nas rotações da cabeça.

Com apenas 4 pequenos microfones não é possível simular perfeitamente o campo sonoro, exactamente o que se ouve quando se move a cabeça. Mas então isto é suficientemente bom? É convincente na realidade virtual?

Poucas pessoas o experimentaram em VR, e é por isso que demorámos tanto tempo a publicar um artigo no nosso blog para fazer referência a isto. Mas em algum momento tivemos que fazer referência ao áudio, com a promessa de voltar e escrever mais sobre isso quando tudo melhorar.o que tenho a certeza que sim, tendo em conta que ainda encontramos câmaras de primeira geração neste mundo.

Métodos de gravação de áudio em realidade virtual

Aqui estão alguns métodos de implementação de som em vídeos de 360 graus com os quais nos deparámos e que os utilizadores também comentaram no nosso Facebook.

Não fazer nada

Gravamos um concerto com a ideia em mente de que todos assumem que a música está deslocada por causa do que os músicos fazem. Principalmente porque quando sai dos alto-falantes não nos preocupamos em ouvir o áudio gravado.

Queríamos aquela sensação de ouvir o som binaural das coisas que acontecem ao seu redor, então fizemos uma cabeça tipo rhombodecahedron ad-hoc e a colocamos em cima da platéia. Desta forma, o ruído produzido estava em constante mudança, sem qualquer fonte específica, e funciona.

Também fizemos vídeos panorâmicos com comentários de voz. Este é suposto flutuar magicamente de qualquer maneira. A voz não localizada para alguns vídeos é suposto ter clips de som binaural do ambiente, por isso não há problemas aí.

Renderizar diferentes clipes de som em um local 3D

Em alguns testes de vídeos de realidade virtual que foram feitos em UnidadeVárias esferas texturizadas com vídeo foram colocadas em torno de um ambiente 3D. O som para cada vídeo saiu de um alto-falante virtual montado de onde a voz do narrador deveria vir no vídeo.

O rastreador de movimentos de cabeça de Oculus integrado na Unidade, cuida do som 3D a partir daí: por exemploCaminhe em direcção à bolha de vídeo, ouça à medida que o som sobe. Vira a cabeça, e ouve o som. diminuições no panorâmico.

Seria bastante trivial colocar as suas colunas num local estático no vídeo da bolha a que acabámos de ligar, por exemplo, usando a realidade virtual com textura esférica, e depois colocar cada uma das gravações de voz onde as nossas cabeças estão habituadas a estar. Nossas localizações são constantes o suficiente para que essas implementações funcionem bem.

Mas... Nós podemos fazer melhor!

A tecnologia já existe para criar "movimento" para alto-falantes em atmosferas renderizadas em 3D, portanto com um pouco de trabalho à mão, você pode dar a qualquer som o movimento para seguir algo de acordo com o que está tocando no clipe de som. Este é ainda outro lugar onde os ambientes rendições são colocados em frente aos filmes capturados, porque cada entrada já existe no local definido, ao contrário dos misteriosos pixels dos filmes que só se tornam objectos na sua cabeça.

Codificar uma implementação especial específica

Para lhe dar um exemplo, o vídeo de 360 graus Blues é uma demo onde os músicos gravam várias vezes em diferentes instrumentos eletrônicos e cada arquivo criado com isso é colocado em um localização estática do vídeo. Vale definitivamente a pena abrir e verificar. É anunciado um pouco como um exemplo realista de áudio 3Do que realmente é não o é. Os dados sonoros são reproduzidos mas também cortados de repente à medida que você olha em volta, além disso, não é intuitivo associar som digital com a contraparte de vídeo em questão.

Isto é mais do que apenas o arquivo de vídeo, pois requer que cada arquivo de som separado seja programado em seu lugar correspondente, e que se abra quando esse pixel tiver que ser exibido. Portanto, podemos dizer que este caminho não é totalmente viável. excepto para aqueles de vocês que estão no Total Cinema 360 para criar algo com ele.

Podemos dizer que ainda não é realista ou utilizável, mas como exemplo do potencial das experiências de realidade virtual é interessante saber. Porque não cortar um som específico quando se está a olhar à volta? Bem, tenho a certeza que podemos pensar em coisas mais divertidas para fazer com uma ideia mais focada. Já existem algumas experiências de realidade virtual que, olhando em volta, as afeta e cria som.

Seria divertido fazer algo como gravar um vídeo em um museu e ouvir a narração em áudio sobre o que você está ouvindo. Por isso, de momento, vamos estar à espera para ver o que os narradores Total Cinema 360.

Espere o melhor das gravações binaurais

Como você pode ver na figura abaixo, este é o microfone Omni-Binaural. Adoramos o design e é ainda melhor quando montado em cima de uma "cabeça", como parte de um show ou similar. Cada um dos quatro microfones são bons modelos biaurais, por isso é ótimo para criar uma gravação de quatro áudios ao mesmo tempo. Isto é o que eu posso fazer neste momento, nada mais.

microfone biauricular

Este microfone foi desenvolvido por Back e Chris do "Hello Again". Uma experiência visual e sonora 360 muito legal. Você pode dar a volta ao vídeo concerto e verá como as gravações são feitas para encaixar, combinando-as e assim por diante. As câmeras, microfones e palco estão constantemente se movendo em círculos.

Pessoalmente eu adoro a implementação da peça. O que eu não gosto muito é que eles realmente anunciam como sendo uma gravação de 360° de som binaural. Os humanos podem localizar um lado do som com precisão a um único grau, por isso estou confiante em afirmar que o Espaço Livre Omni isto, discos a quatro graus de som biauricular. Nossa localização de som periférico matinal pode ser tão ruim quanto 15 graus, então você pode dizer gravar a 60 graus de som binaural se você realmente quiser tirar um pouco de suco dele.

Faz-me lembrar um pouco esta linda mas completamente irrealista montagem de 360 câmaras. Sim, estamos a falar sobre o GoPro 360. Eu gosto. o suporte 360HerosE na verdade nós o usamos como um estéreo pentagonal, que funciona, mas se eles estão vendendo esta coisa, eu acho que eles não entendem exatamente como esta coisa de montagem funciona.

Seja como for, gravar música ao vivo sendo tocada a partir de alto-falantes torna difícil julgar um sistema de microfone. Nada do áudio vem da coisa que faz o som, mas isso nos faz pensar se é culpa do microfone, ou de um bug no reprodutor de vídeo, ou que o alto-falante tocando esse som estava em outro lugar.

A interferência vem dos alto-falantes do concerto, ou é devido a misturá-los e tê-los a vários centímetros um do outro? Quando você se move um pouco, parece que o som faz um salto de 90 graus. É porque a gravação é estranha, ou porque o microfone está se movendo durante a gravação?

Ainda para esta implementação é bom o suficiente. É ótimo para qualquer coisa quando você precisa de som biauricular, cheio de sons 3D legais, e você não precisa se preocupar com ruídos que podem ser distorcidos e apenas precisos até 90 graus. A mistura de gravações binaurais não nivela as localizações de áudio. Não mais do que colocar duas fotos estéreo juntas dá-lhe a perspectiva de olhar pelo nariz abaixo, mas pode criar um efeito de transição fixe. Ainda assim, no final, precisamos de juntar melhor as imagens.

Especulação arrojada

esfera harmónica Quando temos de degradar um pouco o nosso vídeo 360° com vários microfones, o suficiente destes numa bola ou montagem pode ser suficiente para um som 3D com uma precisão credível. A interferência de áudio da mistura de microfones dispostos a alguns centímetros de distância pode ser ouvida, mas não é um problema. provavelmente nem se dá por isso.. E se a sua gravação binaural lhe permite localizar o som até 1 grau de precisão, mas a sua cabeça está ligeiramente no caminho dos microfones, então você está a 10 graus de distância de onde o ruído está acontecendo no vídeo, embora provavelmente seja suficiente para apreciá-lo um pouco.

Também podemos saltar as coisas complicadas e passar à matemática. Ondas e campos sonoros, sendo cada microfone não uma representação do ouvido humano, mas outro ponto de dados que torna o nosso modelo de realidade ainda mais preciso. É por esta razão que estou pessoalmente interessado na ambisónica. Há milhares de estudos e pesquisas sobre isso, e se pudermos fazer as contas, podemos fazer realidade virtual para real.

Idealmente, uma vez que você tenha o seu campo sonoro, você pode renderizá-lo com base em modelos de audição 3D, a fim de criar uma experiência binaural esférica. É a sua própria distorção 3D dos seus ouvidos que permite ao seu cérebro interpretar 1D em 3D. As cabeças que mencionamos no início do artigo soam bem, mas levarão a uma percepção de som espacial menos precisa do que usar seus próprios modelos 3D de sua própria cabeça e depois renderizar o áudio só para você.

Seja como for, quase nada que se ouça no cinema vem de uma única gravação que inclui vozes de actores, passos e som de fundo, uma vez que neste sentido estamos a falar de captura ambisónica e, muito provavelmente não será o futuro da produção de filmes de realidade virtual.. Filmes de nível gravam efeitos sonoros, música e vozes separadamente, e depois misturam tudo junto para que estejam no lugar certo no momento certo. As ferramentas de edição de vídeo são bastante bons a seguir os objectos escolhidos num filme, com o mínimo de trabalho.

acompanhamento de cabeça

Poderíamos usar a mesma tecnologia que nos permite colocar efeitos de explosão nos carros, rastreando-a para garantir que seja realista e em movimento com a gravação, e usar essa informação para rastrear o áudio desse objeto voando pelo ar em um mundo de realidade virtual da mesma forma.

Como você pode ver na imagem, ele foi colocado com After Effects, um rastreador de movimento, e já tem uma voz gravada porque ele usa um microfone sem fio, então você tem toda a informação necessária para mover a pista de áudio. A próxima coisa a fazer é torná-lo audível para os ouvidos do público.

Uma opção seria fazer o tipo de coisa Total Cinema 360 que temos visto com Blues. Isso seria ter uma pasta que contém os arquivos de efeitos sonoros, e outra que tem a informação extraída da faixa, então transformá-los e sincronizá-los todos juntos no mesmo jogador. Isto seria talvez um pouco trabalho demais, mas suficientemente simples. Eu certamente não quero ter um arquivo de vídeo mais uma pasta e efeitos sonoros que só podem ser corrigidos com programas especiais, em um formato que pode ou não ser padrão para outros players. Isto deixaria muito espaço para uma multiplicidade de problemas a serem criados.

Embora pareça muito, posso visualizar os usuários exportando para o After Effects informações para torná-lo compatível com o Unity, onde você pode compilar o vídeo com todas as informações e efeitos sonoros como se fosse um jogo, e depois baixar e executar todo o jogo do Unity para ver o vídeo de 360 graus.

ondas acústicas Ou mesmo se você não captou o som originalmente de forma ambígua, você ainda pode usar esse formato para codificar sua espiral de informações sonoras como uma esfera de som em vez de um milhão de pequenas faixas, usando um programa que só o criador do vídeo, e não o consumidor, precisa usar. Parece natural e fácil para um leitor de vídeo esférico suportar som ambisónico.. Um arquivo de vídeo regular pode armazenar dados de informação como uma série de faixas de áudio representadas em uma esfera sonora.

Aplique uma rotação para corresponder, depois junte-a em estéreo binaural usando microfones virtuais. Matematicamente simples. E tudo o que requer mais é apenas uma fácil extensão da tecnologia.

Tudo parece suficientemente simples, talvez demasiado simples, para implementar a ambisónica básica, por isso estou um pouco surpreendido por ainda não a ter visto. Deve ser tão simples quanto isso:

  1. Grava com som de microfone no lugar certo.
  2. Converta para o formato padrão B.
  3. Use as informações de rastreamento de cabeça para aplicar à transformação de rotação.
  4. Converte para estéreo.

Uma teoria que funciona muito bem na prática, não achas? Eu realmente não sei. Talvez eu esteja a cometer algum erro fundamental. Acho que vamos ver em breve. E você sabe que qualquer comentário que você quiser fazer sobre isso, você pode fazê-lo em nossa comunidade que nós ligamos você no menu.

Se chegaste até aqui, é porque ainda não tens a certeza disso.

Quanto é que queres gastar?

150€

*Mude o cursor para alterar o preço.