Microsoft Mesh | Microsoft anuncia plataforma de realidade mista durante o Ignite

Durante anos, o cofundador do Cirque du Soleil, Guy Laliberté, recebeu inúmeras propostas de tecnologias de realidade virtual, mas elas não conseguiam igualar a magia de suas performances ao vivo intensamente visuais e hipnotizantes. Agora, com uma nova plataforma fornecida pela Microsoft, ele está repensando sobre isso.

Na terça-feira, 2 de março, ele apareceu no Microsoft Ignite, conferência digital da Microsoft, via holoportação, que usa tecnologia de captura 3D para transmitir uma imagem real de uma pessoa em uma cena virtual. Na primeira experiência de apresentação da empresa projetada inteiramente para realidade mista, as pessoas que participaram da conferência em salas de estar e escritórios domésticos em todo o mundo puderam experimentar o show como avatares, assistindo os eventos se desenrolar em um mundo holográfico compartilhado.

Foi a primeira oportunidade da empresa de mostrar algumas das experiências possibilitadas pelo Microsoft Mesh, uma nova plataforma de realidade mista disponibilizada pelo Azure, que permite que pessoas em diferentes locais físicos participem de experiências holográficas colaborativas e compartilhadas em muitos tipos de dispositivos.

“Este tem sido o sonho da realidade mista, a ideia desde o início”, disse Alex Kipman, Technical Fellow da Microsoft. “Você realmente sente que está no mesmo lugar com alguém compartilhando conteúdo, ou pode se teletransportar de diferentes dispositivos de realidade mista e estar presente com as pessoas, mesmo quando não estão fisicamente juntas.”

Kipman apareceu no palco virtual do Ignite como uma total holoportação de si mesmo, narrando a experiência de abertura do show em tempo real enquanto raios de luz que simulavam seu corpo físico.

James Cameron, o cineasta e explorador do oceano, e John Hanke, CEO e fundador da empresa líder de realidade aumentada Niantic, Inc., também se juntaram à Kipman remotamente para destacar como o Microsoft Mesh está ajudando a criar experiências compartilhadas nos mundos virtual e físico.

Laliberté conversou com Kipman sobre uma nova colaboração para ajudar a Lune Rouge, outra empresa fundada por Laliberté, a realizar um projeto chamado Hanai World. É uma plataforma de realidade social mista na qual ele pensou por anos – que conectaria experiências de entretenimento ao vivo e digital em eventos únicos – mas só agora tecnologias como o Microsoft Mesh alcançaram essa visão.

O Microsoft Mesh também permitirá que equipes distribuídas geograficamente tenham reuniões mais colaborativas, conduzam sessões de design virtual, ajudem outras pessoas, aprendam juntos e hospedem encontros sociais virtuais. As pessoas inicialmente serão capazes de se expressar como avatares nessas experiências virtuais compartilhadas e, com o tempo, usar a holoportação para projetar a si mesmo da forma mais possível, disse a empresa.

A nova plataforma é o resultado de anos de pesquisa e desenvolvimento da Microsoft em áreas que vão desde rastreamento de mãos e olhos e desenvolvimento de HoloLens até a criação de hologramas persistentes e modelos de inteligência artificial que podem criar avatares expressivos.

Construído no Azure, a plataforma de computação em nuvem da Microsoft, o Microsoft Mesh, também se beneficia dos recursos de segurança e privacidade de nível empresarial do Azure, bem como seus vastos recursos computacionais, dados, IA e serviços de realidade mista.

“Cada vez mais estamos agregando valor em nossa nuvem inteligente, que é o Azure”, disse Kipman. “Nessas experiências colaborativas, o conteúdo não está dentro do meu dispositivo ou dentro do meu aplicativo. O conteúdo holográfico está na nuvem e só preciso das lentes especiais que me permitem vê-lo.”

Com os aplicativos habilitados para Microsoft Mesh, designers ou engenheiros que trabalham com modelos físicos 3D – qualquer coisa, de bicicletas a móveis sofisticados, motores a jato e novos estádios esportivos – podem aparecer em um espaço virtual compartilhado para colaborar e iterar em modelos holográficos, independentemente de sua localização física.

Arquitetos e engenheiros podiam percorrer fisicamente um modelo holográfico de um chão de fábrica em construção, vendo como todas as peças do equipamento se encaixam em três dimensões, potencialmente evitando erros caros.

Estudantes de engenharia ou medicina aprendendo sobre motores de carros elétricos ou anatomia humana podem se reunir como avatares em torno de um modelo holográfico e remover partes do motor, ou remover músculos para ver o que está por baixo. Os colegas podem simplesmente se reunir e conversar em um espaço virtual compartilhado, ou as empresas podem usar os aplicativos habilitados para Microsoft Mesh para oferecer reuniões virtuais ou treinamentos para funcionários em todo o mundo.

A plataforma Microsoft Mesh oferecerá nos próximos meses aos desenvolvedores um conjunto completo de ferramentas baseadas em IA para avatares, gerenciamento de sessão, renderização espacial, sincronização entre múltiplos usuários e holoportação para construir soluções colaborativas em realidade mista, disse a empresa.

Embora os usuários tenham as experiências mais ricas em realidade mista ou virtual, os padrões abertos do Microsoft Mesh darão aos desenvolvedores a liberdade de criar soluções que funcionem em muitos dispositivos diferentes: HoloLens 2, uma variedade de headsets de realidade virtual, smartphones, tablets e PCs.

No Ignite, a Microsoft anunciou dois aplicativos desenvolvidos na plataforma Microsoft Mesh.

Incluindo uma prévia do aplicativo Microsoft Mesh para HoloLens, que permite aos membros da equipe colaborar remotamente e está disponível para download. Os clientes também podem solicitar acesso a uma nova versão do AltspaceVR habilitado para Mesh, que permitirá às empresas realizar reuniões e encontros de trabalho em realidade virtual com recursos de segurança de nível empresarial, incluindo logins seguros, gerenciamento de sessão e conformidade de privacidade.

Com o tempo, a empresa espera que os clientes possam escolher entre um conjunto crescente de aplicativos habilitados para Microsoft Mesh criados por desenvolvedores e parceiros externos, e também se beneficiar da integração planejada com produtos Microsoft, como Microsoft Teams e Dynamics 365.

“É por isso que somos tão apaixonados pela realidade mista como o próximo grande meio para a computação colaborativa”, disse Kipman. “É mágico quando duas pessoas veem o mesmo holograma.”

Explorando o mundo juntos

A bordo do OceanXplorer, um dos mais avançados navios de pesquisa e exploração de alto mar já construídos, há muito espaço para hospedar todos os cientistas que clamam por aprender com novos dados constantemente coletados por instrumentos e câmeras em seus veículos de alto mar que podem sondar tudo, desde recifes de coral e piscinas de água salgada para a vida marinha, ao redor de fontes hidrotermais profundas, e minerais ao redor de vulcões subaquáticos.

No Ignite, a OceanX, uma organização sem fins lucrativos, que mescla ciência de ponta com narrativa atraente e experiências de produto e tecnologia para apoiar a educação e conscientização oceânica, anunciou uma nova colaboração com a Microsoft para criar um “laboratório holográfico”, habilitado para Mesh, no navio que os cientistas pudessem se reunir – pessoalmente ou virtualmente de laboratórios e escritórios em todo o mundo – para ver hologramas 3D das áreas que os veículos estão explorando.

Os pesquisadores que tentam descobrir por que cachalotes caçam em certas áreas, por exemplo, podem ver uma representação holográfica de um cânion do fundo do mar com dados coletados de etiquetas colocadas nas baleias, sobrepostas com informações sobre salinidade, temperatura e mudanças na química do oceano e integradas com dados de localizadores de peixes, mostrando onde podem estar as lulas e outras presas.

“A ideia é pegar todos esses dados científicos incríveis que estamos coletando e trazê-los para um ambiente holográfico, e usá-los como uma forma de guiar missões científicas em tempo real”, disse Vincent Pieribone, vice-presidente da OceanX.

O objetivo é permitir que qualquer pesquisador com um HoloLens 2 ou outro dispositivo compatível, usando o Microsoft Mesh, apareça ao redor de uma mesa como um avatar e aponte para uma área específica do fundo do mar holográfico, sobre a qual ele possa ter dúvidas e conversar em tempo real com outros cientistas sobre o que estão vendo.

Nas missões de pesquisa da OceanX, muitas vezes há grupos de pessoas amontoadas em torno de feeds de vídeo, fazendo perguntas e tendo conversas paralelas com seus colegas. Os pesquisadores que não estão no barco, mesmo que estejam assistindo às mesmas filmagens em uma tela de seu escritório, nem sempre se beneficiam dessas interações, disse Pieribone.

“Há um componente social que é essencial”, disse ele. “Queremos trazer todos para o mesmo ‘cômodo’ para que tenham trocas entre eles e essa conexão humana.”

Para expandir em um tipo totalmente diferente de exploração, a Niantic demonstrou no Ignite uma experiência de demonstração do Pokémon GO de prova de conceito que é executada no HoloLens 2. Ela foi projetada para mostrar a visão de uma nova colaboração, que se baseará na mistura da Microsoft e da Niantic e recursos de realidade aumentada.

Na demonstração, que não representa um produto de consumo, Hanke e um bando de Pokémon em seu parque favorito se juntaram à Veronica Saron, gerente de marketing de produto do Pokémon GO, para batalhar em uma sessão de realidade mista compartilhada.

A missão da Niantic é criar tecnologias que permitem que as pessoas se socializem e explorem o mundo juntas, disse Hanke, sejam crianças usando Pokémon GO para explorar seus bairros com pais ou amigos, ou milhares de pessoas se reunindo em parques para festivais.

“O Microsoft Mesh oferece uma maneira totalmente nova de fazer isso”, disse ele. “Essa noção de trazer meus amigos virtuais comigo enquanto eu saio, ando e exploro o mundo – adoro esse conceito e estou realmente interessado em ver o que podemos fazer com isso.”

A demonstração mostra o potencial da experiência Pokémon GO construída na plataforma em escala planetária da Niantic, que permitiu que milhões de pessoas tivessem experiências de realidade aumentada no mundo real, aprimoradas com recursos do Microsoft Mesh, permitindo que as pessoas estivessem presentes juntas em experiências compartilhadas no espaço e tempo e rodando no HoloLens.

“Nossa parte nisso é o trabalho de juntar os mundos digital e físico, conectando os bits e átomos para que essas experiências sejam possíveis usando a plataforma Niantic”, disse Hanke. “Mas as conexões sociais estão realmente no centro de tudo o que fazemos, e as inovações do Microsoft Mesh apenas enriquecem isso.”

‘Outra camada de conexão humana’

Lune Rouge, a iniciativa baseada em Quebec fundada por Laliberté do Cirque du Soleil, também está começando a explorar como o Microsoft Mesh pode permitir que as pessoas participem virtualmente de shows, apresentações teatrais, eventos de DJ ou até mesmo celebrações familiares de locais remotos.

O projeto Hanai World – inspirado na palavra havaiana que, traduzida livremente, significa escolher alguém como família – visa forjar novas conexões entre experiências de entretenimento digital e físico.

O objetivo é criar representações digitais de locais de entretenimento ao redor do mundo e capturar performances ao vivo com fidelidade 3D suficiente para que as pessoas possam vivenciar o mesmo evento pessoalmente ou de sua sala de estar em realidade mista ou virtual. A plataforma faria a curadoria de uma mistura de Lune Rouge e conteúdo gerado pelo usuário em uma ampla variedade de mídias e gêneros.

“Seria um bom complemento para entretenimento ao vivo”, disse Alexandre Miasnikof, Diretor Executivo de Produção da Lune Rouge. “Ele traz outra camada de conexão humana e traz entretenimento para pessoas que normalmente não seriam capazes de comparecer a um evento, seja por causa da localização ou do acesso”.

Dois amigos que moram em costas opostas podem participar do mesmo show como avatares e vivenciar o show juntos, ou talvez, um dia, uma holoportação da avó de alguém que mora em outro país possa interagir com os membros da família em tempo real em uma reunião.

“O que temos hoje é a promessa, e em quanto tempo poderemos cumprir essa promessa, não sabemos”, disse Miasnikof. “Mas achamos que temos uma boa base com o Microsoft Mesh e vamos construir a partir daí.”

Esse é precisamente o objetivo, Kipman disse: ver quais tipos de soluções que poderiam ter sido anteriormente descartadas como impossíveis ou muito demoradas para serem postas em prática, agora podem ser construídas com muito mais facilidade com a plataforma Microsoft Mesh.

“Quando você pensa sobre o que realmente é necessário para inaugurar um novo meio de computação, você tem que fazer investimentos profundos em todo o ecossistema, que é realmente o que a Microsoft fez”, disse ele.

“Agora, convidamos as pessoas a criarem valor além disso e se beneficiarem dos anos de pesquisa e desenvolvimento realmente difíceis que fizemos para oferecer a eles esses recursos.”