Microsoft a une longue tradition de pimenter les annonces de produits relativement ennuyeuses avec des démos technologiques convaincantes, et l'annonce de Windows 10 n'a pas fait exception. Le géant du logiciel a profité de l'occasion pour créer beaucoup de buzz autour du HoloLens, un casque futuriste qui offre un aperçu de l'avenir de la réalité augmentée (RA). Cependant, Microsoft a également une tradition de flops matériels spectaculaires, qui ont culminé sous le régime Ballmer. Vous vous souvenez du téléphone Kin? Moi non plus.

L'introduction de HoloLens ne sera probablement pas un tel flop pour plusieurs raisons. Tout d'abord, HoloLens a encore un long chemin à parcourir avant de devenir un appareil commercialement viable - cela pourrait prendre environ quelques trimestres ou quelques années. Deuxièmement, le concept sous-jacent est solide et s'appuie sur quelques tendances émergentes prometteuses de l'industrie, telles que la technologie portable et les casques de réalité virtuelle (VR). HoloLens essaie d'être quelque peu différent en regroupant de nombreuses fonctionnalités dans un seul appareil, mais dans cette revue Microsoft HoloLens, nous examinerons ce qui existe déjà et ce qui est en cours.

Puisqu'il s'agit d'un blog d'ingénierie conçu pour Professionnels de la réalité virtuelle et d'autres ingénieurs, je ne passerai pas beaucoup de temps à répondre à la question 'Qu'est-ce que HoloLens?' et expliquant la différence entre AR et VR. La technologie de réalité augmentée a une gamme d'applications potentielles dans diverses industries, mais des applications limitées dans le divertissement. La réalité virtuelle est plus orientée vers le divertissement, même si elle a également des applications professionnelles.

Les deux technologies ont encore beaucoup de limites et de nombreux défis techniques doivent être surmontés pour gagner en popularité sur le marché de masse. Il s'agit d'un processus graduel qui prendra des années plutôt que des mois. La technologie nécessaire pour créer de tels produits sans se ruiner n’est tout simplement pas prête, mais elle y parvient lentement.

Jetons un coup d'œil à ce qui existe et à ce qui manque.

Limitations matérielles - Google Glass vs Oculus Rift vs Microsoft HoloLens

Google Glass a été annoncé au début de 2012 et a commencé à être expédié un an plus tard au coût de 1 500 $. Son prix élevé signifiait qu'il était réservé à un très petit créneau - les premiers utilisateurs décrits comme des «explorateurs» par la machine de relations publiques et de marketing de Google. L'appareil offrait une fonctionnalité AR limitée et contenait un petit projecteur à prisme d'une résolution de 640x360 pixels, alimenté par un processeur obsolète.

S'il a réussi à captiver le public pendant un certain temps, Google Glass peut difficilement être décrit comme un succès. Les développeurs d'applications désireux de prendre le train en marche ont commencé à perdre leur intérêt, tout comme les «explorateurs» qui semblaient surmonter la mode en quelques mois. Les dernières rumeurs indiquent une nouvelle version de Google Glass avec du silicium Intel à l'intérieur, il est donc peut-être un peu trop tôt pour une nécrologie. Quoi qu'il en soit, Google Glass n'a pas été un grand succès, peu importe comment vous le regardez.

Oculus Rift est peut-être le système de réalité virtuelle dont on parle le plus à l'heure actuelle, mais contrairement à Google Glass, il n'a pas encore été lancé. Oculus VR travaille sur l'appareil depuis des années et, ce faisant, la société a traversé deux générations de kits de développement. La version grand public devrait être lancée dans le courant de 2015, avec une spécification révisée. En mars 2014, Oculus VR a été acheté par Facebook pour plus de 2 milliards de dollars en espèces et en actions Facebook.

Gear VR de Samsung propose une approche différente, car il utilise le phablet Galaxy Note 4 au lieu d'un écran intégré, mais il repose sur une technologie développée par Oculus. Je trouve le concept modulaire intéressant, car une approche similaire pourrait être utilisée avec une gamme d'appareils mobiles de différents fournisseurs, ce qui permettrait aux utilisateurs de mettre à niveau efficacement le matériel à chaque fois qu'ils ont un nouveau téléphone. Qualcomm Vuforia La plate-forme offre des fonctionnalités prometteuses pour les appareils mobiles et les applications potentielles AR / VR.

Alors, que manque-t-il? La réponse simple est peut-être la puissance de traitement, mais c'est un peu plus compliqué que cela.

Le problème avec les deux concepts est qu'ils sont encore en avance sur leur temps et que la technologie doit encore rattraper son retard. Le HoloLens de Microsoft ne manquera pas de souffrir des mêmes problèmes de démarrage, mais le concept de Microsoft est quelque peu différent et a donc une chance de surmonter au moins certains de ces problèmes.

Google Glass a été conçu comme un portable léger, ce qui a abouti à un certain nombre de compromis. L'appareil présentait un seul écran sur un prisme épais devant l'œil droit de l'utilisateur. La résolution était très limitée compte tenu du champ de vision (FOV). Par exemple, les écrans de smartwatch ont tendance à présenter des résolutions verticales similaires pour un appareil qui occupe seulement quelques degrés du champ de vision de l'utilisateur. Google Glass était basé sur un système sur puce (SoC) désuet et avait une autonomie limitée.

Concevoir des appareils mobiles n'est pas facile et implique toujours un certain nombre de compromis. Les écrans à résolution plus élevée nécessitent plus de puissance GPU, ce qui nécessite l'utilisation de SoC plus gros avec des GPU plus puissants fonctionnant à une charge plus élevée, ce qui nécessite alors une batterie plus grande, etc. C’est un excellent exercice d’équilibrage, et un casque AR est tout simplement trop petit pour accueillir une grosse batterie comme celles utilisées dans les tablettes haute résolution.

À première vue, Oculus Rift ne semble pas souffrir de lacunes similaires sur le plan matériel, car il n'a pas de compromis pour la durée de vie de la batterie et la portabilité. Il ne repose pas sur un SoC intégré et un affichage 1080p semble souhaitable; mais, en réalité, ce n’est pas assez pour le photoréalisme. L'appareil a un très grand champ de vision et la densité de pixels est encore insuffisante.

Pour surmonter ce problème, les appareils VR devraient utiliser des écrans 4K / UHD de résolution plus élevée, voire des écrans 8K à un moment donné dans le futur. La technologie est presque là, mais elle n'est pas bon marché et est tout sauf portable.

Si vous souhaitez exécuter les derniers jeux AAA sur un écran 4K avec les paramètres de détail les plus élevés possibles, vous avez besoin de deux cartes graphiques discrètes haut de gamme. Par exemple, les cartes Nvidia et AMD basées sur les GPU phares des générations Maxwell et Hawaii. Pour éliminer les déchirures d'images (en utilisant des technologies similaires à G-Sync de Nvidia ou FreeSync d'AMD), vous avez besoin d'un peu plus de puissance, et pour faire une 3D appropriée pour les deux yeux, vous avez besoin encore plus de puissance GPU.

L'essentiel est que pour alimenter un appareil 4K VR en utilisant la technologie actuellement disponible, vous auriez besoin d'au moins deux GPU avec un total de 12 à 14 milliards de transistors en 28 nm, consommant de 350 W à 500 W de puissance, sans compter le CPU et le reste du système. . Il s'agit d'une estimation prudente, basée sur le GPU et les processeurs actuellement disponibles - et ne parlons même pas de l'idée d'alimenter deux écrans 4K, un par œil.

Le dernier SoC mobile de Nvidia, le Tegra K1 64 bits utilisé dans le Google Nexus 9, comporte 192 cœurs CUDA basés sur l’architecture Kepler, pas le Maxwell plus efficace. Les cartes graphiques discrètes phares actuelles de la société comportent 2048 cœurs Maxwell CUDA fonctionnant à des horloges plus élevées que les cœurs Kepler dans les SoC Tegra mobiles.

Les appareils VR portables avec des graphismes photoréalistes sont clairement indisponibles pour les années à venir, et même les appareils filaires comme l'Oculus Rift ont encore un long chemin à parcourir. Le coût global de la plate-forme est une autre préoccupation. Les PC de jeu capables de générer des fréquences d'images jouables à 1080p sont relativement bon marché, car les GPU grand public sont suffisamment rapides pour faire le travail. Mais à 2160p, vous avez besoin de quatre fois plus de puissance GPU, avec plus de mémoire et un processeur plus rapide.

Il existe une autre façon d'aborder ce problème, et j'y reviendrai plus tard.

Alors, qu'est-ce que Microsoft a fait?

Rappelles toi Oculus Rift de Facebook accord que j'ai mentionné plus tôt? Quelques jours à peine après son annonce, il est apparu que Microsoft avait acheté des actifs de propriété intellectuelle (IP) liés à la réalité augmentée et aux ordinateurs portables auprès du Groupe de conception Osterhout (ODG). Certains des brevets portaient sur des «lunettes de visualisation à vision de près» avec un élément optique à transmission partielle.

En d'autres termes, Microsoft a acheté l'adresse IP nécessaire pour créer HoloLens; et l'accord aurait couvert des dizaines de brevets ODG, dont quelques dizaines de demandes de brevet supplémentaires en cours. Pendant ce temps, Oculus VR n'aurait qu'un seul brevet, qui décrit vaguement «un casque de réalité virtuelle».

Microsoft semble essayer d'obtenir le meilleur des deux mondes - un large champ de vision généralement associé aux appareils de réalité virtuelle et une surface d'affichage transparente adaptée aux applications AR. L'approche devrait permettre à HoloLens d'utiliser beaucoup moins de puissance de traitement que les appareils VR, tout en offrant en même temps plus de fonctionnalités grâce au large champ de vision. Au lieu d'essayer de rendre un contenu photoréaliste, HoloLens pourrait s'en tirer avec une résolution et une qualité d'image légèrement inférieures en raison de l'opacité limitée du contenu affiché. Il n'est pas nécessaire de créer une illusion de réalité, donc il y a beaucoup moins de frais généraux liés au matériel. De nombreuses technologies prêtes à l'emploi pourraient permettre à HoloLens de réduire ou d'éliminer les alias et de générer de beaux composites, car la toile de fond est déjà là.

Ce fait limite l'attrait de HoloLens dans le créneau du divertissement, par opposition aux vrais casques VR; mais il ouvre un certain nombre de possibilités dans d'autres industries, allant de l'ingénierie et de la santé à l'architecture et à la défense. HoloLens pourrait être utilisé pour aider les professionnels de la santé, les ingénieurs, les opérateurs de machines industrielles, les soldats et les forces de l'ordre.

Cependant, HoloLens a toujours des applications dans l'espace consommateur. Phil Spencer de Microsoft a déclaré que HoloLens devait être un produit autonome performant, ajoutant que la société cherchait déjà des moyens de l'utiliser à l'unisson avec les PC et les consoles Xbox One. L'appareil pourrait servir d'affichage tête haute (HUD) pour les joueurs, ou même pour les amateurs de fitness dans les gymnases.

Conundrum matériel HoloLens

Microsoft n'a pas révélé les spécifications matérielles exactes, nous ne savons donc toujours pas à quoi nous attendre. Il n'y a aucun mot sur la résolution d'affichage, les GFLOP GPU, la connectivité ou la durée de vie de la batterie. Cela laisse beaucoup de place à la spéculation, que la presse technique est heureuse de remplir avec des pouces de colonne et des appâts, mais rien n'est encore officiel.

Comme je l'ai dit, HoloLens ne devrait pas nécessiter autant de puissance GPU que l'Oculus Rift et les produits VR similaires. Cependant, cela ne signifie pas que Microsoft peut s'en tirer avec un SoC bon marché, comme ceux couramment utilisés dans les produits mobiles. Microsoft utilise actuellement une gamme de puces de différents fournisseurs - des SoC Qualcomm Snapdragon avec 4G / LTE intégrée pour les téléphones mobiles, des puces Intel pour les tablettes Surface Pro (ainsi que des SoC Nvidia sur les anciens produits Surface RT), ainsi que des APU AMD personnalisés dans la Xbox One .

Pour des raisons d'alimentation, le choix le plus évident serait un SoC Snapdragon, similaire à ceux utilisés dans les téléphones Lumia. Cela ne signifie pas que HoloLens serait aussi sous-alimenté que Google Glass. HoloLens est un appareil beaucoup plus gros, avec de la place pour une batterie plus grosse; et les derniers SoC Snapdragon sont bien plus puissants que le chipset utilisé dans Google Glass (qui est nettement plus lent que les puces utilisées dans les smartwatches). Les premiers tests indiquent que le GPU Adreno 430 utilisé dans les futurs SoC phares de Qualcomm, comme le Snapdragon 810, est une centrale capable de gérer des résolutions 4K et de rendre un contenu 3D relativement complexe en 1080p.

Il ne s’agit pas seulement de performances de rendu. Les GPU offrent beaucoup de potentiel informatique et peuvent être utilisés pour bien plus que les jeux. Google a utilisé le Tegra K1 pour Projet Tango , qui traite également d'un certain nombre de technologies qui pourraient être très utiles pour les appareils AR ou VR - l'automatisation, les voitures sans conducteur, etc. J'ai déjà mentionné Vuforia, et il y a d'autres acteurs dans l'industrie du GPU, mais Nvidia a l'avantage d'utiliser les cœurs CUDA - il est un leader du marché des graphiques professionnels et du calcul GPGPU depuis des années.

Cependant, nous ne devons pas être enfermés dans l’état d’esprit «ce qui est là-bas». Il faudra un certain temps avant que HoloLens ne soit mis en vente, et les générations suivantes sont vouées à proposer un matériel encore plus puissant. Les nouveaux atomes 14 nm d'Intel arriveront bientôt, tandis que les SoC 14 nm et 16 nm basés sur ARM devraient apparaître quelques trimestres plus tard. Les nouveaux nœuds non planaires permettront encore plus de performances par watt, améliorant considérablement les performances globales sans nuire à la durée de vie de la batterie.

Streaming comme alternative

Il existe également une alternative que j'ai mentionnée plus tôt: le cloud computing et le streaming pourraient être utilisés pour afficher du contenu 3D complexe et gourmand en ressources. Les derniers SoC intègrent des modems sans fil 802.11ac et LTE rapides, suffisants pour le streaming haute résolution. L'inconvénient de cette approche, en particulier LTE, est le décalage.

Si du contenu supplémentaire est rendu localement, sur un poste de travail PC ou peut-être même une Xbox One, le décalage devrait être limité, mais le rendu cloud à distance pourrait s'avérer problématique. Par exemple, Nvidia tente de résoudre ce problème en configurant LA GRILLE serveurs à des endroits stratégiques, dans le but de couvrir les plus grands marchés avec un streaming de jeu à faible lag. Quelques millisecondes de retard supplémentaire pourraient compromettre l'expérience utilisateur dans une application AR.

Un SoC mobile devrait être suffisant pour la plupart des tâches quotidiennes, telles que Skype et certaines applications de réalité augmentée limitées. Cependant, si un architecte veut entrer dans un chantier de construction et voir à quoi ressemblera le bâtiment fini en utilisant la réalité augmentée, HoloLens devra être soutenu par plus de matériel; rendre des scènes complexes avec des centaines de milliers ou des millions de polygones, des effets d'éclairage avancés, etc.

L'avantage est que HoloLens pourrait offrir de nombreuses fonctionnalités prêtes à l'emploi, avec un GPU intégré relativement puissant capable de gérer de nombreuses tâches quotidiennes, telles que le streaming vidéo haute résolution, la navigation et même les jeux occasionnels. D'un autre côté, les professionnels pourraient utiliser 802.11ac ou LTE pour diffuser du contenu plus complexe, rendu à distance.

Microsoft pourrait pratiquement utiliser la même plate-forme matérielle pour les particuliers et les professionnels, ces derniers utilisant le streaming local ou cloud pour des tâches plus avancées et gourmandes en ressources.

Existe-t-il un cas d'utilisation et un marché pour HoloLens?

Microsoft a montré HoloLens dans un certain nombre de scénarios différents. Bien que les démos soient assez intéressantes, elles ne décrivaient pas exactement un cas d'utilisation réaliste et commercialement viable pour le nouvel appareil.

Ce que j'aime chez HoloLens, c'est le fait qu'il est à mi-chemin entre les véritables appareils portables, comme Google Glass, et les solutions de réalité virtuelle filaire, comme Oculus Rift. HoloLens n'a pas besoin d'être suffisamment léger et portable pour être porté dans la rue, mais en même temps, il n'a pas besoin d'être relié à un ordinateur ou à une source d'alimentation externe - le meilleur des deux mondes. J'aime aussi le fait que Microsoft choisisse de diriger plutôt que de suivre. HoloLens diffère des concepts et produits existants; il est innovant, futuriste et original - une bouffée d’air frais de Redmond.

comment pirater les informations de carte de crédit de quelqu'un

Cependant, cette approche soulève également un certain nombre de questions importantes concernant le cas d'utilisation de HoloLens et la taille du marché. Il ne peut pas remplacer un écran comme les solutions VR, mais il ne peut pas être utilisé dans des situations quotidiennes en raison de son volume et de son apparence. Bien que vous puissiez voir des navetteurs et des athlètes utiliser des lunettes intelligentes, vous ne verrez probablement pas de skieurs ou de joggeurs porter un casque HoloLens.

Que pourraient faire les utilisateurs grand public avec HoloLens? Quels types de plates-formes logicielles et de systèmes d'exploitation seront pris en charge? Qu'en est-il des applications professionnelles? Qu'en est-il de la fonctionnalité multiplateforme HoloLens, des spécifications matérielles, du prix de vente au détail et de la nomenclature (BOM)?

Il reste encore beaucoup de questions à répondre, et il faudra probablement un certain temps avant que Microsoft ne publie toutes les informations.

Microsoft devra cibler à la fois les marchés grand public et professionnel, avec le même matériel. En fonction du prix et de la nomenclature, Microsoft pourrait tirer parti de sa base d'utilisateurs Xbox, ainsi que d'un segment du marché des jeux sur PC, pour proposer les produits HoloLens aux utilisateurs grand public. La commercialisation d'un tel produit ne sera pas facile si le prix est trop élevé, mais la base d'utilisateurs est là - et elle est prête à dépenser beaucoup d'argent pour de nouveaux gadgets. Une approche de marché grand public aiderait également à impliquer davantage de développeurs, élargissant ainsi l'écosystème et créant de nouveaux cas d'utilisation.

Mais si les produits HoloLens sont censés être tarifés pour le marché grand public, comment Microsoft va-t-il s'attaquer au marché professionnel et gagner de l'argent dans le processus?

Il y a des années, je gagnais ma vie avec des graphismes 3D hors ligne, et je peux voir beaucoup de potentiel dans HoloLens. Il y a beaucoup d'utilisateurs 3D / CAD et beaucoup d'entre eux seraient d'accord. Cela signifie-t-il que chaque concepteur sera en mesure de choisir un appareil HoloLens au prix du marché grand public et de l'utiliser pour le travail? Peut-être, mais probablement pas.

Il existe d'autres moyens de commercialiser des produits dans cet espace. Je couvre l’espace GPU depuis des années, et pendant ce temps, j’ai appris une chose ou deux sur le fonctionnement de l’industrie. Bien que les cartes graphiques haut de gamme pour les joueurs fassent tous les gros titres, les véritables vaches à lait pour Nvidia et AMD sont des solutions graphiques et de calcul professionnelles. Ce sont les héros méconnus de ce duopole. La nomenclature d'une carte grand public et d'une carte professionnelle basée sur le même GPU est à peu près la même, mais les cartes professionnelles coûtent beaucoup plus cher, un ordre de grandeur de plus. Ils génèrent d'énormes marges et génèrent beaucoup de revenus et de bénéfices, malgré des volumes globaux faibles - vous pouvez consulter n'importe quel rapport trimestriel sur les revenus de Nvidia pour plus d'informations.

Microsoft pourrait recourir à une approche similaire. HoloLens pourrait utiliser le même matériel pour les deux marchés, limiter les fonctionnalités sur les modèles grand public et l'étendre aux produits professionnels via différents niveaux de licence.

Bien sûr, ce n’est que de la spéculation à ce stade - mais c’est ainsi que fonctionne ce marché. Microsoft n'a pas à réinventer la roue.