Що таке змішана реальність і як ця технологія допоможе рятувати життя людей

СПЕЦПРОєКТ

Нещодавно компанія Microsoft представила смарт-окуляри змішаної реальності HoloLens 2. Інноваційна технологія, яка використовується в цих окулярах, має більш ніж широке застосування, — починаючи від можливості "голографічної телепортації" людей у будь-які навколишні умови і закінчуючи використанням змішаної реальності в клініках під час найскладніших хірургічних операцій.

Змішана реальність (Mixed Reality або MR) - це технологія, яка об'єднує віртуальну реальність (VR) і доповнену реальність (AR).

Першим і поки єдиним гаджетом змішаної реальності сьогодні є так звані смарт-окуляри - натільний пристрій з вбудованим набором датчиків і оптичних елементів, які не тільки дозволяють орієнтуватися людині в навколишньому просторі, але й по суті створюють цей простір, наповнюючи його різною корисною інформацією.

Компанія Microsoft є піонером у розвитку технологій змішаної реальності, і нещодавно вона представила друге покоління своїх MR-окулярів HoloLens 2. Експерти вже прогнозують справжню революцію на ринку мобільних гаджетів завдяки цьому пристрою, який застосовують у різних сферах і який повністю змінює досвід взаємодії людини з віртуальним і реальним світом.

Ми розібралися, чим змішана реальність відрізняється від віртуальної (VR) і доповненої (AR), а також дізналися, в яких сферах можна застосовувати HoloLens 2 і як ці окуляри допомагають, без перебільшень, рятувати життя людей.

Що таке VR, AR, MR і чим відрізняються ці технології?

Загалом VR, AR і MR - це три послідовні етапи розвитку практично всіх цифрових технологій.

З віртуальною реальністю або VR ми стикаємося щодня, коли запускаємо більшість застосунків на смартфоні, граємо у відеоігри на комп'ютері або просто серфимо в інтернеті.

Найкраще концепт віртуальної реальності реалізований в ігрових VR-шоломах або VR-окулярах: надягаючи такий пристрій, користувач повністю втрачає зв'язок з реальністю і занурюється в світ, який підготував для нього розробник.

Крім відеоігор, VR використовують для відеороликів з оглядом 360 градусів, для створення різних візуальних проєктів і розроблення дизайну, а також для навчання людей на виробництві з підвищеним ризиком роботи і високою вартістю обладнання. Так, авіасимулятори, на яких вчаться літати пілоти, також існують завдяки віртуальній реальності.

Як ігрове, так і практичне застосування має і доповнена реальність (AR). Ця технологія дозволяє розробникам додавати віртуальні об'єкти в реальний світ. Найпоширеніший приклад використання AR - популярна у всьому світі гра Pokemon Go, яка передбачала виявлення вигаданих істот в реальному світі за допомогою камери смартфона.

Сьогодні AR-технології досить часто використовують у різних видах бізнесу, наприклад, для визначення того, як у вашій кімнаті виглядатиме той чи інший диван, шафа та інші меблі в реальних розмірах. Крім цього, деякі компанії розробляють AR-окуляри, які дозволять нам отримувати віртуальну інформацію, не відволікаючись від реальності.

Найпростішим прикладом AR також є проєкційний дисплей в сучасних автомобілях, за допомогою якого водій отримує важливі дані про поїздку і стан авто прямо на лобове скло перед собою.

Ну і, нарешті, остання і найбільш просунута технологія, яка об'єднує AR і VR, - змішана реальність. MR також називають гібридною реальністю і, на відміну від AR, ця технологія дозволяє не тільки створювати віртуальні об'єкти в реальному світі, а й забезпечувати їх взаємодію в режимі реального часу.

За допомогою MR людина може бачити, як віртуальні об'єкти доповнюють реальний світ, і використовувати цю взаємодію для підвищення власної ефективності. Сфера застосування MR практично не має обмежень, включно з розвагами, навчанням, промисловістю, медициною, військовою справою і багато іншого.

Нещодавно компанія Microsoft представила друге покоління своїх MR-окулярів HoloLens.

Що таке HoloLens?

HoloLens - це обруч, що надягається на голову, із затемненими лінзами, які розташовуються прямо перед очима людини. З боків пристрою встановлені дисплеї, які проєктують зображення на лінзи і дозволяють людині бачити віртуальні об'єкти на тлі огляду реального світу.

Гаджет укомплектований динаміками, а основні інструменти управління HoloLens - звичайні жести руками: для імітації курсора комп'ютерної миші потрібно використовувати вказівний палець, а, наприклад, для виклику стартового меню - розімкнути долоні.

Відмітна риса HoloLens на тлі інших схожих пристроїв - автономність і відсутність необхідності підключення гаджета до комп'ютера, смартфона або ігрової консолі.

Цього вдалося досягти завдяки використанню власної операційної системи Windows Mixed Reality і досить потужного "заліза": пристрій оснащувався 64-розрядним 4-ядерним процесором Intel Atom x5-Z8100 з частотою 1,04 ГГц, а також додатковим голографічним процесором Microsoft.

Інтерес до HoloLens і технологій змішаної реальності Microsoft вже проявили комерційні підприємства у сферах віртуального туризму, 3D-моделювання, різних виставок і презентацій, навчання студентів, огляду використання зброї, допомоги в проведенні хірургічних операцій і, звичайно, відеоігор.

Однією з найцікавіших сфер застосування HoloLens стала "голографічна телепортація", яка дозволяє сканувати 3D-модель людини і переносити її в абсолютно будь-яке місце. За допомогою цього концепту можна забезпечити спілкування з практично реальною 3D-моделлю людини, яка перебуває в будь-якому іншому місці на Землі, або організувати концерт давно померлого виконавця.

У 2019-му Microsoft представила друге покоління HoloLens, яке значно розширює можливості змішаної реальності.

Чим відрізняються HoloLens 2?

Як і у випадку з оновленням будь-якого іншого виду гаджетів, нові MR-окуляри HoloLens 2 отримали більш потужне апаратне і програмне забезпечення.

Тепер пристрій працює на основі процесора Qualcomm Snapdragon 850 і операційної системи Windows 10 Holographic.

Серед його основних технічних характеристик: 4 Гб оперативної пам'яті, 64 Гб вбудованого сховища, чотири камери видимого світла та дві інфрачервоні камери, акселерометр, гіроскоп і магнітометр, можливість управління голосом і жестами, функції об'єднання голограм із зображенням фізичного оточення, відстеження геолокації користувача, картування простору в реальному часі тощо.

Виробник також досяг неймовірно високої швидкості передачі даних пристроєм (на рівні 100 Мб/сек) завдяки підтримці стандарту Wi-Fi 5 і наявності нових модулів зв'язку. Все це необхідно для безперебійної роботи гаджета і якісного промальовування зображень у режимі реального часу.

На відміну від першого покоління, HoloLens 2 має набагато більш ефективні системи відстеження руху очей користувача, більш широкий кут огляду, підвищену стабільність голограм і безперебійне зчитування жестів людини для управління різними функціями окулярів. А час автономної роботи пристрою — близько трьох годин.

З таким набором характеристик застосування HoloLens 2 не має жодних рамок: експериментальне використання цього пристрою вже практикують у різних медичних установах, автомобілебудуванні, навчальних програмах і навіть структурах, які займаються експертизою.

Де використовують HoloLens 2?

Розглянемо кілька найцікавіших кейсів застосування HoloLens 2 у найрізноманітніших сферах.

Вже сьогодні, наприклад, за допомогою цього гаджета експерти з Німеччини та Австрії збирають додаткові докази та факти про випадки домашнього насильства, а також консультують своїх колег з інших країн, в яких немає подібних профільних центрів.

На початку минулого року керівництво армії США також заявило про покупку понад 40 тис. таких окулярів для розширення тактичних здібностей своїх солдатів. Зокрема, об'єднання HoloLens 2 з просунутими системами озброєння і зв'язку дозволить командам швидко обмінюватися даними і контролювати ситуацію дистанційно. Військові розглядають можливість управління бойовими дронами за допомогою таких окулярів.

Крім цього, технологію змішаної реальності Microsoft і безпосередньо окуляри HoloLens 2 сьогодні використовують для навчання людей і створення своїх продуктів авіакомпанії Lockheed Martin і Airbus, а також автовиробник Mercedes-Benz.

"Завдяки HoloLens і змішаній реальності ми докорінно міняємо спосіб ведення бізнесу, що дозволяє швидше обслуговувати наших клієнтів... Це все одно, що мати на плечі експерта", - говорить віцепрезидент з обслуговування клієнтів американського офісу

Mercedes-Benz Крістіан Трейбер.

У Lockheed Martin і Airbus, своєю чергою, заявляють, що ця технологія дозволила їм значно скоротити трудовитрати і приблизно за 45 хвилин виконувати завдання, на які раніше йшло більш як 8 годин.

Як HoloLens 2 вже рятує життя людей?

Буквально недавно MR-окуляри від Microsoft також опинилися в центрі міжнародного медичного марафону 24H Holographic Surgery, в межах якого 15 хірургів з 13 країн провели операції, використовуючи HoloLens 2. У цьому марафоні взяв участь український хірург-ортопед Олександр Страфун, який є співробітником відділення мікрохірургії і хірургії верхніх кінцівок Національного дослідницького інституту Академії медичних наук. Це єдина установа в Україні, де проводять такі операції.

Олександр Страфун вперше брав участь у такому проєкті, і для свого відрізка трансляції він провів операцію реверсивного депротезування плечового суглоба з використанням змішаної реальності. За словами самого фахівця, гарнітура HoloLens 2 значно розширює можливості лікаря при проведенні подібних складних хірургічних втручань. Зокрема, технологія дає змогу значно підвищити рівень індивідуального підходу в лікуванні і краще аналізувати особливості будови скелета кожного конкретного пацієнта.

В цьому випадку HoloLens 2 надавав хірургу додаткову інформацію під час операції, а також забезпечує ефект присутності для інших фахівців, які можуть вийти на зв'язок і дати свої рекомендації лікарю, який оперує і зіткнувся з якоюсь проблемою вперше.

Нова технологія стеження Microsoft точно визначає, куди спрямований погляд хірурга і на якому об'єкті він сфокусований, що дозволяє спеціалісту діяти з максимальною точністю. Водночас система Dynamics 365 Remote Assist може транслювати віртуальне зображення з додатковою інформацією на будь-яку поверхню навколо користувача.

Чи замінять "роботи" лікарів та інших фахівців?

Всі без винятку сучасні технології, навіть просунутий самонавчальний ШІ, покликані допомогти фахівцю, а не замінити його.

У випадку з HoloLens 2 цей інструмент здатний проєктувати будь-яку модель за заданими параметрами і, наприклад, показувати лікарю, куди направити скальпель.

Це дозволяє зробити більш точний розріз, позбавити хірурга додаткових складнощів і зробити його роботу більш комфортною, але ніяк не автоматично визначити стан пацієнта, призначити лікування для нього і тим більше повністю провести операцію.

Саме робота людини пліч-о-пліч з новою технологією і використання всіх її можливостей дозволяє досягти максимальної ефективності. Ну а самі роботи, на жаль чи на щастя, ще довго не зможуть приймати рішення і діяти на свій розсуд.