История виртуальной реальности. Устройства VR, AR, MR.

Сейчас все говорят про метаверс. Корпорации вкладывают деньги в идею виртуальных миров. Но с чего все начиналось и как развивалось? Этот выпуск – история создания и развития устройств виртуальной реальности за последние 200 лет.

Сслыка на статью с иллюстрациями: https://genycast.com/episode115-history-of-vr/

Мечте о погружении в выдуманный мир уже лет 70. Или 180, смотря как считать. Или тысячи, но мы не будем говорить о применении для этих целей различных веществ. Лучше посмотрим на виртуальную реальность и ее развитие.

Сейчас интерес к этому переживает третью волну подъема. На этот раз и технологии выглядят более готовыми, и крупные корпорации готовы вкладывать огромные суммы.

Но что такое VR, AR и Mixed Reality? Как это развивалось и какой путь прошло?

Концепция виртуальной реальности, или VR, подразумевает полное погружение. По возможности – обман органов чувств. Ощущение, что человек находится в другом мире.

В отличие от VR, где пользователь как бы перемещается в другое место, дополненная реальность, или AR, расширяет реальный мир виртуальными объектами. Например, всем знакомыми масками из Snapchat и Instagram, покемонами из Pokemon Go и линейкой в iPhone. Качество технологии в значительной степени зависит от машинного обучения и компьютерного зрения, а не от аппаратного обеспечения. 

Смешанная реальность, MR — это комбинация VR и AR. Она получила популярность после запуска Microsoft HoloLens.

Stereoscope

Прародителем виртуальной реальности стал Stereoscope, который изобрел в 1837 году Чарльз Уинстон. Принцип работы был довольно прост — два плоских изображения располагались так, чтобы человек смотрел на них под разными углами, благодаря чему мозг создавал полноценную объемную картинку. То есть еще 200 лет назад был создан прототип современного VR-шлема, поскольку основной принцип толком за это время не изменился. Изобретение в последующие годы часто использовалось и кинематографистами, и фотографами, но подробнее останавливаться на этом мы не будем.

Следующей важной точкой в истории становятся два произведения. Рассказ «Очки Пигмалиона» Стенли Вейнбаума в 1935 году, где профессор Людвиг изобрел устройство, с помощью которого можно погрузиться в вымышленный мир. И сборник эссе «Театр и его двойник» Антонен Арто 1938 года, где впервые использовалась фраза «виртуальная реальность».

Sensorama

Прошла пара десятков лет и появилось первое физическое воплощение идеи. В 1957 Нортон Хейлиг создал и в 1962 году запатентовал устройство Sensorama. Это, по сути, технический предок VR. Небольшая будка со стереодинамиками, стереоскопическим 3D-дисплеем, вентиляторами, генераторами запахов и вибрационным стулом. Было даже отснято шесть короткометражных фильмов для показа в Сенсораме.

Опытный образец Хейлиг создал на свои деньги. После чего начал искать финансовую поддержку у бизнесменов. Однако устройство не оценили — для тех времён оно было слишком революционным и дорогим.

Telesphere Mask

Кроме этого, Хейлиг в 1960 запатентовал чертежи Telesphere Mask, первого наголовного устройствадля погружения в фильмы. Оно транслировало стереоскопическое и широкоугольное изображение со стереозвуком. Telesphere Mask можно считать предшественником современных VR-шлемов и гарнитур, но без отслеживания движения.

Комо Чарльз и Брайан Джеймс, инженеры компании Philco, в 1961 году разработали Headsight, прототип настоящих очков виртуальной реальности. Для каждого глаза был отдельный видеоэкран со встроенной системой слежения за движением, также была возможность управления с помощью головы.

Кроме реализации нужна и теория. В 1965 году вышла статья рофессора Гарвардского университета Айвена Сазерленда. Он описал концепцию Ultimate Display, включающую следующие условия:

  • Виртуальный мир просматривается через наголовный дисплей (HMD) и кажется реалистичным благодаря дополненному 3D-звучанию и тактильной обратной связи.
  • Для поддержания виртуальной речи в режиме реально времени используется компьютерное оборудование.
  • Пользователи взаимодействуют с виртуальными объектами в реальном мире.

Статья стала основной концепцией для создания современных VR-устройств.

GAF ViewMaster

В 1960х годах идея стереоскопа нашла воплощение в GAF Viewmaster, игрушке для просмотра картинок. Забавно, что бренд используется до сих пор, под ним выходят дешевые и технически очень простые игрушки для VR, например альтернативная реализация Google Cardboard, о котором мы поговорим позже.

Примерно тогда же, в 1966, Томас Фурнес, военный инженер, разработал первый авиасимулятор для военно-воздушных сил.

Sword of Damocles

Интересным и важным этапом стало создание Айвеном Сазерлендом и Бобом Спроулом в 1968 году огромного и громоздкого устройства под названием Дамоклов меч, которое крепилось к потолку. Это была, по сути, AR-гарнитура, которая подключались к компьютеру, который генерировал по современным меркам простые 3D-модели. С помощью двух электронно-лучевых трубок пользователь мог видеть трехмерное изображение, наложенное на реальные объекты. Присутствовала система отслеживания головы для изменения перспективы. Чуть позже была сделана вторая версия, уже более легкая, с отслеживанием движений ультразвуковыми датчиками.

Далее, в 1969 году, компьютерный художник Майрон Крюгер ввёл понятие «искусственная реальность». 

VideoPlace

В 1975 он создал лабораторию искусственной реальности VideoPlace. Несколько темных комнат с большими экранами с расположенным позади них видеопроекторами. Крюгер использовал компьютерную графику, проекторы, видеокамеры, дисплеи и технологию определения местоположения. Специализированные очки не требовались. Посетители видели свои силуэты, имитирующие их собственные движения. Кроме того, люди в разных комнатах могли взаимодействовать с силуэтами других людей в том же виртуальном мире, менять цвет или размер силуэтов, а также присоединять к ним различные визуальные объекты.

В 1978 в MIT была разработана карта города Aspen, основанная на фотографиях, сделанных из автомобиля. Тогда это назвали суррогатным путешествием. А ведь это – ранняя версия Google Street View, появившегося на 30 лет позже.

Военные также оценили новинки. В 1979 году впервые VR интегрировала в военный шлем компания McDonnell-Douglas. Появилось отслеживание взгляда пилота, чтобы компьютер генерировал необходимое изображение. А три года спустя были созданы перчатки Sayre, которые могли отслеживать движения рук с помощью световых излучателей и фотоэлементов на пальцах.

Подключилась поп-культура. В 1982 вышел фильм Tron, показавший на киноэкране концепцию виртуальной реальности и сильно повысивший в ней интерес.

Устройства продолжали появляться.

Первыми цифровыми очками, то есть AR-гарнитурой, в 1984 году стал EyeTrap профессора Торонтского университета Стива Манна. Это было за 30 лет до Google Glass. EyeTap накладывал изображение с текстом поверх реальной картинки. Комплект состоял из компьютера, находящегося в рюкзаке и подключённого к камере на очках.

Super Cockpit VCASS

В 1986 году Томас Фернесс представил системы Super Cockpit или VCASS (Visually Coupled Airborne Systems Simulator) для обучения пилотов ВВС США. Устройство больше известно как «Шлем Дарта Вейдера». Тренировочная кабина была оснащена компьютерными 3D-картами, инфракрасными и радиолокационными изображениями, а пилот мог все видеть и слышать в режиме реального времени. Система слежения и датчики шлема позволяли пилоту управлять самолетом с помощью жестов, речи и движений глаз. С 1960-х годов Фернесс работал над визуальными дисплеями и инструментами в кабинах. А к концу 1970-х начал разработку виртуальных интерфейсов для управления полётом.

К делу подключилась NASA. В 1987 году был представлен Virtual Environment Display System — VR-шлем, созданный для научных целей.

EyePhone, DataGlove

Чуть раньше, в 1985, появилась компания VPL Research, которая первой начала продавать VR-очки и перчатки. Главной ее был Джон Ланье, который популяризировал термин «виртуальная реальность».

VPL Research создала много разнообразного оборудования для VR: DataGlove, EyePhone HMD и Audio Sphere. Цены, правда, были заоблачными. EyePhone 1 стоил $9400, EyePhone HRX — $49 тысяч. За перчатки DataGlove просили $9000. Чуть позже на основе DataGlove компания Mattel выпустила Power Glove, аксессуар Nintendo Entertainment System.

Исследования продолжались. В 1990 году Том Кодел из Boeing придумал термин «дополненная реальность». Он описал, что виртуальная реальность в таком случае становится дополнением к физической.

Virtuality

В то же время технологии снова и снова пытались применить к играм. В 1991 году компания Virtuality Group начала выпуск аркадных VR-автоматов Virtuality, где с помощью VR-очков можно было поиграть в гонки с 3D-эффектом. Автоматы даже можно было объединять для многопользовательских игр.

Sega VR

Sega попыталась включиться в игру в 1993 с Sega VR, аксессуаром для консоли Mega Drive. Дизайн устройства был создан под влиянием популярных фильмов, таких как Робокоп, и представлял собой козырек с LCD-дисплеями, стереонаушниками и датчиками отслеживания движений головы. Однако продукт так и не был выпущен. В Sega опасались, что погружение будет слишком реалистичным, что может быть опасно для пользователей.

В 1992 году, в год выхода фильма «Газонокосильщик», Луис Розенберг разработал одну из первых функционирующих AR-систем Virtual Fixtures в Исследовательской лаборатории военно-воздушных сил США.

Очередную попытку популяризации VR среди потребителей предпринимает VectorMaxx со своим CyberMaxx  в 1994 году. Использовались два экрана с очень неплохим разрешением, 505х230. К сожалению, проект не получил полноценного развития из-за высокой цены от $699 до $899 и слишком высоких требований к техническим параметрам компьютера.

Nintendo Virtual Boy

В 1995 году в процесс включилась Nintendo и выпустила Virtual Boy, своеобразные очки на ножках, которые надо было ставить на стол. Virtual Boy начали продавать в Японии и Северной Америке за $180. Это была первая портативная консоль для отображения трехмерной графики. Но качество картинки было ужасным, на довольно неинтересные игры с красно-черной графикой никто смотреть не хотел. Кроме того, от использования консоли начинала болеть шея. Virtual Boy продавался всего год, после чего был снят с производства и признан коммерческим провалом. 

В том же 1995 году вышли очки дополненной реальности I-glasses от Virtual IO по цене $395. Удобный и легкий агрегат весом всего 227 граммов с экранами разрешением 300х200 и углом обзора 30 градусов.

Vfx1 Headgear

Примерно в то же время появился весьма известный шлем Forte VFX1 со стильным дизайном и многофункциональным контроллером. Внутри были два LCD экрана по 263×230. За все это просили $995. VFX1 был, кстати, первым VR-шлемом, который я попробовал использовать. До сих пор помню, что так толком ничего и не смог увидеть, очень уж некачественной была картинка. Да и весил агрегат больше килограмма.

Два года спустя, в 1997, VR впервые был применен в терапии. Проект был известен под названием Virtual Vietnam и предназначался для лечения PTSD у ветеранов войны.

Sony Glasstron

В период от 1996 до 1998 на американском рынке появляется устройство Glasstron от компании Sony. Гарнитура была выпущена в трех различных версиях. Ведущая модель имела разрешение порядка 800х600 и обеспечивала качественную картинку. Устройство стало предшественником современного Sony PS VR.

В 1999 вышел фильм Матрица, который в очередной раз привлек интерес к концепции виртуальных миров.

Затем наступил своеобразный период затишья. Проекты виртуальной реальности, ориентированныена развлечения, так и не стали прибыльными. В то же время, все более популярным становится Internet. Основное внимание переключается на него и большинство разработчиков уходят в это направление.

Новый виток развития начался на стыке Internet и подобия VR, срощенного с суррогатными путешествиями. В 2007 году Google, совместно с Immersive Media, анонсировали Street View. Началось все с пяти городов.

Oculus Rift

Физические устройства сделали следующий рывок в 2010. Палмер Лаки создал прототип того, что в последствии стало Oculus Rift. Показан прототип был в 2012 на E3. Дальше была основана компания Oculus VR, проведена крайне успешная компания на Kickstarter и выпущен прекрасный шлем с разрешением 1080х1200 и углом обзора 110 градусов. В 2014 году Oculus VR была куплена корпорацией Facebook за $2 млрд. 

Magic Leap

Еще одной интересной, но намного менее успешной компанией стал Magic Leap, основанный в 2010 году Рони Абовицем. С 2011 года компания секретно работала над собственной AR-гарнитурой. В 2014 году Google инвестировала в компанию $542 млн. Впервые компания представила устройство в декабре 2017 года. К сожалению, особого успеха они не добились.

Google Glass

В 2013 году Google запустила открытое бета-тестирование очков Google Glass. В качестве «мозгов» использовался телефон, картинка проецировалась на одно из стекол очков. Судьба проекта до конца непонятна и сегодня. С уверенностью можно сказать лишь одно – ничего полезного пока из этого не вышло. Зная подход Google, перспективы также не слишком радужные.

Зато в том же 2013 году Valve нашли способ показа VR-контента без лагов и задержек, и поделились технологией с другими компаниями.

Sony PlayStation VR

Годом позже, в 2014, Sony показали Project Morpheus, ставший в будущем PS VR для PlayStation 4. Разрешение составляло 1080х960, была картинка на 360 градусов и 3D звук  Продукт вышел в 2016 году и стал одним из самых популярных VR-устройств при цене в $399. Кстати, в 2022 ждем PS VR 2.

Google Cardboard

Но шлемы не обязаны быть дорогими. В 2015 году Google выпустили картонный Cardboard с несколькими линзами. Как источник изображения использовался телефон.

Еще одной гарнитурой производства Google стал Daydream VR. Систему можно смело назвать более продвинутым вариантом Cardboard.

К сожалению, Google своего поведения не меняет, и продукты были довольно быстро заброшены.

Рынком заинтересовалась Samsung. В 2016 году они выпустили Samsung Gear VR. Он сильно напоминал Daydream, требовал для работы телефон и тоже был заброшен довольно быстро.

Но вернемся к действительно стоящим устройствам.

HTC в 2015 году выпустили серьезного конкурента Oculus. В итоге линейки Vive Pro, Focus и Cosmosнасчитывают уже 11 моделей.

HTC Vive

Не отставала и Valve со своим Index. Который, по сути, стал основным решением для игр.

Valve Index

Важным достижением стало повышение разрешения картинки и увеличение частоты обновления экранов, что, по большому счету, решило проблему тошноты во время использования VR.

Microsoft Hololens 2

В игру не могла не включиться Microsoft, анонсировав Windows Mixed Reality. В 2015 году вышел Hololens, в 2019 — HoloLens 2. Устройства были эффектно разрекламированы, но большого спроса у конечных пользователей не нашли. Во многом, из-за высокой цены в $3500. Зато они неплохо себя чувствуют в корпоративном сегменте, в медицине, архитектуре и так далее.

И вот в 2018 вышел Oculus Go, в 2019 за ним последовал Oculus Quest, в 2020 году вышел обновленный Oculus Quest 2, позволяющий запускать приложения и игры с довольно качественной графикой прямо на устройстве, обеспечивающий отличный трекинг контроллеров и рук и, при всем этом, за базовую модель просят всего $299.

Oculus Quest 2

Развитие шлемов продолжается. В 2022 году Meta, бывшая Facebook, планирует сделать мощный mixed reality шлем Project Cambria. С цветным отображением реального мира, трекингом лица и глаз.Дальше у них в планах AR-шлем Nazare.

Вернемся на минутку к дополненной реальности. В 2016 году Niantic выпустили сверхпопулярную игру Pokémon Go, которая вывела интерес к AR на совершенно новый уровень. Ловить покемонов в реальном мире оказалось на удивление увлекательно. В принципе, существует довольно много AR-игр, но они так и не получили хоть сколько-то заметной популярности.

Есть и множество AR-приложений. Но в формате чего-то, запускаемого на экране телефона, все это не слишком удобно. Даже если это – Google Maps. Становится понятно, что нужны удобные и легкие очки.

Уже сейчас hi-end шлемы обеспечивают такое качество картинки и трекинга, что мозг легко обманывается и верит в происходящее. До такой степени, что подменяется ощущение окружающего пространства. Нарисованные предметы и границы кажутся реальными, надо сдерживать себя, чтобы по ошибке не положить контроллер на нарисованный стол.

Уже работает перенесение реальных предметов в VR. Хорошо трекаются мебель, клавиатуры и руки. Где-то еще есть Илон Маск со своим NeuroLink и прямым подключением к мозгу. Meta готовы вкладывать в metaverse, то есть мир в VR, огромные суммы, по 10 миллиардов в год. Из-за таких инвестиций и того, что технологии достигают определенной зрелости, к инициативе постепенно присоединяются другие крупные компании.

В VR можно смотреть фильмы, играть в игры, пытаться общаться и работать.

Этой технологии, этой мечте много лет. За последние десять удалось пройти путь больше, чем за предыдущие шестьдесят. Хочется верить, что еще через пять-десять лет VR и AR станут не только доступными, но и чем-то большим, чем развлечение для энтузиастов.