ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ В ИНФОСФЕРЕ
АННА БАЛАХЧИ
К.Ф.-М.Н., НАУЧНЫЙ РУКОВОДИТЕЛЬ ЛАБОРАТОРИИ РОБОТОТЕХНИКИ И ПРОГРАММИРОВАНИЯ ФГБОУ ВО ИГУ
ОСТРОВ 10-21. ВЛАДИВОСТОК, ОСТРОВ РУССКИЙ
ОБРАЗОВАТЕЛЬНЫЙ ИНТЕНСИВ ДЛЯ ТЕХНОЛОГИЧЕСКИХ ЛИДЕРОВ
Находясь на сайте, вы даете согласие на обработку файлов cookie. Это необходимо для более стабильной работы сайта
В современном мире дополненная реальность является трендом и находит свое применение в широком ряде сфер деятельности: развлечение, образование, ритейл, медицина, туризм, наука, военная промышленность, киноиндустрия. Дополненная реальность обогащает видимую картину мира информацией, взятой из контекста. AR-технологии (Augmented Reality, дополненная реальность) влияют на пользовательский опыт, снижая стоимость взаимодействия, минимизируя когнитивную нагрузку и усиливая внимание. Контекстный компьютинг позволяет лучше оценивать текущие события и ощущать окружение, становясь инструментом для расширения наших органов чувств, создаваемое с помощью технологий иммерсивные среды, способствует более тесной связи человека с окружающей инфосферой. Целью данной обзорной лекции является знакомство с технологиями дополненной реальности.
Зачем нам дополненная реальность?
На протяжении всей истории человечества существовала мечта об альтернативной реальности, в которую можно как-то попасть. Человек пытался создать такие технологии и инструменты, которые бы позволили ему воспринимать себя включенным и взаимодействующим с некоторой искусственно созданной реальностью или ее отдельными частями, обеспечивающими ему непрерывный поток стимулов и опыта.
Мы родились и живем в эпоху глобальной информатизации общества — шестой информационной революции, которая заключается в том, что вокруг нас формируется новая окружающая среда — инфосфера (информационную сферу). Создаваемые нами цифровые профили настолько плотно вплетаются в нашу повседневную жизнь, что порой бывает трудно разделить реальный и виртуальный миры, отделить индивидуальное сознание от глобального (сетевого). Постепенно человек превращается в «инфорг» — информационный организм, общение приобретает компьютерно-опосредованный характер, а взаимодействие со средой определяется разной степенью погружения в моделируемый компьютером мир.
Эту тему затронули Эран Май-Разом и Даниэль Лазо в своем футуристическом короткометражном фильме «Sight».
Между реальным миром, существующим в действительности, и виртуальным миром, полностью смоделированным на компьютере, находятся континуум реальное-виртуальное: среды с разной степенью иммерсивности. Свойство технологической части среды, отражающее ее возможности по вовлечению субъекта в систему отношений, определяемую содержанием среды, называется иммерсивностью. К иммерсивным средам можно вполне отнести панорамные туры: здесь мы еще не выходим за рамки реального мира, но получаем возможность погружения за счет построения пространственных сцен, составленных из цилиндрических или сферических диаграмм. Далее находится технология, называемая дополненной реальностью.
Видеофильм о дополненной реальности от SlyLama TV
Дополненная реальность не меняет человеческого видения окружающего мира и его восприятия, а лишь дополняет реальный мир искусственными элементами. За дополненной реальностью располагается дополненная виртуальность — это виртуальная реальность, в которой присутствуют объекты из настоящего мира. Дополненная виртуальность является той частью континуума реальность-виртуальность, которая охватывает все варианты и композиции реальных и виртуальных объектов. К понятию «дополненная виртуальность» относится виртуальное пространство, в которое интегрированы физические элементы, объекты или люди, с возможностью взаимодействия с виртуальным миром в режиме реального времени.
Одним из ярких примеров дополненной виртуальности является проект «Голопортация» — новая технология 3D-захвата, предложенная компанией Microsoft, которая позволяет создавать 3D-модели людей, сжимать их и передавать в любую точку мира в реальном времени. Используя очки дополненной реальности, к примеру HoloLens, пользователи могут взаимодействовать друг с другом в трех измерениях, как будто они находятся рядом в реальном пространстве. Общение на расстоянии становится таким же реальным, как беседа лицом к лицу. Таким образом, дополненная виртуальность способна соединить отдаленных друг от друга участников общения в одном виртуальном пространстве, симулируя реальную встречу.
Ролик от Microsoft Research о технологии голопортации
Взаимодействие со всеми перечисленными выше средами невозможно без специальных устройств: шлемов, очков, мониторов, т. е. для погружения нам необходимы технические посредники, поэтому все перечисленное выше является частью компьютерно-опосредованной реальности.
Дополненная реальность претендует на позицию одного из ключевых элементов инфосферы, последнее определяет разнообразие сфер использования дополненной реальности: образование, медицина, туризм, реклама, развлечения, дизайн, строительство.
Где используется дополненная реальность?
- ОбразованиеДополненная реальность может использоваться в изучении любого предмета, будь то физика или история, биология или литература. Например, AR-приложение Anatomy 4D от компании DAQRI является интерактивным виртуальным наглядным пособием для изучения анатомии
- Строительство и архитектураПри помощи дополненной реальности архитекторы и проектировщики могут демонстрировать проектные решения заказчикам именно так, как они будут выглядеть в предполагаемом окружении. Есть возможность при проектировании квартала моделировать пешеходную и транспортную логистику. Пример — приложение проекта «Древние города 3D», которое позволит вам увидеть удивительные 3D-модели целых городов — как древних, так и современных
- МедицинаСегодня дополненная реальность используется при проведении операций по удалению раковой опухоли печени. Впервые это было реализовано в 2012 году в городе Гамбург, Германия. Перед операцией печень была просканирована, сделана 3D-модель сосудов и опухоли. Тогда врачи использовали iPad, чтобы видеть опухоль и все сосуды печени, сейчас выпущены специальные очки для врачей, которые позволяют видеть сгенерированные 3D-модели
- Развлечения и туризмСистемы геоинформационной дополненной реальности позволяют без труда найти в городе необходимый объект, удаленно ознакомиться с ним и проложить к нему маршрут. На рисунке вы видите, как отображаются объекты в радиусе 10 км от места локации туриста на экране смартфона, информацию о ближайших точках интереса. Такая же навигация может быть создана внутри помещений
- Дизайн, реклама, ритейлДополненная реальность широко используется в дизайне и рекламе. На рисунке представлена виртуальная книга рецептов Хайнц и виртуальная примерочная AR Door. Голландский художник и разработчик программного обеспечения Ричард Виген (Richard Vijgen) создал приложение, которое представляет беспроводные сигналы вокруг нас в виде трехмерных изображений или звуков — можно увидеть и услышать окружающую нас инфосферу (видео)
Классификация дополненной реальности
Дополненную реальность можно классифицировать, опираясь на различные признаки. Так, по типу устройств, от которых системы дополненной реальности получают информацию об окружающем мире, системы бывают:
1
Геопозиционные
Ориентируются, прежде всего, на сигналы систем геопозиционирования. В дополнение к приемникам таких сигналов геопозиционные системы могут использовать компас и акселерометр для определения угла поворота относительно вертикали и азимута
2
Оптические
Такие системы обрабатывают изображение, полученное с камеры
Человек получает информацию об окружающем пространстве с помощью органов чувств. Система дополненной реальности, являясь посредником между человеком и инфосферой, должна создавать сигнал для одного из таких органов. Таким образом, по типу представления информации системы дополненной реальности бывают:
1
Визуальные
Источником информации для человека в таких системах является изображение. В их основе лежит визуальное восприятие человека. Задача таких систем — сформировать изображение, которое будет использовано человеком. Такой вид систем считается более распространенным, так как изображение для человека является наиболее понятным и информативным
2
Аудио
Системы данного типа направлены на слуховое восприятие. Подобные системы, чаще всего, используются в навигации. Например, использование звука для ориентации в пространстве: человек идет в нужном направлении, ориентируясь на звук
3
Аудиовизуальные
Это системы, объединяющие в себе визуальные и аудиотипы
Системы дополненной реальности можно различать согласно уровню взаимодействия с пользователем. В одних системах пользователь активно управляет работой системы, изменяет виртуальные объекты, в других он только наблюдает за реакцией системы на изменения в окружающей среде. По этому признаку системы можно разделить на:
1
Автономные
Цель систем данного типа состоит в том, чтобы обеспечить пользователя нужной информацией. Подобные AR-приложения анализируют объекты в поле зрения человека и выдают справочную информацию о них. Для работы системы не требуется вмешательства пользователя. Например, пользователь рассматривает картину в музее и с помощью приложения дополненной реальности получает дополнительные данные о художнике, судьбе картины, истории изображенного сюжета и т. п. Также системы подобного вида используют в медицине
2
Интерактивные
Это системы, которые основаны на взаимодействии с пользователем, когда на свои действия он получает ответ. Очевидно, что в подобных системах используется устройство для ввода данных. В качестве такого устройства может применяться сенсорный экран планшета, мобильного телефона или специальный манипулятор. Примером такого приложения дополненной реальности являются «примерочные», где пользователь взаимодействует с интерфейсом, чтобы выбрать одежду из имеющегося набора и путем наложения слоев получить собственные изображения в различных нарядах
По степени мобильности системы дополненной реальности можно классифицировать следующим образом:
1
Стационарные
Системы этого типа предназначены для работы в одном месте и не предполагают какого-либо перемещения, т. к. оно может привести к полной или частичной приостановке работоспособности
2
Мобильные
Использование данных систем подразумевает перемещение в пространстве и работу в динамичном режиме с объектами окружающего мира
Принадлежность к тому или иному типу определяется функциями системы. Например, симулятор хирургического стола не может быть мобильным, т. к. его задача — создать для человека специальные условия, максимально приближенные к реальным. В то же время навигационная система должна быть более мобильной, чтобы она могла перемещаться вместе с транспортным средством или человеком, не создавая дополнительных расходов на ее перемещение.
Как это работает
Разберемся, как работает технология дополненной реальности. Камера захватывает и сканирует реальный объект или местоположение пользователя, производится анализ изображения или данных с датчиков (GPS, компас и т. д.), система ищет совпадение с базой данных, а после найденного совпадения на экран выводится виртуальный объект. Объект реального мира, являющийся поводом поставления в видеопоток камеры устройства пользователя дополнительной информации в виде виртуальных объектов, — это триггер. Информация, добавляемая в видеопоток камеры устройства пользователя, при считывании маркера, распознавании 3D-объекта, при нахождении в определенной точке пространства, — это оверлей.
Условно можно выделить два типа инструментов для разработки приложений дополненной реальности: браузеры дополненной реальности — готовые решения, в которые достаточно интегрировать свой маркер и указать путь к нужному контенту, и индивидуальные разработки, использующие SDK (от англ. software development kit — «комплект средств разработки») и предоставляющие более широкие возможности для разработчиков. Это разделение является условным, поскольку почти все браузеры предоставляют свои SDK (платные или бесплатные) для создания брендированных приложений.
В приложении к данной лекции вы сможете найти обучающие текстовые и видеоматериалы, а также файлы исходников, при помощи которых вы сможете создать «живой» фотоальбом в браузере HPReveal, цифровую рыбу в своем блокноте, кнопки для AR-интерфейсов и цифрового двойника, повторяющего за вами все движения в SDK Unity, с использованием фреймворка Vuforia. Попробуйте, это будет интересный опыт.
Именно на основе этих простых уроков школьники, участники X-Lab «Многомерная AR-упаковка» проекта Острова 10−21 Университета НТИ 2018 года, создали интерфейсы для взаимодействия с упаковкой настольной игры.
Новые профессии, связанные с созданием приложений виртуальной и дополненной реальности, относятся к сфере медиа и развлечений и обозначены в «Атласе новых профессий». Здесь же вы сможете узнать, какие навыки вам надо развивать, чтобы заниматься созданием архитектуры, дизайна или контента виртуальных миров.
Кейсы
С помощью данных кейсов вы можете освоить 3 инструмента для создания объектов виртуальной реальности. Все нужные инструкции и материалы доступны в архиве для скачивания.
#иммерсивность #ARинтерфейсы #дополненнаяреальность #дополненнаявиртуальность #виртуальнаяреальность #смешаннаяреальность #гибриднаяреальность #архитекторвиртуальности #дизайнервиртуальныхмиров
Больше лонгридов и заданий доступны при записи на курс