Сканер LiDAR на iPhone 12 Pro — які можливості є вже зараз?

Компанія Apple почала серйозну роботу над доповненою реальністю ще у 2017 році, коли їм вдалося досягнути фурору за допомогою віртуальних меблів в IKEA, а також досить реалістичним боями Pokemon Go. З того часу вже спливло чимало води, і сьогодні ми тримаємо в кишені новенький iPhone 12 Pro | 12 Pro Max, а також починаємо збирати чутки про вихід першої гарнітури доповненої реальності виробництва Apple — Apple Glass.

Чому не Apple Glass?

Чому Apple не пішли кроками Microsoft і Google, представивши нам спочатку окуляри доповненої реальності, а зробили сміливий крок і впровадили сканер LiDAR до своїх нових iPhone 12? За словами Майка Роквелла, директора із розробок Apple AR, зараз Apple більше зацікавлені не у тому, щоб показати нам щось надзвичайне, а максимально адаптувати під майбутнє вже ті продукти, які зараз лежать у нас в кишені.

Насправді гарнітури доповненої реальності, такі як Oculus Quest 2, попри поліпшення із року в рік, купує невелика кількість людей. Ніхто не говорить про кількість проданих VR і AR-гарнітур, окрім Sony.

Тим часом Apple продала вже близько сотні мільйонів iPhone та iPad з підтримкою AR, починаючи з 2017 року. Також Apple заявляє, що вже існує 10 000 додатків для iOS з підтримкою AR від 7 000 розробників, багато з яких зосереджені на покупках або оснащення будинку із використанням AR.

При цьому перевага Apple у тому, що компанія не пропонує користувачеві встановлювати додатковий софт для того, щоб скористатися послугами AR. Ви можете прямо з Safari подивитися цікаві меблі в доповненої реальності. А з впровадженням App Clips в iOS 14 ця процедура повинна стати ще простіше і популярніше серед розробників.

Розробники Adobe створили свій додаток AR Aero спеціально для iOS і iPadOS, ігнорую гарнітури доповненої реальності, тому що розуміють — куди більше кріейторів працюють саме з iPad і iPhone.

LiDAR — крок до доповненої реальності

Перші кроки Apple до доповненої реальності, були зроблені з iPhone 8. Вони полягали лише в розпізнаванні поверхів за допомогою датчиків руху, гіроскопів і вбудованої камери телефону. Потім iPhone навчився впізнавати людей, тварин.

iPhone та iPad з підтримкою LiDAR, невидимо розпилюють масив інфрачервоних лазерів, швидко створюючи сітку (зображення в 3D) всіх розмірів кімнати. Це еволюція технології, яку Google досліджував багато років тому, створивши лінійку телефонів Tango з датчиком глибини, але Apple зробила це в більш просунутому і широкому масштабі.

Популярна соціальна мережа Snapchat вже вивчає можливості використання LiDAR для створення ефектів доповненої реальності, які можуть перетворити реальний світ у віртуальний. Також запущені масштабні експерименти, за яких можна буде сканувати цілі міські квартали.

Можливості для фотографії також здаються приголомшливими, тому що додаток Apple Camera використовує LiDAR встановлений в iPhone 12 Pro та iPhone 12 Pro Max для поліпшення фокусу нічних фотографій і портретів. Але Apple поки не включає доповнену реальність у свій додаток камери та не дозволяє виконувати 3D-сканування.

3D-макети Tesla зроблені на iPhone 12 Pro за допомогою LiDAR

Ці ідеї залишені розробникам для вивчення.

Trying some of the LiDAR-enabled AR apps I can find for the 2020 iPad Pro, to show meshing. Here's one called Primer, an early build to test wallpaper on walls pic.twitter.com/SatibguyTm

- Scott Stein (@jetscott) April 14, 2020

Деякі додатки, такі як DSLR Camera, вже використовують LiDAR в нових iPhone для створення користувацьких шарів 3D-інформації поверх даних фотографій і накладення тексту в 3D на фотографії.

Just experimenting w iPhone 12 Pro and 3D copies pic.twitter.com/0LiwaomYhb

- Scott Stein (@jetscott) October 22, 2020

Крім цих можливостей, LiDAR допомагає виявляти людей в iOS 14.2 вже зараз. Тим самим розширивши можливості людей з особливими потребами.

Які програми вже зараз підтримують LiDAR

1. Complete Anatomy 2021

Додаток дозволяє ознайомитися з анатомією людини в реальному часі. Можна детально вивчити будову м'язів, кісток і органів в доповненої реальності. Завантажити з App Store.

2. RoomScan LiDAR

Можна просканувати свій будинок і швидко створити 3D-макет / план вашого приміщення. Завантажити з App Store.

3. IKEA Place

Додаток від IKEA, яке дозволяє «приміряти» різні предмети декору з магазину до вашої оселі в режимі реального часу. Завантажити з App Store.

4. 3d Scanner App

Дозволяє сканувати різні предмети й створювати 3D-моделі навколишнього вас середовища швидко за допомогою вбудованого LiDAR. Завантажити з App Store.

5. RC Club — AR Racing Simulator

Симулятор машинки на радіоуправлінні, якою можна керувати в доповненої реальності. Завантажити з App Store.

App Clips — можливість розвитку AR на iPhone

З новою функцією App Clips, яка дозволяє вам не завантажувати, а відразу використовувати потрібну програму перспективи AR на iPhone зростають. Все тому, що багато людей справді не використовують доповнену реальність тільки через те, що їм не хочеться переходити та завантажувати якийсь додаток, проходити реєстрацію і так далі, щоб просто подивитися на якийсь об'єкт AR. З App Clips, які з'явилися в iOS 14 це вам і не буде потрібно.

Захочете подивитися на якийсь об'єкт AR начебто експоната в музеї або карти місцевості —все що вам буде потрібно просто просканувати QR-код.