2021年 XR技術がもたらす変革と、遂げるべき進化 〜日常生活編〜
2020年に新型コロナ(COVIT-19)がもたらした変化と2021年の始まり
明けましておめでとうございます！
2008年頃からAR(Augmented Reality = 拡張現実)に、ある記事を読んだことから驚きと可能性を感じ、2011年頃かこの技術と効果を広める活動を続けてきました。2019年にブログをHatenaに移設後、時間がとれなくなったこともあり、再開の機会が見いだせませんでした。しかし大きな変化が起きるであろう2021年、再開することにしましたので、よろしくお願いします。 過去記事は事例紹介でしたが、オリジナルの記事を増やしていければと思います。
XRの技術は、DXを実現する技術の１つとして説明されることがよくあります。2019年までは仕事においては研究やトライアルで使用される技術、そしてエンタメやゲームなどでは付加価値を高めたり体験価値を向上するためのツールに留まっていたといえます。あると便利だけど、まだまだこれからの技術として位置付けられ、無ければそれでも問題ないとことが多かったように思えます。
しかしながら新型コロナウィルスの問題が発生したことで、この状況が急激に変化しました。「移動すること」「集まること」「触れること」などが制限されたり人々が意識するようになり、日常生活のみならず、働き方を支えるためにも無くてはならない技術やツールになりつつあります。では、どのような変化が始まっているのでしょうか？そして今後どうなっていくのでしょうか？
今回は、第１弾として「日常生活編」としてまとめてみましたのでご一読ください。
普段の生活を支え、楽しみ方を変える技術としてのXR
バーチャル・ショッピング（仮想ショッピング）
ショッピングの２つの方法
店舗に足を運び、その場で商品を選びレジで精算する方式と、PCやスマホからインターネットを使用して商品を購入する方法の２つの方法が主流であることは、今後も大きく変わることは無いと思います。しかし新型コロナの問題が発生したことにより、必ずしも店舗に足を運ばなくても良いのではないか？という流れができ、この状態を「けっこう便利かもしれないと」感じた人々にとって、この習慣を元に戻す必要がなくなってきているかもしれません。
コロナ禍の今は、店舗に行ったとしても、検温されたり消毒が必要だったり、商品に触れにくかったりすることで、煩わしさが増えてしまいます。商品に触れずして商品の詳細を知るため、店舗にいながらスマートフォンを使用しVR・ARの技術を使用して、商品を詳しく知るための行動をするかもしれません。
店舗に足を運ぶという行動は、実際に自分の目で確かめて、触れて試せる範囲で試せること、店員から情報を得たり価格交渉することで納得して購入できること、またははその店舗で購入することがステータスになるからという理由などに起因すると考えられます。もし、それらのことが店舗に行かずスムーズにスマートに実現できるとしたら、人の行動様式そのものが変わることになると思います。
従来のXR活用方法
長い期間、商品の購入に関するXR技術は、商品を訴求するためのプロモーション利用や実物と近い3DCGを使用し、ARで商品の利用イメージを体験するという2つがありました。しかしながら、新型コロナの問題により、それらを後押しするような実用性を伴ったコンテンツに成長することが求められています。
VR空間で実現するショッピング
既に始まっているのは、VRを使用したバーチャル世界で繰り広げられる店舗。実際に販売している商品をVR空間に構築された店舗内で仮想体験した上で購入すると、現実世界でも購入したこととなり、早ければ翌日には商品が届くというものです。
例えばイタリア
Salvatore Ferragamo innova la Customer Experience insieme a Microsoft ed Hevolus
VR空間で体験する人々はまだまだ多くないとは思いますが、2020年にFacebookから発売された格安でありながら高性能なVRデバイス Facebook社 Oculus Quest 2 などに象徴されるよう、これらを実現できるデバイスは特別な製品ではなく家電の領域に入ってきつつあります。私も個人的にOculus Quest 2 を購入してじっくり体験しましたが、表現力と操作性が向上しており、今までこの価格帯では考えられなかった体験を得ることができました。
Oculus Quest 2—完全ワイヤレスのオールインワンVRヘッドセット—64GB
新しい時代の配置シミュレーションの実現方法
ARのシミュレーションでは家具や家電がサイズ的にその場所に置けるか、置いた際にデザインや色に違和感が無いか事前に確認することができます。また、ファッションの分野では自分の体型に合うか、自分が着た際にイメージ通りであるかを確認することなどができます。最近ではiPhone Pro 12などに LiDARという空間情報をデータ化する技術が提供され、店舗空間や実物の商品を3DCGとして撮影することが比較的容易になりました。
インスタントに店舗全体を3DCGデータとしてスキャンし、その中に配置した商品をVR空間内で購入することができる試みも始まっています。3DCGをCADツールで作成することもなく、コピーしたかのごとくスキャニングし3DCGデータ化が行え、商品をARで見ることも容易になりつつあります。実体は伴いませんが、ドラえもんの秘密道具の１つ「フエルミラー」のような感じでしょうか。
※ここで紹介する動画は、実物の自動車などをiPhone 12 のLiDAR機能でスキャニングし、3DCGを生成するものです。
LiDAR Scanner iPhone 12 demo - Instant 3d scans!
日常生活で利用するスマートグラス
極め付けは、今後進化するであろうスマートグラスを使用した商品購入や壁一面をミラーディスプレイ化する情報端末＋バーチャル・フィッティングです。
スマートグラスについては、みなさんがお持ちのスマートフォンとつないで体験できる眼鏡型のスマートグラスが、よりいっそうリアリティを強化し、いままで2Dの世界で体験していたさまざまな体験が3D空間で体験できるようになるでしょう。既にマイクロソフト社が提供する HoloLens 2や、中国のnreal社が提供するMRグラスnreal light 、Magic Leap社が提供する Magic Leap Oneがその可能性を示しています。2021-2022年にはAppleやその他メーカーから発売されると言われているさまざまなスマートグラスがそれらを広げていくことは間違いないといえるでしょう。
バーチャル・ミラーが変える未来生活
ミラータイプの情報端末については、まだまだ住宅事情や価格の問題により一般的な導入は難しいと思いますが、自宅でのフィットネスを効果的に実現するツールとして注目され始めているようです。その先にあるのは、音声やジェスチャーで操作をしたり、自然会話を行うアバターが生活を支援したり洋服やメイクのシミュレーションを、AIを伴い活用する未来的な装置というイメージです。約10年前にCorning（コーニング）社やマイクロソフト社がそのイメージを示しています。下記は、私のお気に入りの動画の1つです。
A Day Made of Glass 2: Unpacked. The Story Behind Corning's Vision. (2012)
バーチャル・トラベル（仮想旅行）
旅行そのものが変化した2020年
必ず移動が伴う旅行については、新型コロナの影響を大きく受けてしまいました。私自身、海外旅行が大好きですのでとても残念な気持ちです。予防接種が普及し、感染を大きく回避できるようになった他の病気のようにならない限り、この状態は続くことになると思います。
さて、XRの技術は、新型コロナの前に新しい生活様式の１つとして注目されていましたが、新型コロナの発生により大きく注目されることになりました。ニュースやTVなどでご覧になった方、実際に利用された方もいるかもしれませんが、一番分かりやすいのはVR技術を利用した仮想旅行です。仮想旅行といっても、ピンからキリまであります。一番分かり易いものとしては、360度で撮影された動画や静止画をVR装置で体験するタイプかと思います。
MR/VRデバイスを使用した旅行体験の効果
数年前、帰省した際にマイクロソフト社のHoloLens(最初の機種)を、80才が超える高齢の父に体験してもらいました。HoloLensは、VR(Virtual Reality = 仮想現実)ではなくMR(Mixed Rearity = 複合現実)の技術を搭載した機器ですが、使い方によってVR的な体験が可能な、頭部に装着するウェアラブルデバイスです。
父は新しいものへの興味はありますが、デジタル機器やコンピュータの使用を余りしたことがないため、かなり抵抗感があるかもしれないと予想していました。またきっと操作も難しいと思っていました。しかし、結果は異なりました。
HoloLensの無料アプリには世界旅行を体験するものが有りましたので、まずこちらを体験してもらいました。率直な感想は「旅行をした気分になれる。これは面白い！もっと観たい」という内容でした。既存のコンテンツだけではなく、「もう一度行ってみたい場所」や「行ってみたかったけど行けなかった場所」に連れて行ってあげられたらと思いました。仮想旅行以外のコンテンツでは、簡単に操作できる「蝶が空中を舞うフォログラム」を体験してもらいましたが、こちらも魔法を体験しているようにジェスチャー操作で楽しんでいました。
新型コロナが始まる前から、このような体験は、高齢の方や自由に移動が出来ない方、行きたくてもその場所に行けない方々にとって素晴らしい体験を提供するコンテンツになりうると感じていました。実際に旅行ができる時は、それほど求められておらず、まだまだこれからの取り組みになると思っていました。しかしながら、新型コロナの問題が発生したことで、急激に「なくてはならない技術・コンテンツ」に変化したと感じられます。
さらに進化する仮想旅行
VRの基本的な体験は、360度で撮影したビデオ映像をPCやVRデバイスで視聴し、あたかもそこに行っているような状態を作り出すという内容ですが、その進化は始まっています。ロボット（いわゆるアバターです）がまるで自分の分身のように代わりに旅行先に行っており、現地での体験をロボットをインターフェースにして遠隔で感じることができるという実験も行われています。実際に出来ないことと言えば、空気感が伝わらない、その場で注文した食事をその場で食べられないという点ですが、すぐに届くような仕組みまで提供できるようになればより良い体験になるでしょう。
VRは目で見て体験したり耳に音声としてフィードバックするだけでなく、「仮想世界で触れた感触を実際に感じさせること」「匂い（香り）を伝えること」「顔に当たった風の流れを伝えること」なども可能となっていますので空気感も近い将来は容易に伝えることができるかもしれません。
もっと先の未来では、空間全体がディスプレになっている部屋に入ることで、行きたい場所にワープしたような体験ができる裸眼VRの世界が提供されるようになるかもしれません。VRデバイスを頭部に装着するという利用ではなく、そこに入るだけで体験できる、ドラえもんの秘密道具「どこでもドア」のようなイメージでしょうか。まだまだ一般化が難し発展中の技術と感じますが、研究機関や企業では既にトライアルを行っているところも有ることでしょう。リアルタイムにその場所の空間イメージを撮影または合成し高速通信技術により体験することができる未来旅行の1つになる可能性を秘めています。プライバシーの問題など課題はまだまだたくさんありますが、プライバシーについては、画像AIと映像合成技術の発展により問題を解決することはそう難しいことではないように思えます。
私はインドネシア バリ島のカヌー(ジュクン)で釣りをする事が好きで何度も足を運んでいますが、その体験をそのままリアルタイムに風や日光の感覚を得ながら自宅で行えるとしたら、年に何度かは代替体験として利用するかもしれません。私の知る限り、VR対応の触覚グローブは釣った時の感覚を十分に伝えられるようになっていますので、あとはその他の環境がどのように整うかですね。
コミュニケーション
コミュニケーション方式の変化
新型コロナの影響により、コミュニケーションの方法が大きく変わってしまい、現実に人と会う機会が大幅に減少してしまいました。現実に会って、その場の空気感や相手の雰囲気や表情を感じながらという方法が一番良いことには変わりありません。しかしながら会ったとしても場所・相手との距離・集まる人数・会う時間などを制限する必要がでてきました。
コミュニケーションの方法としては、PCやスマートフォンを使用した複数人・複数箇所からのオンラン会議が用いられています。もちろん新型コロナの影響が始まる前でも、オフショアやニアショアでの開発では私もオンライン会議のツールを使用していましたが、それは稀でした。メールと電話で伝わりにくそうだと感じた場合のみ、オンラン会議を行っていました。しかし今では在宅からのオンライン会議が中心で、それで対応出来ない場合のみ、お客様先に訪問したり現場に行って検証するという対応を行っています。在宅ワークであると、お互いに多少の遠慮が発生するせいか会社にいる時に比べて電話のやりとりよりも事前に時間を決めて、オンラン会議を行うことが主流となっています。
日常生活でのコミュニケーション
それでは、友人やその他日常でのコミュニケーションはどうでしょうか？
新型コロナの影響が出る前から、コミュニケーションをバーチャル世界で行うための新世代のイベントツールや会議ツールが出現していました。例えば、昔からあるメタバース世界 Second Life（セカンドライフ）がその始まりだと思います。
新型コロナの影響の前は、それらは必然ではなく、面白い世界や試みに興味がある人々に向けた場にしか過ぎませんでした。回りくどい事をしなくても、直接会ったりその場所に出向けばそれで済んだからです。ましてや、VRデバイスを装着後アプリを起動して準備を整えるというところが敷居の高さにつながってましたが、これが必然という世界になってくると話は別です。いかにスムーズに誰もが簡単に利用できるかという点を考えていくことが課題になるでしょう。
SNSの世界ではバーチャルアバターを介入し、自分の姿を置き換えて喋ってくれるような試みが始まっています。人の姿ではなく、動物やオリジナルキャラクター、人の場合では、自分の表情もリアルタイムに再現してくれる技術も既に実現されています。自分の姿がリアルな自分の映像ではないことで、コミュニケーションがスムーズにできるシチュエーションも出てきています。
VR空間に存在する自分のアバターが、自分の脳で感じたり示した通りに行動してくれれば良いのですが、結局のところはキーボードやコントローラーというインターフェースを介入させて操作する必要があるという点もこれからのVR技術の進化に期待することろです。
多様性に対応するXR技術を使用した日常生活でのコミュニケーション
一方、日常のコミュニケーションという中で、特別な状態に置かれている方とのコミュニケーションを拡張する、コミュニケーションをスムーズにするということではXRを中心とした技術には大きな期待があります。
取り組みが国内外で始まっていますが、一番分かり易いのは、異なる言語での会話をスムースに行うためのXR技術だと思います。言語が異なることで会話が成り立たない、気持ちが伝えられないとう障壁を一気に無くすことができることになります。国や民族による言葉(単語)の捉え方や意味、感じ方が変わることが有りますので、そのようなところまでを考慮した仕組みができるとよりいっそう世界が広がると思います。もしかしたら、動物との会話も実現出来るかもしれません。
その他では特殊な方法でのコミュニケーションの実現です。こちらも一部は企業や研究機関で取り組みが始まっている項目も有りますが、とても重要な課題です。
- 指で示した部分の文章を音声に変換し変わりに話してくれる
- 発した言葉をリアルタイムに解析しアバターが変わりに手話で伝えてくれる。（逆に手話の情報をリアルタイムに解析し音声で喋ってくれる）
- 口の動きをリアルタイムに読み取り変わりに喋ってくれる。
- 喋った言葉をリアルタイムに点字化してくれる。
- 目の不自由な方が使用する白杖のIoT化＋アバター化。
生活をより快適にするための技術として不可欠な技術となります。この分野は特に個人的に特に興味がある分野です。
博物館・美術館・動物園・水族館・植物園
エンターテイメント分野での従来の利用方法
博物館・美術館の分野では、ARの普及が始まった当初から使用されていました。2012年頃からでしょうか。しかしながら展示物に対して象徴的なARマーカーを設定することは、美観を損なうという理由から採用されにくいということがありました。また、日本では特に博物館や美術館で撮影するということに対する習慣が長いことあり、屋内や展示品の撮影をいかに禁止させるかという課題もあり、持参したスマートフォンの利用に制限がかかっていたということもありました。そのため、運営側がタブレットを貸与しした対応が多かったと思います。また、屋内施設ではGPSが使えないという点から、位置の制御が可能なBeaconとの併用も行われました。
進化する技術による体験価値の向上
しかしながら現在では、画像認識による方式や対象物そのものを認識する方式、部屋の空間を3Dデータ化することでマーカーのようなターゲットを必要としない方式など、さまざまな仕組みを使用することができるようになり、より良い体験を提供することができるようになりました。
動物園・水族館・植物園では、実物がそこにいますので、わざわざXRの技術を使用することも無いように思えますが生物であれば眠ってる場合などの補助とて使えますし、それぞれのパネルを認識することで、リアルな説明員の代わりに、動画や3DCG、バーチャル説明員が登場して説明するということも可能です。
未来を考える体験方式
博物館・美術館・動物園・水族館・植物園をひとくくりにすることはできませんが、共通していえることは、対象物に触れることが殆ど無いという点です。（殆どないというのは、動物園では触れ合いコーナーがあるかもしれないという点があるからです）
そもそも触れられないのであれば、それらをXRの技術で構成してしまっても良いかもしれないと考えられます。どこまで体験価値が高められるか、どこまで体験する人の満足感が得られるかということは課題となりますが、メリットもたくさん考えられます。
例えば下記の通りです。
- その場所に行かなくても、どこでも体験することができる。
- 混雑や時間を気にせずゆっくり時間をかけて観てまわることができる。
- 対象物に対する知らない情報をすぐに得ることができる。
- その場所、その対象物に対してコメントを付加し共有することができる。
- どのコンテンツに興味がもたれているのか、効果測定を行うことができる。
- 対象物が博物館・美術館の場合、展示物の破損や老朽化を防ぐことができる。
- 動物園・水族館・植物園の場合、個体のストレスを防ぐことができる。
- リアルタイム方式とアーカイブ方式の配信による２つの体験方式の実現。
体験方法としては今まではスマートフォンが中心でしたが、これらの体験では没入感が得られ、かつリアルな映像が観られるVRデバイスが適しているでしょう。1年ほど前まではPCに接続して使用するようなタイプが多く大掛かりで費用もかかりましたが、Oculus Quest 2のようなVRデバイスの出現により個人利用での体験も現実的となってきました。また、2021年-2022年に向けてスマートフォンと接続できる小型軽量型のXRデバイスが多数出現すると言われていますので、その技術や高速回線、AI技術などとの連携により、日常がより楽しくかつ価値のある体験を提供されることでしょう。
次回からは「2021年 XR技術がもたらす変革と、遂げるべき進化 〜教育・医療・ビジネス〜」について説明したいと思います。
