Skip to content
This repository has been archived by the owner on Feb 18, 2023. It is now read-only.

FDSの目的・理念を追加する #6

Open
Cj-bc opened this issue Jun 3, 2020 · 1 comment
Open

FDSの目的・理念を追加する #6

Cj-bc opened this issue Jun 3, 2020 · 1 comment

Comments

@Cj-bc
Copy link
Owner

Cj-bc commented Jun 3, 2020

現状、このプロトコルが何のために作られたのかがわからない。それだと利用してもらうこともできない。
使われてこそ意味があるので、追加すべき

@Cj-bc
Copy link
Owner Author

Cj-bc commented Jun 3, 2020

このプロトコルの目的

このプロトコルは、様々なフェイストラッキング技術によって顔の動きを検出しそれを2次元絵や3Dモデルに適用して動かすソフトウエア(以下アバターソフト)の製作をより容易にすること・多くの環境に対応することを主な目的として制定されています。

現状のアバターソフトの問題点

現状ではプラットフォーム固有のソフトが多く、それ以外のプラットフォームの人は体験することができません。(Windowsオンリーなもの、depthカメラ搭載のiPhoneオンリーなものなど)。
又、それぞれのソフトにおいて使用するセンサー技術は固定であり、例えば「今までPCのみ対応のソフトを使用していたが、最近depthカメラ付きのiPhoneをかったのでトラッキングに使いたい」といった時にはソフトごと乗り換える必要があります。
新しいソフトに乗り換える場合、やはり学習コストはかかりますし下手をするとモデルも作り変える必要が出てきたりします。
開発者目線での問題としては、既に素晴らしいトラッキングやUIがあるのにある程度作り直さないといけないため、専門で取り扱っている人のソフトよりも精度やUXが落ちてしまうことが挙げられます。

FaceDataServerプロトコルはどのように解決するか

そこで、FaceDataServerプロトコルの出番です。
このプロトコルは、アバターソフトを「バックエンド」と「フロントエンド」の2つに分け、その間を通信で繋ぎます。

  • バックエンド: 様々なフェイストラッキング技術によって顔の動きを検出し、数値で書き出すソフトウェア
  • フロントエンド: バックエンドから出力された数値を2次元絵や3Dモデルに適用して動かすソフトウエア

これによりユーザーは、違う環境に移行する場合やアップデートでも同じ操作性を保つことができます。
開発者は、自分の作りたい分野・自分の専門分野に特化できるため全体的なクオリティを高くすることができます

FaceDataServerプロトコルを使用した場合の利点

まず第一に、アバターソフトをフロントエンドとバックエンドに分けることにより、対応できる環境が一気に広がります。スマホのトラッキングを利用してパソコンでアバターを動かす、ということもより手軽に可能になります。
エンドユーザー目線で考えると、フロントエンド、つまり自分が弄る部分はそのままに、例えばよりよいトラッキング手法に乗り換えることが出来るようになります。
開発者視点で考えると、例えば新しいトラッキング手法を試すときにモデルの制御まで考える必要がなくなります。
自作に挑戦したい人からすると、自分の興味がある分野(モデルの表示なのか、トラッキング技術なのか)のみに集中することが出来るようになり、圧倒的に開発コストが下がります。

付帯して存在する利点

データを生成する機能と表示する機能が分離しているということは、生成されたデータをマルチキャスト等することによって複数の端末上のフロントエンドにデータを流し、操作することが出来るようになります。これは例えばラグの少ない配信に使うこともできますし、3Dモデルと2Dモデルを同時に動かす、といったことも可能になります。


Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant