DirectMLを使用する

[Oyaki122]

内容

DirectMLを用いた推論を可能ができるようにし、Windows-cpu版dllをdirectml版に変更します。

DirectMLはDirectX12を用いて推論を行うことができ、これによってAMD製GPUやIntel内蔵グラフィックスでの推論が可能になります。

DirectML版のcore.dllでは DirectML.dll を同じディレクトリに配置し、initializeのuse_gpuをtrueにすることでDirectMLを用いて推論を行います

DirectMLに対応したonnxruntimeはそれ以外のディレクトリ構造と異なり、nugetパッケージ用のものになっているため、cmakeやconfigure.pyの実行時にオプションをつける必要があります

--追記--
動作検証を行う際はREADMEの「コアライブラリのビルド」に従って自前でビルドして検証していただくか、configure.py実行時にオプションをつけていただくことで可能です
configure.pyを用いる場合、

python configure.py --use_directml --voicevox_download_link https://github.com/Oyaki122/voicevox_core/releases/download/dml-test20220223/core.zip

の様にし、またexample/pythonを実行する際は

python run.py --text=<テキスト> --speaker_id=<話者ID> --use_gpu --root_dir_path="../../model"

としてください。
今回のプルリクエストは開発版のcoreであるため、Releaseにある実際のモデルを使用することはできません。 modelフォルダにあるモックのみ可能です

関連 Issue

ref #74

その他

Radeonでの推論が検証できていないため、お持ちの方がいらっしゃいましたら検証よろしくおねがいします

[Oyaki122]

比較

日本国憲法50字を用い、exampleのforwarder.forward()を5回実行するのにかかった平均時間を検証する。単位は秒

PC1

• Corei7 8700
• 内蔵グラフィックス(Intel HD Graphics 630)
• Geforce GTX1060 6GB

	平均	標準偏差
DirectML(内蔵)	33.93	0.58
DirectML(グラボ)	2.124	0.437
cpu	10.86	1.07
cuda	1.710	0.006

PC2

• Corei5 7200U
• 内蔵グラフィックス(Intel HD Graphics 620)

	平均	標準偏差
DirectML	46.32	0.44
cpu	38.41	1.07

この様に、グラフィックボードを搭載したPCではcudaの1.2倍程度の時間で合成できる。
一方内蔵グラフィックスではcpuよりも遅くなる事がわかった

[Hiroshiba]

おおお、すごい！！
結構範囲の広い変更なので見るのに時間がかかっちゃうかもですが、これくらいの量なら１つのプルリクエストで完結したほうが楽かなと感じました。

かなり素人っぽい質問ですが１つだけコメントしてみました。

@Yosshi999 さん、またレビューお願いしてもよろしいでしょうか 👀

[Patchethium]

横から失礼します。

日本国憲法50字を用い、exampleのforwarder.forward()を5回実行するのにかかった平均時間を検証する。単位は秒

Radeonでの推論が検証できていないため、お持ちの方がいらっしゃいましたら検証よろしくおねがいします

I have a Radeon GPU and ran a similar^[1] test on it, here's the result:

Environment:
cpu: Ryzen 3600
gpu: Radeon RX 570
(cpu_num_threads=8)

	avg	var
cpu	4.314	0.0005
gpu (DirectML)	1.089	0.009

The acceleration is pretty decent, good job!

It's also worth noting that I experienced some noticeable lag on the whole computer while running the test. A resource regulator like cpu_num_threads may be needed in order to avoid that.

[1] Google won't tell me what 日本国憲法50字 is so I went here and simply took the first paragraph, this could make some difference.

[o108minmin]

突然すいません。
別の方も検証されていますがRadeon RX 6700 XTで --use_directmlを使い example/python の動作を確認しました(特にエラーなく合成できるところまで)

以下実施ログ

https://gist.github.com/o108minmin/10216558ce22669e33097020d2b24438

[edit: 実施手順が間違っていたようなので、 @Oyaki122 さんに教えていただきました。無事ダミー音声も生成できました。ありがとうございます！ ]

[Yosshi999]

このPRに含める必要は無いですが、configure.pyの実行オプションが変わった時にダウンロードしてくるonnxruntimeが変わるので、既に展開済みのものがあったらダウンロードのスキップをするという処理は変更したほうがよさそうですね

[Yosshi999]

LICENSEだけちょっと追加しました

[Yosshi999]

LGTM!

[Hiroshiba]

こちらの機能は次の次の大きめのアップデート（0.12）の目玉機能とさせてください･･･！
検証の時間を長めにとったほうが良さそうなのと、次のアップデートは今月中に行いたいというのがコンフリクトしているためです。
プレビュー版を作って１～２週間ほどプレリリースし、いろんな方に試してもらうフェーズを用意しましょう･･･！

[Oyaki122]

@Hiroshiba
承知しました
引き続きよろしくおねがいします

[Oyaki122]

WindowsでCPU版のVOICEVOXは必要なくなるかもしれませんが、coreには需要があるのではないかと思ったのでcpu版coreを復活させました

[Hiroshiba]

LGTM！！

製品版をなるべく早くビルドしてみたいと思います。
（ちょっとしばらく忙しいのですが、忘れてそうだったらリプライ頂けると嬉しいです🙇）

こちらのissueで試していければなと思います。

• DirectML版の動作チェック #90