coreのctypes実装を追加＆古いコアを利用できるようにする #254

takana-v · 2021-12-29T13:31:46Z

内容

ctypesモジュールを利用してコアを読み込むモジュールを追加します。
また、このモジュールを利用して古いコアを利用できる機能を追加します。

その他

Dockerやビルド周りに調整が必要そうなのでDraftです。

coveralls · 2021-12-29T13:33:00Z

Pull Request Test Coverage Report for Build 1739640316

28 of 197 (14.21%) changed or added relevant lines in 3 files are covered.
No unchanged relevant lines lost coverage.
Overall coverage decreased (-16.01%) to 78.146%

Changes Missing Coverage	Covered Lines	Changed/Added Lines	%
voicevox_engine/synthesis_engine/make_synthesis_engines.py	8	47	17.02%
voicevox_engine/synthesis_engine/core_wrapper.py	18	148	12.16%

Totals
Change from base Build 1730159048:	-16.01%
Covered Lines:	683
Relevant Lines:	874

💛 - Coveralls

github-actions · 2021-12-29T13:34:29Z

Coverage Result

Resultを開く

Name	Stmts	Miss
voicevox_engine/init.py	1	0
voicevox_engine/acoustic_feature_extractor.py	75	0
voicevox_engine/dev/synthesis_engine/init.py	2	0
voicevox_engine/dev/synthesis_engine/mock.py	29	0
voicevox_engine/full_context_label.py	167	5
voicevox_engine/kana_parser.py	89	1
voicevox_engine/model.py	71	7
voicevox_engine/mora_list.py	4	0
voicevox_engine/preset/Preset.py	12	0
voicevox_engine/preset/PresetLoader.py	34	1
voicevox_engine/preset/init.py	3	0
voicevox_engine/synthesis_engine/init.py	5	0
voicevox_engine/synthesis_engine/core_wrapper.py	148	130
voicevox_engine/synthesis_engine/make_synthesis_engines.py	47	39
voicevox_engine/synthesis_engine/synthesis_engine.py	101	0
voicevox_engine/synthesis_engine/synthesis_engine_base.py	49	5
voicevox_engine/utility/init.py	2	0
voicevox_engine/utility/connect_base64_waves.py	35	3
TOTAL	874	191

takana-v · 2021-12-30T02:21:39Z

Linux用自動ビルド: ONNX版コアに対応 #249
Windows用自動ビルド: ONNX版コアに対応 #251
とコンフリクトしそうなのでマージされるまで待機します。

takana-v · 2022-01-05T15:23:39Z

現時点での動作確認
https://github.com/takana-v/voicevox_engine/releases/tag/ctypes-test

--old_voicelib_dirで過去コアのフォルダ、--old_model_lib_dirでlibtorchもしくはonnxruntimeのフォルダ、
--old_model_typeでどちらの種類のコアか libtorch or onnxruntime(default)
以上の引数を設定することで過去コアを動かすことが可能
/docsとかから動作確認できます（過去コアはuse_old_core=trueで使用できます）

一旦ドラフト外してレビュー＆動作確認をしたいと思います。

Memo: GPU版はfinalizeしてないので終了時にcuda周りでエラーが出る

takana-v · 2022-01-08T09:04:30Z

linuxのGPU版で過去コアを指定するとセグフォしたので一旦ドラフトにして原因を調査したいと思います。
(CPU版だとセグフォしないのでCUDA周り？もしかしたらWSL2でやってるのが原因かも)

~/tmp/linux-nvidia$ ./run --use_gpu --old_voicelib_dir=/home/takana/tmp/core
Segmentation fault

takana-v · 2022-01-08T09:27:03Z

colabでGPU版の動作を試してみました。
--old_voicelib_dirを設定した場合でも問題なく動作したので恐らくセグフォはWSL2に固有の問題かと思います。

Macは持ってないのでどなたかテストしていただけるとありがたいです。
多分↓を実行するとテストできるかと思います。

wget https://github.com/takana-v/voicevox_engine/releases/download/ctypes-test/macos-x64.7z.001
wget https://github.com/VOICEVOX/voicevox_core/releases/download/0.10.preview.0/core.zip
7z x macos-x64.7z.001
7z x core.zip
chmod 755 macos-x64/run
cd macos-x64 && ./run --old_voicelib_dir=../core

aoirint · 2022-01-09T09:29:22Z

macOS Big Sur 11.6.1で #254 (comment) を試してみました。

ONNX版コア0.10.preview.0は、音声合成まで動作しました。

LibTorch版コア0.7.4は、起動時に共有ライブラリの読み込みエラーになりました（LibTorch 1.9.1）。依存ツリーと読み込み順が関係していそうなので、順序を変えるのを試したいですね...（それでうまくいくかわからないので、ソースコードで試した方がよさそう）。

libtorch.dylibがlibtorch_cpu.dylibに依存しているので、libtorch_cpu.dylibをlibtorch.dylibより先に読み込む必要がありそうだと思いました。

$ ./run --old_voicelib_dir=../core --old_model_type=libtorch --old_model_lib_dir=/path/to/libtorch/lib
Traceback (most recent call last):
  File "/path/to/macos-x64/./voicevox_engine/synthesis_engine/make_synthesis_engine.py", line 51, in make_synthesis_engine
  File "/path/to/macos-x64/./voicevox_engine/synthesis_engine/core_wrapper.py", line 56, in __init__
  File "/path/to/macos-x64/./voicevox_engine/synthesis_engine/core_wrapper.py", line 45, in load_model_lib
  File "/path/to/macos-x64/./ctypes/__init__.py", line 373, in __init__
OSError: dlopen(/path/to/libtorch/lib/libtorch.dylib, 6): Library not loaded: @rpath/libtorch_cpu.dylib
  Referenced from: /path/to/libtorch/lib/libtorch.dylib
  Reason: image not found
Notice: Failed to make synthesis engine. This error will be ignored.
Traceback (most recent call last):
  File "/path/to/macos-x64/./run.py", line 552, in <module>
  File "/path/to/macos-x64/./voicevox_engine/synthesis_engine/make_synthesis_engine.py", line 83, in make_synthesis_engine
  File "/path/to/macos-x64/./voicevox_engine/dev/core/mock.py", line 72, in metas
  File "/path/to/macos-x64/./pathlib.py", line 1236, in read_text
  File "/path/to/macos-x64/./pathlib.py", line 1222, in open
  File "/path/to/macos-x64/./pathlib.py", line 1078, in _opener
FileNotFoundError: [Errno 2] No such file or directory: '/path/to/macos-x64/voicevox_engine/dev/core/../../../VERSION.txt'

（バイナリ版でmock coreが動作しないのは別の問題 #251 (comment) ですね）

LibTorchの依存関係

$ otool -L libc10.dylib
libc10.dylib:
	@rpath/libc10.dylib (compatibility version 0.0.0, current version 0.0.0)
	/usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 902.1.0)
	/usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1281.100.1)

$ otool -L libtorch.dylib
libtorch.dylib:
	@rpath/libtorch.dylib (compatibility version 0.0.0, current version 0.0.0)
	@rpath/libtorch_cpu.dylib (compatibility version 0.0.0, current version 0.0.0)
	@rpath/libc10.dylib (compatibility version 0.0.0, current version 0.0.0)
	@rpath/libiomp5.dylib (compatibility version 5.0.0, current version 5.0.0)
	/usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1281.100.1)
	/usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 902.1.0)

$ otool -L libtorch_cpu.dylib
libtorch_cpu.dylib:
	@rpath/libtorch_cpu.dylib (compatibility version 0.0.0, current version 0.0.0)
	@rpath/libiomp5.dylib (compatibility version 5.0.0, current version 5.0.0)
	/usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1281.100.1)
	/System/Library/Frameworks/CoreFoundation.framework/Versions/A/CoreFoundation (compatibility version 150.0.0, current version 1677.104.0)
	/System/Library/Frameworks/IOKit.framework/Versions/A/IOKit (compatibility version 1.0.0, current version 275.0.0)
	@rpath/libc10.dylib (compatibility version 0.0.0, current version 0.0.0)
	/usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 902.1.0)

それから、引数から受け取ったパス中の~がホームディレクトリのパスになるようにexpand_userの処理があるとよさそうでした。

PickledChair · 2022-01-09T09:48:29Z

同じく、Mac (macOS Monterey 12.1) でテストしてみました。 @aoirint さんと同様、0.10.preview.0 のコアを用いた場合、成功しました。

ただし、0.10.preview.1 を使うと失敗します。libcore_cpu_x64.dylib がなくなり、代わりに libcore_cpu.dylib が同梱されているためのようです。

Traceback (most recent call last):
  File "/Users/suitcase/Downloads/macos-x64/voicevox_engine/synthesis_engine/make_synthesis_engine.py", line 51, in make_synthesis_engine
  File "/Users/suitcase/Downloads/macos-x64/voicevox_engine/synthesis_engine/core_wrapper.py", line 126, in __init__
  File "/Users/suitcase/Downloads/macos-x64/pathlib.py", line 1181, in resolve
  File "/Users/suitcase/Downloads/macos-x64/pathlib.py", line 363, in resolve
  File "/Users/suitcase/Downloads/macos-x64/pathlib.py", line 347, in _resolve
  File "/Users/suitcase/Downloads/macos-x64/pathlib.py", line 452, in readlink
FileNotFoundError: [Errno 2] No such file or directory: '/Users/suitcase/Downloads/core/libcore_cpu_x64.dylib'
Notice: Failed to make synthesis engine. This error will be ignored.
...

CPU アーキテクチャ名が名前から省かれたのは、 VOICEVOX/voicevox_core#60 を受けて Universal バイナリにしたからなのかと予想したのですが、以下のように確認してみると、Universal バイナリにはなっていないようです（x64 のまま）。何かの手違いかもしれないのでコア側に Issue を立てたいと思います。そもそも Universal バイナリにしたわけではなさそうです……。早とちりでした。

$ cd core
$ lipo -archs libcore_cpu.dylib
x86_64
$ lipo -info libcore_cpu.dylib
Non-fat file: libcore_cpu.dylib is architecture: x86_64

（この PR では基本的に 0.10.preview.0 のコアまでを扱う、という感じでしょうか？余計な情報でしたらすみません。一応参考情報として報告しました。）

takana-v · 2022-01-24T08:29:34Z

とりあえず修正終わりました。
cancellableに関してはかなりめんどくさそうなので後回しです。
（本音を言うと機能ごと削除したいです。正直リターンが労力に見合わないので...）

aoirint

よさそうでした！対応ありがとうございます！
1点だけコメントを追加しました。

voicevox_engine/cancellable_engine.py

aoirint

LGTM！！

Hiroshiba · 2022-01-24T11:53:01Z

（本音を言うと機能ごと削除したいです。正直リターンが労力に見合わないので...）

相談感謝です！！
最終的には総合的に判断して機能消去でもOKです。
今回は一旦非活性化ということでお願いします…！

PickledChair

LGTM！！（お疲れ様でした。グッジョブです！👍）

PickledChair · 2022-01-24T13:12:30Z

#254 (review) で

cancelableが一旦なくなる点ですが、このPRをrelease-0.10に一旦含めないようにし、release-0.11までの復活を目指そうかなと考えています。

とありましたが、普通にマージしても良い感じですか……？

Hiroshiba · 2022-01-24T15:38:31Z

普通にマージしても良い感じですか……？

適宜releaseブランチにマージしていくだけだったので、大丈夫でした！
（気にしていただいてありがとうございます！）

とりあえずマージしちゃいます！
お疲れさまです、ありがとうございました････！！！！！

Hiroshiba mentioned this pull request Dec 30, 2021

Windows用自動ビルド: ONNX版コアに対応 #251

Merged

3 tasks

takana-v force-pushed the use-ctypes branch 3 times, most recently from 1cd12ac to 8fcc7f2 Compare January 4, 2022 18:12

takana-v added 9 commits January 5, 2022 15:26

古いコアを使えるように

ed13057

pysen

ba96a1b

全てcore_wrapperを使うよう変更

9bee5d5

onnx版対応

491bfa1

fix typo

1efce0e

読み込み順修正

4fb1013

ビルド周りの修正

45e51aa

fix dll path

4a3f4bd

fix cancellable engine

79315b8

takana-v force-pushed the use-ctypes branch from 8fcc7f2 to 79315b8 Compare January 5, 2022 06:30

takana-v added 4 commits January 5, 2022 15:35

fix format

64b01fb

ビルド周り修正

c851ed6

重複処理を関数化

d2a16eb

パスを厳密に指定

43781a5

takana-v marked this pull request as ready for review January 5, 2022 15:25

takana-v marked this pull request as draft January 8, 2022 09:04

takana-v marked this pull request as ready for review January 8, 2022 09:25

Merge branch 'master' into use-ctypes

af3d7bc

takana-v added 6 commits January 24, 2022 16:52

不要なcopyを削除

0424e0a

関数名を変更

562df6d

アサーションを追加

a0a4d30

型ヒント修正＆pysen

c696ce4

Dictの引数ミス修正

9558f56

型ヒントの修正漏れを追記

b67d6f4

takana-v requested review from aoirint and PickledChair January 24, 2022 08:29

aoirint reviewed Jan 24, 2022

View reviewed changes

voicevox_engine/cancellable_engine.py Show resolved Hide resolved

cancellableを起動不可にする

ceb11b8

takana-v requested a review from aoirint January 24, 2022 11:49

aoirint approved these changes Jan 24, 2022

View reviewed changes

PickledChair approved these changes Jan 24, 2022

View reviewed changes

Hiroshiba merged commit 6f2415a into VOICEVOX:master Jan 24, 2022

This was referenced Jan 24, 2022

複数コアを利用可能にする VOICEVOX/voicevox_project#3

Open

過去バージョンのコアを使う方法をREADMEで案内する #298

Closed

takana-v deleted the use-ctypes branch January 24, 2022 16:11

This was referenced Jan 24, 2022

対応デバイスが分かるAPIエンドポイントを追加 #299

Merged

readmeに過去のバージョンのコアの使用方法を追記 #300

Merged

takana-v mentioned this pull request Feb 12, 2022

コアのctypes実装の修正など #323

Closed

PickledChair mentioned this pull request Feb 14, 2022

アーキテクチャを考慮した共有ライブラリのロードをする #324

Closed

takana-v mentioned this pull request Feb 19, 2022

READMEの変更漏れを修正 #332

Merged

takana-v mentioned this pull request Feb 27, 2022

cancellableを修正 #345

Merged

This was referenced Mar 29, 2024

ランタイム CDLL ロードの仕組み #1146

Closed

ランタイム多重ロードの意義はなにか #1148

Closed

tarepan mentioned this pull request May 2, 2024

整理: コメントアウトされたコードを除去 #1212

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

coreのctypes実装を追加＆古いコアを利用できるようにする #254

coreのctypes実装を追加＆古いコアを利用できるようにする #254

takana-v commented Dec 29, 2021

coveralls commented Dec 29, 2021 •

edited

Loading

github-actions bot commented Dec 29, 2021 •

edited

Loading

takana-v commented Dec 30, 2021

takana-v commented Jan 5, 2022 •

edited

Loading

takana-v commented Jan 8, 2022 •

edited

Loading

takana-v commented Jan 8, 2022 •

edited

Loading

aoirint commented Jan 9, 2022 •

edited

Loading

PickledChair commented Jan 9, 2022 •

edited

Loading

takana-v commented Jan 24, 2022

aoirint left a comment

aoirint left a comment

Hiroshiba commented Jan 24, 2022 •

edited

Loading

PickledChair left a comment

PickledChair commented Jan 24, 2022

Hiroshiba commented Jan 24, 2022

coreのctypes実装を追加＆古いコアを利用できるようにする #254

coreのctypes実装を追加＆古いコアを利用できるようにする #254

Conversation

takana-v commented Dec 29, 2021

内容

関連 Issue

その他

coveralls commented Dec 29, 2021 • edited Loading

Pull Request Test Coverage Report for Build 1739640316

💛 - Coveralls

github-actions bot commented Dec 29, 2021 • edited Loading

Coverage Result

takana-v commented Dec 30, 2021

takana-v commented Jan 5, 2022 • edited Loading

takana-v commented Jan 8, 2022 • edited Loading

takana-v commented Jan 8, 2022 • edited Loading

aoirint commented Jan 9, 2022 • edited Loading

PickledChair commented Jan 9, 2022 • edited Loading

takana-v commented Jan 24, 2022

aoirint left a comment

Choose a reason for hiding this comment

aoirint left a comment

Choose a reason for hiding this comment

Hiroshiba commented Jan 24, 2022 • edited Loading

PickledChair left a comment

Choose a reason for hiding this comment

PickledChair commented Jan 24, 2022

Hiroshiba commented Jan 24, 2022

coveralls commented Dec 29, 2021 •

edited

Loading

github-actions bot commented Dec 29, 2021 •

edited

Loading

takana-v commented Jan 5, 2022 •

edited

Loading

takana-v commented Jan 8, 2022 •

edited

Loading

takana-v commented Jan 8, 2022 •

edited

Loading

aoirint commented Jan 9, 2022 •

edited

Loading

PickledChair commented Jan 9, 2022 •

edited

Loading

Hiroshiba commented Jan 24, 2022 •

edited

Loading