BLD: PyInstallerをv6へ更新 #857

sabonerune · 2023-12-11T11:30:14Z

内容

PyInstaller v6へ更新します。
それに伴いビルド後にPyInstallerが利用するファイルが全て一つのディレクトリに移動されたためengine_root()周りの処理、ビルドやCIの変更があります。

その他

PyInstaller内部で利用するディレクトリ名はengine_internalにしました。

github-actions · 2023-12-11T11:34:46Z

Coverage Result

Resultを開く

Name	Stmts	Miss
run.py	487	333
voicevox_engine/init.py	1	0
voicevox_engine/cancellable_engine.py	91	71
voicevox_engine/core_wrapper.py	208	150
voicevox_engine/dev/core/init.py	2	0
voicevox_engine/dev/core/mock.py	27	12
voicevox_engine/dev/synthesis_engine/init.py	2	0
voicevox_engine/dev/synthesis_engine/mock.py	38	2
voicevox_engine/engine_manifest/EngineManifest.py	34	0
voicevox_engine/engine_manifest/EngineManifestLoader.py	12	0
voicevox_engine/engine_manifest/init.py	3	0
voicevox_engine/library_manager.py	93	5
voicevox_engine/metas/Metas.py	33	0
voicevox_engine/metas/MetasStore.py	18	8
voicevox_engine/metas/init.py	2	0
voicevox_engine/model.py	162	9
voicevox_engine/morphing.py	70	46
voicevox_engine/part_of_speech_data.py	5	0
voicevox_engine/preset/Preset.py	12	0
voicevox_engine/preset/PresetError.py	2	0
voicevox_engine/preset/PresetManager.py	81	2
voicevox_engine/preset/init.py	4	0
voicevox_engine/setting/Setting.py	11	0
voicevox_engine/setting/SettingLoader.py	18	0
voicevox_engine/setting/init.py	3	0
voicevox_engine/tts_pipeline/init.py	5	0
voicevox_engine/tts_pipeline/acoustic_feature_extractor.py	25	1
voicevox_engine/tts_pipeline/full_context_label.py	165	3
voicevox_engine/tts_pipeline/kana_parser.py	86	1
voicevox_engine/tts_pipeline/make_tts_engines.py	59	30
voicevox_engine/tts_pipeline/mora_list.py	4	0
voicevox_engine/tts_pipeline/tts_engine.py	185	13
voicevox_engine/tts_pipeline/tts_engine_base.py	71	10
voicevox_engine/user_dict.py	144	12
voicevox_engine/utility/init.py	5	0
voicevox_engine/utility/connect_base64_waves.py	37	0
voicevox_engine/utility/core_version_utility.py	8	1
voicevox_engine/utility/mutex_utility.py	10	0
voicevox_engine/utility/path_utility.py	35	9
TOTAL	2258	718

tarepan · 2023-12-12T20:05:20Z

@sabonerune

#855 (default_setting.yaml の廃止) と conflict が発生したようです。

default_setting.yaml が廃止されたのでファイルコピー不要
デフォルト値はハードコードされたので DEFAULT_SETTING_PATH 不要

が #855 由来の conflict 源になってそうです。
conflict 解消時の参考情報になれば幸いです。

Hiroshiba

まだビルド回り読めてないのですが、コード周りだけレビューしてみました！

voicevox_engine/utility/path_utility.py

Hiroshiba

ドキュメント追加ありがとうございます！！

1点ご存知でしたらお伺いしたいことが！
もし可能ならonnxruntime.dllなどの配置を以前と同じようにpyinstaller側に任せるのが比較的綺麗かなと思っています。
（実行に必要な依存関係をpyinstallerビルドスクリプト内に記述できるので）

internalに配置するファイルと、ルート直下（run.exeと同じディレクトリ）に配置するファイルを別々に指定する方法などはありそうでしょうか･･･？

sabonerune · 2023-12-13T22:50:45Z

internalに配置するファイルと、ルート直下（run.exeと同じディレクトリ）に配置するファイルを別々に指定する方法などはありそうでしょうか･･･？

自分が調べた限りspecファイル内でrun.exeと同じディレクトリにファイルを配置する方法は見つかりませんでした。

スクリプト一つで完結させるならbuild_utilにPyInstallerの呼び出しとルート直下へのファイル移動を行うコードを入れるくらいしか思い浮かびませんね…

Hiroshiba

色々調整してくださってありがとうございます！！

1個だけちょっとご相談があります。
今まで実行可能なバイナリをビルドするコマンドが1行だけで済んでいた（pyinstallerコマンド）のが、ビルドした後にファイルコピーコマンドを実行する必要がある状況になっていることに気づきました。
色々調べた感じ--add-binaryしたらDLLファイルは配置できそうでしたが、speaker_infoディレクトリなどは難しいかもしれません。
argparseで色々必要なファイルのパスを指定してdistディレクトリにコピーする、ということをspec内で行えば今まで通りpyinstallerコマンドのみでビルドできるかもなのですが、どうでしょうか････？

Hiroshiba · 2023-12-14T16:31:55Z

.github/workflows/build.yml

        run: |
          set -eux

          # Move DLL dependencies (cache already saved)
+          cp download/core/libvoicevox_core.so dist/run/
+          rm -rf download/core


これちょっと罠なのですが、多分このディレクトリはキャッシュしてるので消したらダメかもです。
正確には消しても別に問題ないのですが、確か全ての定義済みのステップが完了した後にそのディレクトリをキャッシュするという仕様だった気がします。
ディレクトリを消しているとそこでキャッシュがされないので、またダウンロードが走る感じになるかなと！
（ぶっちゃけもう1回ダウンロードしてもあまりビルド時間は変わらないのですが、まあ気持ち的に･･･！）

元々PyInstaller側でコピーしていたものをspecファイルで処理するようにしたのでほぼ元のコードに戻りました。

後続のライブラリの処理で削除していたのでそれに倣った感じです。

確かキャッシュは原則的に明示的に(またはActionによって間接的に)保存処理をする必要があったはずです。
このworkflowはファイルをダウンロードして展開した直後にキャッシュ保存をしていたので問題ないはずです。

このworkflowはファイルをダウンロードして展開した直後にキャッシュ保存をしていたので問題ないはずです。

確認してみたのですが、onnxruntimeなどはおっしゃる通りの実装になっていると思います（↓のとこで保存している）！

voicevox_engine/.github/workflows/build.yml

Lines 381 to 385 in 6a2a010

- name: Save ONNX Runtime cache

uses: actions/cache/save@v3

with:

key: ${{ steps.onnxruntime-cache-restore.outputs.cache-primary-key }}

path: download/onnxruntime

でもコアとRESOURCEだけ（？）はその形になっていなさそうだなと･･･！
（どちらかと言うと、この2つも明示的にsaveを呼ぶのが良い気がしています）

sabonerune · 2023-12-14T16:47:59Z

specファイル内で実行ファイルのディレクトリにファイルを移動するオプションがなかったのでできないものと思っていましたがどうやらできるようです。
ただ、cudaやdirectml周りのdllの処理は自身がないのでとりあえず今までspecファイルでコピーしていたものをやるようにしようと思います。

Hiroshiba · 2023-12-14T18:18:56Z

@sabonerune 検討ありがとうございます、是非！！！

sabonerune · 2023-12-15T11:46:45Z

specファイル内での処理するように変更しました

Hiroshiba

ほぼLGTMです！！
細かい部分で開発しやすさをそのままにしておいてあげると嬉しそうかもなのでコメントしてみました 🙇

run.spec

sabonerune · 2023-12-16T13:47:06Z

とりあえずリポジトリにデフォルトで存在しないファイルはなくてもビルドが通るようにしました。

Hiroshiba · 2023-12-16T21:14:16Z

とりあえずリポジトリにデフォルトで存在しないファイルはなくてもビルドが通るようにしました。

ありがとうございます、すごく良さそうに思います！！

Hiroshiba

LGTM！！！！

確認としてプレビュー版リリース0.15.0-preview.10を作りたいと思います！
ありがとうございました！！！

ビルド周りはまだまだ改善の余地がかなり残っていると思います。
もしご興味あればジャカジャカ進めていただけるとすごく助かります。もっと気軽にissueなどでコメントなどいただけると！！

.github/workflows/build.yml

run.spec

This reverts commit 4ef4218.

Revert "BLD: PyInstallerをv6へ更新 (#857)" This reverts commit 4ef4218.

BLD: PyInstallerをv6へ更新

b8aa41a

sabonerune marked this pull request as ready for review December 11, 2023 11:40

sabonerune requested a review from a team as a code owner December 11, 2023 11:40

sabonerune requested review from Hiroshiba and removed request for a team December 11, 2023 11:40

Hiroshiba reviewed Dec 13, 2023

View reviewed changes

voicevox_engine/utility/path_utility.py Outdated Show resolved Hide resolved

voicevox_engine/utility/path_utility.py Show resolved Hide resolved

sabonerune added 3 commits December 13, 2023 17:25

FIX: runtime_typeをプライベート化

a6c810c

FIX: docstring追加

4104c2b

Merge branch 'master' into bld/update-pyinstaller6

3e8919d

Hiroshiba reviewed Dec 13, 2023

View reviewed changes

Hiroshiba reviewed Dec 14, 2023

View reviewed changes

FIX: specファイル内でファイルの移動処理をする

2bb7885

sabonerune requested a review from Hiroshiba December 15, 2023 11:46

Hiroshiba reviewed Dec 15, 2023

View reviewed changes

run.spec Outdated Show resolved Hide resolved

run.spec Outdated Show resolved Hide resolved

run.spec Outdated Show resolved Hide resolved

FIX: デフォルトで存在しないファイルを無視する

658c1bf

Hiroshiba approved these changes Dec 17, 2023

View reviewed changes

.github/workflows/build.yml Outdated Show resolved Hide resolved

run.spec Outdated Show resolved Hide resolved

Hiroshiba added 2 commits December 18, 2023 04:32

Update .github/workflows/build.yml

e49b4ad

Update run.spec

9acdfa3

Hiroshiba merged commit 4ef4218 into VOICEVOX:master Dec 17, 2023
3 checks passed

sabonerune deleted the bld/update-pyinstaller6 branch December 17, 2023 22:29

yamachu mentioned this pull request Jan 21, 2024

旧来のonedir layoutと同様のレイアウトに変更し、実行ファイルと同じディレクトリにPython runtimeを含める #1020

Closed

Hiroshiba added a commit to Hiroshiba/voicevox_engine that referenced this pull request Jan 21, 2024

Revert "BLD: PyInstallerをv6へ更新 (VOICEVOX#857)"

3f3bfbe

This reverts commit 4ef4218.

This was referenced Jan 21, 2024

Pyinstaller v6でビルドすると、macOS版エディタがエラーになる #1022

Closed

[release-0.15] #857 をrevert #1023

Merged

Hiroshiba added a commit that referenced this pull request Jan 21, 2024

[release-0.15] #857 をrevert (#1023)

e9d805b

Revert "BLD: PyInstallerをv6へ更新 (#857)" This reverts commit 4ef4218.

sabonerune mentioned this pull request May 14, 2024

refactor: リソースディレクトリを新設 #1243

Closed

5 tasks

sabonerune mentioned this pull request Jun 26, 2024

FIX: PyInstallerでビルドされているときのルートディレクトリ取得方法を修正 #1439

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

BLD: PyInstallerをv6へ更新 #857

BLD: PyInstallerをv6へ更新 #857

sabonerune commented Dec 11, 2023

github-actions bot commented Dec 11, 2023 •

edited

Loading

tarepan commented Dec 12, 2023

Hiroshiba left a comment

Hiroshiba left a comment

sabonerune commented Dec 13, 2023 •

edited

Loading

Hiroshiba left a comment •

edited

Loading

Hiroshiba Dec 14, 2023

sabonerune Dec 15, 2023

Hiroshiba Dec 15, 2023

sabonerune commented Dec 14, 2023

Hiroshiba commented Dec 14, 2023

sabonerune commented Dec 15, 2023

Hiroshiba left a comment

sabonerune commented Dec 16, 2023

Hiroshiba commented Dec 16, 2023

Hiroshiba left a comment •

edited

Loading

	- name: Save ONNX Runtime cache
	uses: actions/cache/save@v3
	with:
	key: ${{ steps.onnxruntime-cache-restore.outputs.cache-primary-key }}
	path: download/onnxruntime

BLD: PyInstallerをv6へ更新 #857

BLD: PyInstallerをv6へ更新 #857

Conversation

sabonerune commented Dec 11, 2023

内容

関連 Issue

その他

github-actions bot commented Dec 11, 2023 • edited Loading

Coverage Result

tarepan commented Dec 12, 2023

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

sabonerune commented Dec 13, 2023 • edited Loading

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

Hiroshiba Dec 14, 2023

Choose a reason for hiding this comment

sabonerune Dec 15, 2023

Choose a reason for hiding this comment

Hiroshiba Dec 15, 2023

Choose a reason for hiding this comment

sabonerune commented Dec 14, 2023

Hiroshiba commented Dec 14, 2023

sabonerune commented Dec 15, 2023

Hiroshiba left a comment

Choose a reason for hiding this comment

sabonerune commented Dec 16, 2023

Hiroshiba commented Dec 16, 2023

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

github-actions bot commented Dec 11, 2023 •

edited

Loading

sabonerune commented Dec 13, 2023 •

edited

Loading

Hiroshiba left a comment •

edited

Loading

Hiroshiba left a comment •

edited

Loading