add: DockerHub で提供されているイメージに arm 版を追加 #639

K-shir0 · 2023-03-27T11:58:45Z

内容

GitHub Actions と Dockerfile を arm64 版に対応させました。
- 確認に利用した DockerHub Repo
  - https://hub.docker.com/r/likemikan/voicevox_engine
- 検証で利用した PR
  - [WIP] add: arm64 support K-shir0/voicevox_engine#1
  - Feature/add arm64 support2 K-shir0/voicevox_engine#2

スクリーンショット・動画など

その他

onnxruntime の arm64-gpu が見当たらなかった cpu のみ対応
GPU 環境がないので gpu 版のイメージが正しく動作するかの検証は出来ていない

K-shir0 · 2023-03-27T19:45:06Z

アーキテクチャごとに workflow の build_args を切り替えることができればもっとスマートだったんでしたが、、TARGETPLATFORM を見て切り替える方法しか見つからなかったです。

Hiroshiba

おーーーー　docker buildにplatformsを指定でき、しかもそれを同じタグにpushできることを知りませんでした！！！

ただこうするとdockerfile内でonnxruntime_urlを作る必要があり、バイナリビルドしている build.yml 側とコードがずれてしまうことに気づきました。
コードを同じような形にするには、１つのjob内で２プラットフォームビルドするのを、２つのjobで１つずつビルドしてpushできる必要がありそうなのですが、可能かご存知でしょうか･･･？

まあでも問題ではないと思うので、頂いたPRの方針で良いかも。
@y-chan さん的にどうでしょう 👀

Hiroshiba · 2023-03-27T20:31:22Z

あ！　すでに質問の部分は答えてくださってました、すみません！
であればarm64ビルドの配布を優先し、今のPRの形で進むのが良いのかなとか思いました！

github-actions · 2023-03-27T20:35:20Z

Coverage Result

Resultを開く

Name	Stmts	Miss
voicevox_engine/init.py	1	0
voicevox_engine/acoustic_feature_extractor.py	75	0
voicevox_engine/dev/synthesis_engine/init.py	2	0
voicevox_engine/dev/synthesis_engine/mock.py	36	2
voicevox_engine/full_context_label.py	162	3
voicevox_engine/kana_parser.py	86	1
voicevox_engine/metas/Metas.py	33	0
voicevox_engine/metas/MetasStore.py	29	14
voicevox_engine/metas/init.py	2	0
voicevox_engine/model.py	150	9
voicevox_engine/mora_list.py	4	0
voicevox_engine/part_of_speech_data.py	5	0
voicevox_engine/preset/Preset.py	12	0
voicevox_engine/preset/PresetError.py	2	0
voicevox_engine/preset/PresetManager.py	81	2
voicevox_engine/preset/init.py	4	0
voicevox_engine/setting/Setting.py	11	0
voicevox_engine/setting/SettingLoader.py	19	0
voicevox_engine/setting/init.py	3	0
voicevox_engine/synthesis_engine/init.py	5	0
voicevox_engine/synthesis_engine/core_wrapper.py	201	159
voicevox_engine/synthesis_engine/make_synthesis_engines.py	57	49
voicevox_engine/synthesis_engine/synthesis_engine.py	130	11
voicevox_engine/synthesis_engine/synthesis_engine_base.py	67	9
voicevox_engine/user_dict.py	144	11
voicevox_engine/utility/init.py	4	0
voicevox_engine/utility/connect_base64_waves.py	37	0
voicevox_engine/utility/mutex_utility.py	10	0
voicevox_engine/utility/path_utility.py	26	8
TOTAL	1398	278

y-chan

現在のPR方針で問題ないと思います...!
特に問題も見当たらなさそうだったので、LGTMとしたいと思います！

K-shir0 · 2023-03-28T00:58:11Z

@Hiroshiba @y-chan

コードを同じような形にするには、１つのjob内で２プラットフォームビルドするのを、２つのjobで１つずつビルドしてpushできる必要がありそうなのですが、可能かご存知でしょうか･･･？

コードを同じようにかつ 2つ job(arm64, amd64) をくっつけるという方針のパターンを一つ考えてみました。
こちらの方が URL を Dockerfile で組み立てる必要がないですし、Dockerfile を変更する必要がないです。

検証 PR
K-shir0#2

job が分かれていい感じになりますが、デメリットもあり dockerhub 側で〇〇-arm64 〇〇-amd64 というイメージが置かれてしまうところです。（中間イメージ的なの）

前の方針で良いとかあれば全然 Revert します

Hiroshiba

おーー　manifestってこういう機能用だったんですね！！
とても勉強になります！！！

頑健な一方、キャッシュを作る必要があるといった課題もあるのかなという感想です。
（まあもともとbuildcacheがありますが）

利点欠点並べてみます。

利点
- URLの差などに頑健
- Dockerfileがそのまま
欠点
- 中間的なdocker imageを作る必要がある
- コード変更量が多くなる
- アーキテクチャとURLに不整合が起こり得る

うーーーーーん！！
すごく難しい判断でどちらも素晴らしいのですが、利点が多そうな前回の方法が良いのかなと思いました･･･ 🙇‍♂️

せっかくPR頂いたのでいろいろコメントしていますが、revertをお願いしてもよろしいでしょうか。。
将来、今のPRの方針でいくこのになった場合の参考になるので、resetではなくrevertだととても嬉しいです…🙇‍♂️

ほんとに申し訳ないです🙇‍♂️

Hiroshiba · 2023-03-28T18:56:13Z

.github/workflows/build-docker.yml

+            base_image: ubuntu:18.04
+            base_runtime_image: ubuntu:18.04
+            voicevox_core_asset_prefix: voicevox_core-linux-x64-cpu
+            onnxruntime_url: https://github.com/microsoft/onnxruntime/releases/download/v1.14.1/onnxruntime-linux-aarch64-1.14.1.tgz


バージョン合わせておくと環境ごとの差異なくせて良いかも？

完全に僕の転記ミスです🙇‍♂️

Hiroshiba · 2023-03-28T18:56:33Z

.github/workflows/build-docker.yml

+            target: runtime-env
+            base_image: ubuntu:18.04
+            base_runtime_image: ubuntu:18.04
+            voicevox_core_asset_prefix: voicevox_core-linux-x64-cpu


arm64かもです

Hiroshiba · 2023-03-28T19:00:05Z

.github/workflows/build-docker.yml

            target: runtime-env
            base_image: ubuntu:20.04
            base_runtime_image: ubuntu:20.04
            voicevox_core_asset_prefix: voicevox_core-linux-x64-cpu
            onnxruntime_url: https://github.com/microsoft/onnxruntime/releases/download/v1.13.1/onnxruntime-linux-x64-1.13.1.tgz
+            platforms: linux/amd64
+          - tag: cpu
+            tag_platform_prefix: arm64


最後につけてるのでpostfixかも。
あと「プットフォームのタグのpostfix」とすると意味が通りやすいので、platform tag postfixにすると他と揃うかも…？（微妙かも……）

Hiroshiba · 2023-03-28T20:12:43Z

あとそういえばnvidia+arm64のペアが省かれていますが、これは基本になるdocker imageがないとかでしょうか 👀

K-shir0 · 2023-03-28T23:34:45Z

あとそういえばnvidia+arm64のペアが省かれていますが、これは基本になるdocker imageがないとかでしょうか 👀

arm 版 onnxruntime リリースが見当たらなかったためです、ドキュメントを確認してもはっきり動くと書いていませんでした。
さらに pip install onnxruntime-gpu でインストールできるパターンがあると知りどのようなファイルが降ってくるか確認したところここでも aarch64-gpu がなかったのでないのかなと判断しました。ここら辺の知見に乏しいのでなにか補足とかあれば頂きたいです。

https://pypi.org/project/onnxruntime-gpu/#files

This reverts commit b41ce05.

K-shir0 · 2023-03-28T23:59:33Z

レビューありがとうございました！！ご指摘の通り、revert しました。

頑健な一方、キャッシュを作る必要があるといった課題もあるのかなという感想です。

manifest に関してはテキストの情報（josn）をくっつけているだけっぽくなので特にキャッシュをしなくても速いといった感想です。(下記画像で37s)

K-shir0 · 2023-03-29T00:03:08Z

一応関連っぽいのでコメント #322

Hiroshiba

LGTM！！

revertすみません、ありがとうございます🙇‍♂️

arm64とcudaが無いのはonnxruntime側でしたか！！
把握できてませんでした、なるほどです。

たしかにmanifest作成はたしかにめちゃめちゃ早そうですね！！
アーキテクチャごとにimageがpushされて、一時ファイルが残るため検索性が落ちちゃうのを気にしていました。
Actions側でimageをまとめてからpushするとかできそうですが、それならplatformで判定する今の形のが綺麗だよなーと…！

Hiroshiba · 2023-03-29T07:36:30Z

マージします！
自動でlatestがdockerビルドされるはずです。

PRありがとうございました、もしよければまたお待ちしています！！
例えばビルド周りでしたら他にもこういうのがあったりします。ご興味あれば…！！

VOICEVOXコアのプロプライエタリ部分をonnxruntimeに逃がして別々にビルド可能にする voicevox_project#24
- onnxruntimeをActionsで全部ビルドするタスク
- （暗号化部分をどう埋め込むかも課題）
docker版もGithub Actionsで実行テストする #564
- dockerビルドしたあとに動くかテストしてないのでちょっと不安
- バイナリビルドはここでテストされてます Github Actionsでビルドしたものをテスト実行する #176

add: arm64 support

ba6523c

K-shir0 requested a review from a team as a code owner March 27, 2023 11:58

K-shir0 requested review from y-chan and removed request for a team March 27, 2023 11:58

fix: format

9da61cc

K-shir0 changed the title ~~add: arm64 support~~ add: DockerHub image support for ARM architecture Mar 27, 2023

K-shir0 changed the title ~~add: DockerHub image support for ARM architecture~~ add: DockerHub で提供されているイメージに arm 版を追加 Mar 27, 2023

Hiroshiba reviewed Mar 27, 2023

View reviewed changes

y-chan approved these changes Mar 28, 2023

View reviewed changes

add: それぞれのアーキテクチャでビルドしそれを統合する形に変更

b41ce05

Hiroshiba reviewed Mar 28, 2023

View reviewed changes

Revert "add: それぞれのアーキテクチャでビルドしそれを統合する形に変更"

6977fdf

This reverts commit b41ce05.

Hiroshiba approved these changes Mar 29, 2023

View reviewed changes

Hiroshiba merged commit 3478a28 into VOICEVOX:master Mar 29, 2023

aoirint mentioned this pull request Apr 24, 2023

Docker: リリースビルド時にlatest（masterブランチ）のレイヤーキャッシュを使うようにしたい #674

Closed

aoirint mentioned this pull request May 3, 2024

docker版/Dockerfileの扱いを考える #482

Open

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

add: DockerHub で提供されているイメージに arm 版を追加 #639

add: DockerHub で提供されているイメージに arm 版を追加 #639

K-shir0 commented Mar 27, 2023 •

edited

Loading

K-shir0 commented Mar 27, 2023 •

edited

Loading

Hiroshiba left a comment

Hiroshiba commented Mar 27, 2023

github-actions bot commented Mar 27, 2023 •

edited

Loading

y-chan left a comment

K-shir0 commented Mar 28, 2023 •

edited

Loading

Hiroshiba left a comment •

edited

Loading

Hiroshiba Mar 28, 2023

K-shir0 Mar 28, 2023

Hiroshiba Mar 28, 2023

Hiroshiba Mar 28, 2023

Hiroshiba commented Mar 28, 2023

K-shir0 commented Mar 28, 2023

K-shir0 commented Mar 28, 2023

K-shir0 commented Mar 29, 2023

Hiroshiba left a comment

Hiroshiba commented Mar 29, 2023

add: DockerHub で提供されているイメージに arm 版を追加 #639

add: DockerHub で提供されているイメージに arm 版を追加 #639

Conversation

K-shir0 commented Mar 27, 2023 • edited Loading

内容

関連 Issue

スクリーンショット・動画など

その他

K-shir0 commented Mar 27, 2023 • edited Loading

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba commented Mar 27, 2023

github-actions bot commented Mar 27, 2023 • edited Loading

Coverage Result

y-chan left a comment

Choose a reason for hiding this comment

K-shir0 commented Mar 28, 2023 • edited Loading

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

Hiroshiba Mar 28, 2023

Choose a reason for hiding this comment

K-shir0 Mar 28, 2023

Choose a reason for hiding this comment

Hiroshiba Mar 28, 2023

Choose a reason for hiding this comment

Hiroshiba Mar 28, 2023

Choose a reason for hiding this comment

Hiroshiba commented Mar 28, 2023

K-shir0 commented Mar 28, 2023

K-shir0 commented Mar 28, 2023

K-shir0 commented Mar 29, 2023

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba commented Mar 29, 2023

K-shir0 commented Mar 27, 2023 •

edited

Loading

K-shir0 commented Mar 27, 2023 •

edited

Loading

github-actions bot commented Mar 27, 2023 •

edited

Loading

K-shir0 commented Mar 28, 2023 •

edited

Loading

Hiroshiba left a comment •

edited

Loading