CIにE2Eテストを追加する

[so-c]

内容

#863 で導入したPlaywrightによるE2EテストをCI（GitHub Actions）でも動くようにする

Pros 良くなる点

用意したテストの範囲でmainブランチへのエンバグを予防できる

Cons 悪くなる点

テストがFlakyだと開発の妨げになるリスクがある

実現方法

Continuous Integration | Playwright, ヘッドレスCIシステムでのテスト (Travis CI, Jenkins) | Electronを参考にGitHub Actionsに追加する

テストでのVOICEVOX_ENGINE, 音声ライブラリの扱いが難しそう。特に後者

その他

このIssueでは仕組みの実現にしぼって、どんなE2Eテストを用意するかは別に考えた方がよさそう。 #182 も参照

[so-c]

so-c#19 で取り組み始めのご連絡。

[so-c]

CIで製品版のエンジンは使えないはずなので、voicevox_engineのモック python run.py --enable_mockをCIで立ち上げようとしています。しかし、現在の実装は、外からこの形に持っていけず background.tsの書き換えが必要です。

• .envで"executionFilePath": "/Path/To/python.exe"
• background.ts のengineProcessをspawnさせるところ。渡したい引数をハードコーディングすると

  const engineProcess = spawn(enginePath, ["run.py", "--enable_mock"], {
    cwd: path.dirname(
      "/Path/to/voicevox_engine/run.py"
    ),
  });

直し方はまだ考えていないのですが、手を入れると #429 #609 に影響しそうなのでご相談。なおモックengineを起動するには

• enginPathとcwdが同じdirectoryにある前提を置いている
• argsが const args = useGpu ? ["--use_gpu"] : []; の2択
  この2点を変える必要がありそうです。469行目～です

voicevox/src/background.ts

Line 469 in b35ddc8

// エンジンプロセスの起動

あるいはCIではexeを使う手もありそうです。その場合、engineからexeを持ってくるActionsになりそうですがこちらは未検証。

[Hiroshiba]

python経由で実行する場合に必要な箇所の洗い出し、ありがとうございます！
そちらの2箇所の変更、たしかに必要だと感じました。

まあでも、CIでexeを取ってきてしまっても良いのかなと思いました！！
どちらでも…！

[Hiroshiba]

VOICEVOXエディタ側に仕様変更が入ってテストしやすくなりました！！

.envでexecutionEnabled: falseとすると、run.exeを起動しようとせずに始まります。
これを使えばpython run.py --enable_mockで起動したモックエンジンを使えると思います！

[Hiroshiba]

• 設定などが保存されるuserDataDirは毎回空の方が良さそう
  • キャッシュは残してもいいけどconfig.jsonやvvpp-enginesは消したい
  • テスト時にtearDownで消す
  • あるいは環境変数などを用いてuserDataDirを外部から刺せるようにする

[Hiroshiba]

• ブラウザでEditorが動作する状態にする #1345

がマージされました 🎉
e2eテストが書きやすくなったはず？

[Hiroshiba]

• Fix: e2eテストが動かないのを修正  #1276

で解決されていたのでcloseします！