Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

VOICEVOXにスタイル音声合成を追加する #229

Closed
14 of 17 tasks
Hiroshiba opened this issue Sep 14, 2021 · 5 comments
Closed
14 of 17 tasks

VOICEVOXにスタイル音声合成を追加する #229

Hiroshiba opened this issue Sep 14, 2021 · 5 comments

Comments

@Hiroshiba
Copy link
Member

Hiroshiba commented Sep 14, 2021

VOICEVOXには四国めたん・ずんだもんの2キャラクターがいますが、実はそれぞれにちょっとスタイルの違う感情音声が3つずつあります。
その感情音声(スタイル)の、まあまあ良い機械学習モデルができたので、バージョン0.6.0か0.7.0のアップデートで迎えたいと思っています。

スタイル音声はこれくらい変わります。上から順に四国めたんのノーマル・あまあま・セクシー・ツンツン、ずんだもんのノーマル・あまあま・セクシー・ツンツンです。

output.mp4

(今のVOICEVOXの音声は四国めたん・ずんだもんのあまあまです。)

このタイミングで、ソフトウェア・エンジン・コアに散らばっているキャクター情報を、こうまとめていきたいです。

  • エンジンはキャラクター情報を一切持たず、コアの情報を素通りさせます
  • ソフトウェアは最低限の情報(名前やサムネ画像)だけを持ちます
  • コアが持つ情報とソフトウェアが持つ情報は、IDによって決定します

変更したい箇所は次のとおりです。

(見逃しがあればご指摘ください)

@Hiroshiba
Copy link
Member Author

Hiroshiba commented Sep 21, 2021

VOICEVOX 0.6.0から、speakers情報がこう変わっているはずです。

[
  {
    "name": "四国めたん",
    "styles": [{ "name": "ノーマル", "id": 0 }],
    "speaker_uuid": "7ffcb7ce-00ec-4bdc-82cd-45a8889e43ff",
    "version": "0.5.4"
  },
  {
    "name": "ずんだもん",
    "styles": [{ "name": "ノーマル", "id": 1 }],
    "speaker_uuid": "388f246b-8c41-4ac1-8e2d-5d79f3ff56d9",
    "version": "0.5.4"
  }
]

このspeaker_uuidをソフトウェア側にも持たせて、スタイル名などの対応を取るのが良いかなと思っています。

@y-chan
Copy link
Member

y-chan commented Sep 23, 2021

情報をFastAPIのModelに入力していく(OpenAPI用の型付け)をとりあえず引き受けようかなと思います。

@Hiroshiba
Copy link
Member Author

@y-chan ありがとうございます!よろしくおねがいします!!

@Hiroshiba
Copy link
Member Author

Hiroshiba commented Oct 8, 2021

今日10/9の昼頃にスタイル音声合成が含まれるバージョン(0.7.0)をプレリリースしたいのですが、必須のタスクが残っているので協力を仰ぎたいです。
(といってもありがたいことに残るタスクはマイグレーションだけです。実装してくださった方、本当にありがとうございます。)

0.7.0には必須ではないが必要なもの(0.8.0か0.7.1に含めたい)も0.7.0に近い日程で出したいのですが、まだできていないのでこちらも協力を仰ぎたいです。
こちらの機能を実装するのは、音声スタイルは面白いから使ってほしい機能である一方、過去のボイロなどを見るに利用率がものすごく低いのをなんとかしたいためです。
瞬間的に盛り上がるのはスタイル追加のタイミングだと思うので、近い日程で出せればより盛り上がると考えています。

@Hiroshiba
Copy link
Member Author

タスクが残っていますが、これは次のマイルストーン

CharactorInfoをエンジンから取って来るようにすると同じなので、こちらのissueは閉じたいと思います。
難しいタスクでしたが達成できてよかったです!また次も頑張りましょう・・・!

@Hiroshiba Hiroshiba unpinned this issue Nov 2, 2021
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

2 participants