ソング：pauが重ならないようにする #2056

sigprogramming · 2024-05-04T04:43:17Z

内容

以下を行います。

pauが（呼吸音と歌が）重ならないようにする
- フレーズの先頭の休符（pau）の長さ
  - 以下の手順で算出
    1. 実際の（フレーズの先頭の）休符の長さを計算
      - 1小節目の最初から始まるフレーズの場合は、4分音符の長さを休符の長さとする
    2. 休符の長さが4分音符以下になるようにする
    3. 休符の長さが最小の長さ（0.12秒に設定）以上になるようにする
    4. 休符の長さが~~1フレーム~~1tick以上になるようにする
- フレーズの最後の休符（pau）の長さ
  - 1秒に設定 → 0.5秒に変更
  - 0.15秒のフェードアウトを行うようにしていて、フェードアウト後の0.35秒は無音
ノートのキーのシフトをcreateNotesForRequestToEngine内で行っていたので、shiftKeyOfNotesで行うように変更
リファクタリング

その他

Hiroshiba

ほぼLGTMです！！

だいぶ細かいコメントばかりしちゃいましたが、クリティカルなのはなかったと思います！
合図いただければマージします！

src/store/singing.ts

Hiroshiba · 2024-05-04T07:53:25Z

あ、そういえば心なしか品質が上がって聞こえました。
たぶんフレーズ前の休符の時間が正確にわかるようになってリズミカルになりやすくなったんじゃないかなとか思いました。
だとしたらフレーズ後休符の時間も正確にしたらより良くなるのかも･･･？

sigprogramming · 2024-05-06T06:07:12Z

伴奏と合わせてみたのですが、フレーズのタイミングがずれてるかも…
バグが無いか確認してみます…

sigprogramming · 2024-05-07T12:12:32Z

伴奏の方がずれてました…！処理は問題なさそうです

Hiroshiba

LGTM！！！

変更ありがとうございます！！！

やっぱりかなり品質が上がって聞こえる気がします！！
前のpauの長さを調整していますが、もしかしたら後ろの長さも調整すると学習データに近くなって綺麗に歌えるようになるのではとかちょっと思いました！
人は後ろにあるpau、つまり休符がどれぐらいの長さかを想像しながら歌うので、同じく機械学習モデルも再現しようとするから、後ろの休符の長さをちゃんと与えた方がうまく歌えるのかもと･･･！！！

Hiroshiba · 2024-05-13T16:59:16Z

src/store/singing.ts

+        phraseFirstRestDuration = Math.max(
+          phraseFirstRestDuration,
+          phraseFirstNote.position -
+            secondToTick(
+              tickToSecond(phraseFirstNote.position, tempos, tpqn) -
+                phraseFirstRestMinDurationSeconds,
+              tempos,
+              tpqn,
+            ),
+        );


ちょっと変なこと言うかもなんですか、ここって直接↓じゃ駄目な感じでしょうか 👀

phraseFirstRestDuration = Math.max( phraseFirstRestDuration, secondToTick(phraseFirstRestMinDurationSeconds), );

曲中のテンポ変更を考慮してこの形になっています！
（長さをそのまま変換せず、開始位置を計算して、終了位置から開始位置を引くことで長さを求めています）

なーーーるほどです！！！
連続時間を離散時間（tick・frame）にするとき、連続時間の長さを離散時間の長さにするときはこうする、みたいな概念図があると分かりやすそうですね･･･！！！！

Hiroshiba · 2024-05-13T16:59:50Z

src/store/singing.ts

+        // 1tick以上にする
+        phraseFirstRestDuration = Math.max(1, phraseFirstRestDuration);


この上の処理で最小の長さ以上になってるから不要かも？
（phraseFirstRestMinDurationSeconds=0を想定する場合必要かも）

phraseFirstRestMinDurationSecondsの単位は秒で、TPQNとテンポからtickに変換していて1tick以上になることを保証できないので、この処理を行っています！

あーーーーーーなるほどです！！！！！
コメントから推察できた気がしますね。。すみませんありがとうございます！！

Hiroshiba · 2024-05-13T17:04:22Z

src/store/singing.ts

+      const searchPhrases = async (
+        notes: Note[],
+        tempos: Tempo[],
+        tpqn: number,
+        phraseFirstRestMinDurationSeconds: number,
+      ) => {


（別にこのままでも大丈夫なのですが）
searchPhrasesにこの秒数を渡すの不思議かもと思いました！

const quarterNoteDuration = getNoteDuration(4, tpqn);と同様に0.12というマジックナンバーも、定数として関数内で宣言するのはどうでしょう。
あるいは定数なので定数が定義されてるファイルに書いてimportするか、あるいはもうRENDER関数の一番最初に定義して使います形もありかも。

確かに、実行中に変更される値ではないので定数にして良さそうです。

関数の名前も、generatePhrasesの方が合ってるかも…？

関数の名前も、generatePhrasesの方が合ってるかも…？

あっ　ほんとですね！！
キャッシュを持ってることも示唆するのであればfindOrGenerateとかもありかも。長いかもですが。。

Hiroshiba · 2024-05-13T17:08:08Z

src/store/singing.ts

+        const firstRestStartSeconds = tickToSecond(
+          notes[0].position - firstRestDuration,
+          tempos,
+          tpqn,
+        );
+        const firstRestStartFrame = Math.round(
+          firstRestStartSeconds * frameRate,
+        );
+        const firstRestEndSeconds = tickToSecond(
+          notes[0].position,
+          tempos,
+          tpqn,
+        );
+        const firstRestEndFrame = Math.round(firstRestEndSeconds * frameRate);


もしかしたらticksToFrame関数を作っても良いかも･･･？
（どちらでも良さそう）

Hiroshiba · 2024-05-13T17:22:35Z

src/store/singing.ts

+      const calcPhraseFirstRestDuration = (
+        prevPhraseLastNote: Note | undefined,
+        phraseFirstNote: Note,
+        phraseFirstRestMinDurationSeconds: number,
+        tempos: Tempo[],
+        tpqn: number,
+      ) => {


パラメータ多くなってきたのでこの辺の値を指定し間違えて発見しづらいバグに繋がったりしやすいかもと感じました！
こんな感じで引数の型指定すると引数名を書く形で関数呼び出しできるので間違いづらくなるかも。
（その代わり引き数の型がややこしくなってしまうのですが。。）

Suggested change

const calcPhraseFirstRestDuration = (

prevPhraseLastNote: Note | undefined,

phraseFirstNote: Note,

phraseFirstRestMinDurationSeconds: number,

tempos: Tempo[],

tpqn: number,

) => {

const calcPhraseFirstRestDuration = ({

prevPhraseLastNote,

phraseFirstNote,

phraseFirstRestMinDurationSeconds,

tempos,

tpqn,

}: {

prevPhraseLastNote: Note | undefined,

phraseFirstNote: Note,

phraseFirstRestMinDurationSeconds: number,

tempos: Tempo[],

tpqn: number,

}) => {

Hiroshiba · 2024-05-13T17:30:36Z

あ、いくつかコメントしていますがコンフリクト解消してマージさせていただきたいと思います！！

Hiroshiba · 2024-05-13T18:08:41Z

@sigprogramming ちょっと突発的な思いつきで相談が･･･！

ニーズのある機能が実装されたときにSNSで言及しておりまして、今回のプルリクエストもツイートしたいと思っています。
https://twitter.com/search?q=%23VOICEVOX%E9%96%8B%E7%99%BA%E7%8A%B6%E6%B3%81
もしよかったらそこで @sigprogramming さんのXアカウントをツイート文に含めて紹介させていただきたいのですが、構わないでしょうか･･･？

こんな感じを予定しています･･･！

#VOICEVOX開発状況 
ソングで、休符のたびに聞こえがちだった呼吸音が発生しにくくなりました🎉（今後のアップデートで実装されます。）
【開発者: @m_sig_tw】
https://github.com/VOICEVOX/voicevox/pull/2056

sigprogramming · 2024-05-14T13:05:53Z

紹介していただいて大丈夫です！

Hiroshiba · 2024-05-16T19:23:14Z

ありがとうございます！！　今日の昼ぐらいにポストさせていただこうと思います！！

pauが重ならないようにした、リファクタリング

1c42f6f

sigprogramming requested a review from a team as a code owner May 4, 2024 04:43

sigprogramming requested review from Hiroshiba and removed request for a team May 4, 2024 04:43

Hiroshiba reviewed May 4, 2024

View reviewed changes

sigprogramming added 7 commits May 5, 2024 06:15

フレーズの最後の休符の長さを0.5秒に変更

5523c8c

コメントの修正、フレーズ先頭の休符の長さの算出を関数化

dc69018

stringからPhraseSourceHashに変更

4d41b27

firstRestDurationとlastRestDurationSecondsをまとめた

59e84f4

コメントを追加、muteLastPauSectionのfadeOut周りを修正

f74e1d3

コメントを追加

64049a9

リクエスト用のノーツを使いまわすようにした

121463c

sigprogramming requested a review from Hiroshiba May 7, 2024 12:12

Hiroshiba approved these changes May 13, 2024

View reviewed changes

Merge remote-tracking branch 'upstream/main' into pr/sigprogramming/2056

21e7cc4

Hiroshiba merged commit 3ecddbf into VOICEVOX:main May 13, 2024
9 checks passed

sigprogramming deleted the fix_overlapping_pau branch May 20, 2024 10:01

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

ソング：pauが重ならないようにする #2056

ソング：pauが重ならないようにする #2056

sigprogramming commented May 4, 2024 •

edited

Loading

Hiroshiba left a comment

Hiroshiba commented May 4, 2024

sigprogramming commented May 6, 2024

sigprogramming commented May 7, 2024

Hiroshiba left a comment

Hiroshiba May 13, 2024

sigprogramming May 14, 2024

Hiroshiba May 16, 2024

Hiroshiba May 13, 2024

sigprogramming May 14, 2024

Hiroshiba May 16, 2024

Hiroshiba May 13, 2024

sigprogramming May 14, 2024

Hiroshiba May 16, 2024

Hiroshiba May 13, 2024

Hiroshiba May 13, 2024

Hiroshiba commented May 13, 2024

Hiroshiba commented May 13, 2024

sigprogramming commented May 14, 2024

Hiroshiba commented May 16, 2024

		// 1tick以上にする
		phraseFirstRestDuration = Math.max(1, phraseFirstRestDuration);

ソング：pauが重ならないようにする #2056

ソング：pauが重ならないようにする #2056

Conversation

sigprogramming commented May 4, 2024 • edited Loading

内容

関連 Issue

その他

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba commented May 4, 2024

sigprogramming commented May 6, 2024

sigprogramming commented May 7, 2024

Hiroshiba left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba commented May 13, 2024

Hiroshiba commented May 13, 2024

sigprogramming commented May 14, 2024

Hiroshiba commented May 16, 2024

sigprogramming commented May 4, 2024 •

edited

Loading