ソング：音量が正しく生成されていないのを修正

[sigprogramming]

内容

音量生成時に音域調整の処理（noteのkeyのシフト）が行われて、正しく音量が生成されていないのを修正します。
また、歌い方生成直後のscaleGuideVolumeは行う必要はないので、削除します。

スクリーンショット・動画など

VOICEVOX小夜、音域調整-3、声量調整-4
0.18.1→このPRの順です。

default.mp4

その他

たぶんこれで0.18.1以前と同じ声量に戻ったはず

[Hiroshiba]

ありがとうございます！！

もしかしたらまだロジック異なってるかも…？

ノートシフト→f0生成→volume生成→f0シフト→volumeシフト→合成
だったのが
ノートシフト→f0生成→f0シフト→volume生成→volumeシフト→合成
になってるかもです！！
声が低い龍星くんあたりで試すと顕著かも…？

f0シフトも遅らせればとりあえず合いそうですが…次はキャッシュ周りが大丈夫か不安になってきますね…。

[sigprogramming]

@Hiroshiba
なるほどです！！
f0シフトを遅らせるとピッチがノートとずれて表示されてしまうと思います…

違いが発生しているのは音量生成のところなので、
ノートシフト→f0生成→f0シフト→もう一回f0シフト→volume生成→volumeシフト→合成
とするとロジックが合うかもです。

一旦これでやってみます…！

[Hiroshiba]

@sigprogramming ありがとうございます！！
（実際手元でやってみたらピッチがずれちゃいました。。）

[sigprogramming]

音量生成用にクエリをコピーし、もう一度f0シフトして音量生成する形にしました。
これで同じになったはず……

音声はこんな感じです（音量生成の実装前→このPRの順です）
VOICEVOX青山龍星、音域調整-22、声量調整+2

2.mp4

[sigprogramming]

データの流れ（音域調整-3、声量調整-4の場合）を図にしてみました。
（カッコ内の数字は、それが実際にどれくらいシフトされているかを表しています）

flowchart TB

notes1[ノーツ]
notes2[ノーツ（+3）]
notes3[ノーツ（+3）]
guideStyle[歌い方スタイル]
voiceStyle[歌声スタイル]
timing[音素タイミング]
pitch1[ピッチ（+3）]
pitch2[ピッチ]
pitchEditData[ピッチ編集データ]
editedPitch1[ピッチ編集を適用したピッチ]
editedPitch2[ピッチ編集を適用したピッチ（+3）]
volume1[ボリューム]
volume2[ボリューム（-4）]
audio[音声]

keyRange[音域調整]
volumeRange[声量調整]

fetchQuery[/sing_frame_audio_query\]
inferenceVolume[/sing_frame_volume\]
synthesis[/frame_synthesis\]

notes1 ---> notes2
keyRange --> notes2

notes2 --> fetchQuery
guideStyle --> fetchQuery

fetchQuery --> timing

fetchQuery --> pitch1

pitch1 --> pitch2
keyRange --> pitch2

pitch2 --> editedPitch1
pitchEditData --> editedPitch1

editedPitch1 --> editedPitch2
keyRange --> editedPitch2

keyRange --> notes3
notes1 --------> notes3

timing --> inferenceVolume
editedPitch2 --> inferenceVolume
guideStyle --> inferenceVolume
notes3 --> inferenceVolume

inferenceVolume --> volume1

volume1 --> volume2
volumeRange --> volume2

voiceStyle --> synthesis
timing --> synthesis
editedPitch1 --> synthesis
volume2 --> synthesis

synthesis --> audio

Loading

[Hiroshiba]

LGTM！！

ちょっとコードは追いきれてないのですが、実際に試してみて良さそうだったのを確認しました！

図もありがとうございます！！
今singingVoicesとsingingVoiceCachesは同じ型になっていて、どっちがどっちなのか用途が分かりづらい形になってることに気づきました。
このあたりも１行コメントあるとよりわかりやすいかもです！