マルチトラック：最終調整 #2176

sevenc-nanashi · 2024-07-23T21:53:38Z

内容

shouldPlayTracksの返り値をSetにします。
- ついでにテストも足します。
マルチトラックを実験的機能にします。
overlappingNoteIdsをgetterにします。

スクリーンショット・動画など

その他

（なし）

src/components/Dialog/SettingDialog/SettingDialog.vue

ついでに[update snapshots]

Hiroshiba

ほぼLGTMです！！　変更ありがとうございます！！

ちょっと細かい部分が気になったのでコメントしてみました。
主にコーディングの提案です。

src/components/Dialog/ImportSongProjectDialog.vue

src/components/Dialog/SettingDialog/ToggleCell.vue

src/components/Dialog/SettingDialog/SettingDialog.vue

src/sing/domain.ts

src/store/command.ts

src/store/singing.ts

tests/unit/domain/sing/shouldPlayTracks.spec.ts

Co-authored-by: Hiroshiba <hihokaruta@gmail.com>

sevenc-nanashi · 2024-07-24T10:33:10Z

反映しました。

sigprogramming · 2024-07-24T11:57:39Z

以下を行うとエラーが発生しました、overlappingNoteIdsが更新されてないかも…？

トラック1にノートを追加
トラック2を追加
トラック2のシンガーを変更
トラック2にノートを追加
連続でUndo（Ctrl+Z押しっぱなし）

sevenc-nanashi · 2024-07-24T12:19:10Z

どうしましょう、singingStorePluginでoverlappingNoteInfosを更新する...？
それかgetOverlappingNoteIdsが十分速くなったので毎回取るとか

sigprogramming · 2024-07-24T12:34:48Z

@sevenc-nanashi
調べてみました、renderが走っている最中にoverlappingNoteIdsが更新されてエラーになっているっぽかったです。
なので、// レンダリング中に変更される可能性のあるデータをコピーするのところでoverlappingNoteIdsもコピーして、コピーしたoverlappingNoteIdsを使うようにすればエラーは出なくなると思います。

sevenc-nanashi · 2024-07-24T13:00:34Z

修正しました。

sigprogramming · 2024-07-24T14:38:48Z

トラック2を削除して、削除をUndoすると、トラック2が再生されなくなる不具合を見つけました。
AudioNodeの接続が切れてるかも…？

sevenc-nanashi · 2024-07-25T13:09:12Z

RENDERでtrackChannelStripsをいじるようにしました。既存のwatch用のはコメントだけのこして空にしてます、消しても良さそうではある

sevenc-nanashi · 2024-07-26T15:12:05Z

多分治ったと思います。

sigprogramming · 2024-07-26T16:09:45Z

domain.tsのgetNumMeasuresのnotes引数はソートされているノーツを想定しています（ドキュメントを書いていませんでした…すみません…）が、ソートされていないノーツをSEQUENCER_NUM_MEASURESで渡しているかもです。
ソートしたノーツを渡すようにするか、getNumMeasuresの引数をnotesからtracksに変更するのが良いかなと思います。

Hiroshiba

すみません、ちょっと細かいところなのですがコメントしました！

src/store/singing.ts

src/sing/domain.ts

sigprogramming · 2024-07-27T14:11:52Z

src/store/singing.ts

+        // trackChannelStripsを同期する
+        const shouldPlays = shouldPlayTracks(tracks);
+        for (const [trackId, track] of tracks) {


今の実装だと「trackChannelStripsを同期する」と「フレーズを更新する」がセットで（連続して）実行される必要があり、「trackChannelStripsを同期」の直後にreturnやthrowを行うとたぶんバグるので、そのことをコメントで書いておいた方が良いかもです。

正直よくわかってないです（trackChannelStripsの同期を忘れたら死ぬならまだしも）

横槍すみません！

グローバル変数として定義されてるtrackChannelStripsは現状RENDER内でしか使ってないので、多分途中でreturnなどが実行されても問題ないはず･･････？
（offlineRender側は現状trackChannelStripsを別のローカル変数を定義して独自に同期を取ってるので）

以下のケースを想定しています！

トラック2にノートを打ち込んでrender完了を待つ

トラック2を削除

renderが実行され、「trackChannelStripsを同期する」でChannelStripが削除される

「フレーズを更新する」が完了する前にreturnやthrowを行ってrenderを終了

「トラック2を削除」をUndo

renderが実行され、「trackChannelStripsを同期する」でChannelStripが追加される

続けて「フレーズを更新する」が実行されるが、フレーズは変わっていないので音声がChannelStripに接続されず、トラック2が再生されなくなる

実際に以下のようなコードで試したところ、トラック2が再生されなくなりました。

なーーーーーーるほどです！！！！！！！
問題意識がとてもよくわかりました、ありがとうございます！！！！

各phraseの音声をchannelStripにくっつける処理が、phraseがキャッシュされている場合に行われないのが原因･･･？
気づきませんでした、申し訳ないです。。

この解決、ちょっととんでもなく難しいですね･･･。全く思いつかない･･･。
ChannelStripは削除せずキャッシュしておく手がありそうですが、ちょっとワーキングアラウンド感がありますね･･･。

いやーーーだいぶ考えたんですがちょっと解決法は思いつかなかったです。。
#2176 (comment) でも @sigprogramming さんがおっしゃってましたが、音声のグラフをいじるのはRENDERと分けるとか、そうじゃなくても結構がっつり手を入れる必要がありそうに感じました。。
コメント書いておくのに賛成です。。

AudioPlayerとにtrackIdとかを持たせてもう一回接続を張り直すようにする...？なかなか面倒そうなやつですねぇ

とりあえずコメントを追加しました・

src/store/singing.ts

Co-authored-by: Sig <sigprogrammer@gmail.com>

sigprogramming · 2024-07-28T09:54:19Z

voicevox/src/store/singing.ts

Lines 696 to 705 in e57296e

    
           SELECT_ALL_NOTES_IN_SELECTED_TRACK: { 
        
             mutation(state) { 
        
               const selectedTrack = getSelectedTrackWithFallback(state); 
        
               const allNoteIds = selectedTrack.notes.map((note) => note.id); 
        
               state._selectedNoteIds = new Set(allNoteIds); 
        
             }, 
        
             async action({ commit }) { 
        
               commit("SELECT_ALL_NOTES_IN_SELECTED_TRACK"); 
        
             }, 
        
           },

selectedTrackIdはアプリケーションレイヤーが持つ状態ではなくビュー（プレゼンテーション）レイヤーが持つ状態なので、actionで使用しない方が良いかもです。
trackIdを渡す形にした方が良いかも。

src/store/singing.ts

sigprogramming · 2024-07-28T12:43:57Z

プロジェクトを読み込んだ時に歌声のレンダリングが走らなくなってるかも。
（「最近使ったプロジェクト」と「インポート」から読み込み時に確認しました）

sevenc-nanashi · 2024-07-28T22:39:35Z

~~あれ、再現できませんね…~~再現できたので直しました。

sigprogramming

LGTM！！

トラック1とトラック2にノートを追加してトラック2のピッチを編集した後にUndoするとSequencerPitch.vueでエラーが発生しますが、おそらく #1961 で実装した処理に問題があってそれで発生していると思うので、修正PRを出そうと思います…！

Hiroshiba

（再度）LGTM！！！

現状で気になった点とかはちょっとこちらで変えさせていただきます！

マルチトラックの実装、長期間ありがとうございました！！！
@sevenc-nanashi さんが実装してくださったということで、X でポストさせていただこうと思います！
とりあえず「実験的機能として追加します」みたいな感じで。

ぶっちゃけ過去の経験上、この規模と期間だと多分バグが２～３個ほど残っていると思います！！！
リリースまでにいろいろ試しまくって見つけたいところではあります！
がまあ結構難しいので、報告され次第すぐ直せればいいのかなと思ってます！
なのでリリース後もちょっと慌ただしいかもなのですが、もしよかったらお付き合いいただけると･･････！！ 🙏

src/components/Dialog/SettingDialog/SettingDialog.vue

Hiroshiba · 2024-07-29T16:16:34Z

src/components/Dialog/SettingDialog/SettingDialog.vue

+
+const setMultiTrack = (enableMultiTrack: boolean) => {
+  changeExperimentalSetting("enableMultiTrack", enableMultiTrack);
+  // 無効化するときはUndo/Redoをクリアする


こーーーーーーーーれってなんででしたっけ。。。
一応ここのコメントにメモだけ残しておきたく。。

Hiroshiba · 2024-07-29T16:20:53Z

src/components/Sing/ScoreSequencer.vue

      <SequencerPhraseIndicator
-        v-for="phraseInfo in phraseInfos"
+        v-for="phraseInfo in phraseInfosInOtherTracks"
        :key="phraseInfo.key"
        :phraseKey="phraseInfo.key"
-        :isInSelectedTrack="phraseInfo.trackId === selectedTrackId"
+        :isInSelectedTrack="false"
+        class="sequencer-phrase-indicator"
+        :style="{
+          width: `${phraseInfo.width}px`,
+          transform: `translateX(${phraseInfo.x - scrollX}px)`,
+        }"
+      />
+      <SequencerPhraseIndicator
+        v-for="phraseInfo in phraseInfosInSelectedTrack"
+        :key="phraseInfo.key"
+        :phraseKey="phraseInfo.key"
+        isInSelectedTrack


これ2つに分けた理由って何でしたっけ。
phraseInfosInOtherTracksとphraseInfosInSelectedTrackをtemplateの中でくっつけた後
:isInSelectedTrack="phraseInfo.trackId === selectedTrackId"で判定させる手もありそう。

なんか色々あった結果そういうこともできるようになったんでしたっけ。
それとも意図あってこうなったんでしたっけ。

Hiroshiba · 2024-07-29T16:22:41Z

src/sing/domain.ts

+    const noteEndPositions = notes.map((note) => note.position + note.duration);
+    const lastNoteEndPosition = Math.max(...noteEndPositions);


（別にこれでもいいんですが）
たぶんreduceでmax書けるはず。

src/store/singing.ts

Hiroshiba · 2024-07-29T16:32:34Z

src/store/singing.ts

        commit("COMMAND_SET_TRACK_MUTE", { trackId, mute });
+        dispatch("RENDER");


この設計方針、もしまとまりそうだったらissueに文章化しても良いかも？

sevenc-nanashi added 4 commits July 24, 2024 06:21

Change: shouldPlayTracksがSetを返すようにする

abdd921

Change: 実験的機能に隔離

009b89a

Change: 条件を修正

e59454e

Code: コメントを追加

5dc4c01

sevenc-nanashi requested a review from a team as a code owner July 23, 2024 21:53

sevenc-nanashi requested review from Hiroshiba and removed request for a team July 23, 2024 21:53

sevenc-nanashi commented Jul 23, 2024

View reviewed changes

src/components/Dialog/SettingDialog/SettingDialog.vue Show resolved Hide resolved

sevenc-nanashi and others added 4 commits July 24, 2024 07:10

Add: TODOを追加

c71d9c8

ついでに[update snapshots]

（スナップショットを更新）

47c9c28

Change: トグルの変数を変える

4ab7c67

Change: 抜け穴をふさぐ

3af1168

Hiroshiba reviewed Jul 24, 2024

View reviewed changes

sevenc-nanashi and others added 6 commits July 24, 2024 17:25

Delete: セーフガードをなくす

fd9e256

Co-authored-by: Hiroshiba <hihokaruta@gmail.com>

Change: solo/muteの代入方法を変える

8da3ae5

Co-authored-by: Hiroshiba <hihokaruta@gmail.com>

Change: CLEAR_UNDO_HISTORYにする

a3ee7fc

Change: disable周りを揃える

a8db0ca

Change: number | nullにする

a31cabe

Change: findIndicesを消す

9dc0d9d

sevenc-nanashi requested a review from Hiroshiba July 24, 2024 10:33

Change: テキストをほんのり変える

f801a18

Fix: overlappingNoteIdsをコピーする

0d9e6eb

Change: RENDERでChannelStripを更新するようにする

0792525

sevenc-nanashi added 2 commits July 27, 2024 00:02

Fix: 合成状態の順序を修正

93e5a4f

Fix: ピッチが見えなかったのを修正

4b9806f

sevenc-nanashi added 2 commits July 27, 2024 08:36

Change: toSortedをかける

c24d5d7

Change: SET_TRACKまわりを変える

73c3411

Hiroshiba reviewed Jul 27, 2024

View reviewed changes

src/store/singing.ts Outdated Show resolved Hide resolved

src/store/singing.ts Outdated Show resolved Hide resolved

src/sing/domain.ts Show resolved Hide resolved

sevenc-nanashi added 3 commits July 27, 2024 22:06

Fix: ソートするものが間違ってた

15409f9

Delete: watch周りのやつを削除

32dd8fb

Change: 変数名を変える

4c27d3e

sigprogramming reviewed Jul 27, 2024

View reviewed changes

sevenc-nanashi added 2 commits July 27, 2024 23:14

Delete: 使われてない型を削除

42710c6

Code: 注意を追加

40741d9

sigprogramming reviewed Jul 28, 2024

View reviewed changes

src/store/singing.ts Outdated Show resolved Hide resolved

Code: コメントを変える

619c045

sigprogramming reviewed Jul 28, 2024

View reviewed changes

src/store/singing.ts Outdated Show resolved Hide resolved

Code: コメントをいい感じにする

6aca4bd

Co-authored-by: Sig <sigprogrammer@gmail.com>

sevenc-nanashi added 2 commits July 28, 2024 20:58

Change: SELECT_ALL_NOTES_IN_SELECTED_TRACK -> SELECT_ALL_NOTES_IN_TRACK

2fff4d5

Fix: 挙動を揃える

65525fc

sigprogramming reviewed Jul 28, 2024

View reviewed changes

src/store/singing.ts Outdated Show resolved Hide resolved

Fix: ガバ

6645f5c

Fix: Render忘れ

80d9ab7

sigprogramming approved these changes Jul 29, 2024

View reviewed changes

Hiroshiba approved these changes Jul 29, 2024

View reviewed changes

Apply suggestions from code review

a3db2c2

Hiroshiba merged commit 2c87e5e into VOICEVOX:project-multitrack Jul 29, 2024
8 checks passed

sigprogramming mentioned this pull request Jul 30, 2024

Fix：フレーズの更新を行っているところの処理に問題があったので修正 #2188

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

マルチトラック：最終調整 #2176

マルチトラック：最終調整 #2176

sevenc-nanashi commented Jul 23, 2024 •

edited

Loading

Hiroshiba left a comment

sevenc-nanashi commented Jul 24, 2024

sigprogramming commented Jul 24, 2024

sevenc-nanashi commented Jul 24, 2024

sigprogramming commented Jul 24, 2024 •

edited

Loading

sevenc-nanashi commented Jul 24, 2024

sigprogramming commented Jul 24, 2024 •

edited

Loading

sevenc-nanashi commented Jul 25, 2024

sevenc-nanashi commented Jul 26, 2024

sigprogramming commented Jul 26, 2024

Hiroshiba left a comment

sigprogramming Jul 27, 2024

sevenc-nanashi Jul 27, 2024

Hiroshiba Jul 27, 2024

sigprogramming Jul 27, 2024 •

edited

Loading

Hiroshiba Jul 27, 2024 •

edited

Loading

sevenc-nanashi Jul 27, 2024 •

edited

Loading

sevenc-nanashi Jul 27, 2024

sigprogramming commented Jul 28, 2024

sigprogramming commented Jul 28, 2024 •

edited

Loading

sevenc-nanashi commented Jul 28, 2024 •

edited

Loading

sigprogramming left a comment

Hiroshiba left a comment

Hiroshiba Jul 29, 2024

Hiroshiba Jul 29, 2024

Hiroshiba Jul 29, 2024

Hiroshiba Jul 29, 2024

		const noteEndPositions = notes.map((note) => note.position + note.duration);
		const lastNoteEndPosition = Math.max(...noteEndPositions);

		commit("COMMAND_SET_TRACK_MUTE", { trackId, mute });
		dispatch("RENDER");

マルチトラック：最終調整 #2176

マルチトラック：最終調整 #2176

Conversation

sevenc-nanashi commented Jul 23, 2024 • edited Loading

内容

関連 Issue

スクリーンショット・動画など

その他

Hiroshiba left a comment

Choose a reason for hiding this comment

sevenc-nanashi commented Jul 24, 2024

sigprogramming commented Jul 24, 2024

sevenc-nanashi commented Jul 24, 2024

sigprogramming commented Jul 24, 2024 • edited Loading

sevenc-nanashi commented Jul 24, 2024

sigprogramming commented Jul 24, 2024 • edited Loading

sevenc-nanashi commented Jul 25, 2024

sevenc-nanashi commented Jul 26, 2024

sigprogramming commented Jul 26, 2024

Hiroshiba left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

sigprogramming Jul 27, 2024 • edited Loading

Choose a reason for hiding this comment

Hiroshiba Jul 27, 2024 • edited Loading

Choose a reason for hiding this comment

sevenc-nanashi Jul 27, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

sigprogramming commented Jul 28, 2024

sigprogramming commented Jul 28, 2024 • edited Loading

sevenc-nanashi commented Jul 28, 2024 • edited Loading

sigprogramming left a comment

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

sevenc-nanashi commented Jul 23, 2024 •

edited

Loading

sigprogramming commented Jul 24, 2024 •

edited

Loading

sigprogramming commented Jul 24, 2024 •

edited

Loading

sigprogramming Jul 27, 2024 •

edited

Loading

Hiroshiba Jul 27, 2024 •

edited

Loading

sevenc-nanashi Jul 27, 2024 •

edited

Loading

sigprogramming commented Jul 28, 2024 •

edited

Loading

sevenc-nanashi commented Jul 28, 2024 •

edited

Loading