prosody/german.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "metadata": {
    "jupyter": {
     "is_executing": true
    },
    "ExecuteTime": {
     "start_time": "2024-06-21T07:07:57.388053Z"
    }
   },
   "source": [
    "import os\n",
    "\n",
    "os.environ['CUDA_LAUNCH_BLOCKING'] = \"1\"\n",
    "from pathlib import Path\n",
    "from espnet2.text.phoneme_tokenizer import PhonemeTokenizer\n",
    "from espnet2.text.token_id_converter import TokenIDConverter\n",
    "from espnet2.bin.tts_inference import Text2Speech\n",
    "\n",
    "%load_ext autoreload\n",
    "%autoreload 2\n",
    "\n",
    "PWD = %pwd\n",
    "PWD = Path(PWD)\n",
    "LJSPEECH_DIR = (PWD / '../egs2/ljspeech/tts1/').resolve()\n",
    "device = 'cuda'"
   ],
   "outputs": [],
   "execution_count": null
  },
  {
   "cell_type": "code",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "ExecuteTime": {
     "end_time": "2024-06-21T04:56:47.538877Z",
     "start_time": "2024-06-21T04:56:45.331839Z"
    }
   },
   "source": [
    "os.chdir(LJSPEECH_DIR)\n",
    "pretrained_dir = LJSPEECH_DIR / \"exp/tts_train_jets_raw_phn_tacotron_g2p_en_no_space\"\n",
    "pretrained_model_file = pretrained_dir / \"train.total_count.ave_5best.pth\"\n",
    "pretrained_tts = Text2Speech.from_pretrained(\n",
    "    train_config=pretrained_dir / \"config_prosody.yaml\",\n",
    "    model_file=pretrained_model_file,\n",
    "    device=device\n",
    ")\n",
    "pretrained_model = pretrained_tts.model\n",
    "os.chdir(PWD)"
   ],
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/perry/miniconda3/envs/espnet/lib/python3.10/site-packages/torch/nn/utils/weight_norm.py:30: UserWarning: torch.nn.utils.weight_norm is deprecated in favor of torch.nn.utils.parametrizations.weight_norm.\n",
      "  warnings.warn(\"torch.nn.utils.weight_norm is deprecated in favor of torch.nn.utils.parametrizations.weight_norm.\")\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "It seems weight norm is not applied in the pretrained model but the current model uses it. To keep the compatibility, we remove the norm from the current model. This may cause unexpected behavior due to the parameter mismatch in finetuning. To avoid this issue, please change the following parameters in config to false:\n",
      " - discriminator_params.follow_official_norm\n",
      " - discriminator_params.scale_discriminator_params.use_weight_norm\n",
      " - discriminator_params.scale_discriminator_params.use_spectral_norm\n",
      "\n",
      "See also:\n",
      " - https://github.com/espnet/espnet/pull/5240\n",
      " - https://github.com/espnet/espnet/pull/5249\n"
     ]
    }
   ],
   "execution_count": 6
  },
  {
   "cell_type": "code",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "ExecuteTime": {
     "end_time": "2024-06-21T04:56:56.034206Z",
     "start_time": "2024-06-21T04:56:56.004378Z"
    }
   },
   "source": [
    "arpa_tokenizer = PhonemeTokenizer(g2p_type='g2p_en_no_space')\n",
    "id_converter = TokenIDConverter(pretrained_tts.train_args.token_list)"
   ],
   "outputs": [],
   "execution_count": 7
  },
  {
   "cell_type": "code",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-21T04:49:15.140143Z",
     "start_time": "2024-06-21T04:49:11.950180Z"
    }
   },
   "source": [
    "from en_to_de import phonemize\n",
    "phoneset = set()\n",
    "with open('/home/perry/PycharmProjects/datasets/CSS10/german/transcript_phones_espeak.txt', 'w') as phones_f:\n",
    "    with open('/home/perry/PycharmProjects/datasets/CSS10/german/transcript.txt') as f:\n",
    "        for line in f:\n",
    "            filename, _, text2, _ = line.split('|')\n",
    "            # phones = german_tokenizer.text2tokens(text2)\n",
    "            phones = phonemize(text2)\n",
    "            phones_f.write(f'{filename}|{\" \".join(phones)}\\n')\n",
    "            phoneset |= set(phones)"
   ],
   "outputs": [],
   "execution_count": 3
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-21T04:49:29.791019Z",
     "start_time": "2024-06-21T04:49:29.759888Z"
    }
   },
   "cell_type": "code",
   "source": "' '.join(sorted(phoneset))",
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'! (de) (en) , . 1 ? a aɪ aʊ b d dʒ eː f h i iː j k l m n oː p pf s t ts tʃ uː v x y yː z | ç øː ŋ œ ɐ ɑː ɔ ɔø ə əʊ ɛ ɛː ɜ ɡ ɪ ʁ ʃ ʊ ʒ ˈa ˈaɪ ˈaʊ ˈeː ˈiː ˈoː ˈuː ˈy ˈyː ˈøː ˈœ ˈɑ ˈɑː ˈɔ ˈɔø ˈɔː ˈɛ ˈɛː ˈɪ ˈʊ ˌa ˌaɪ ˌaʊ ˌeː ˌiː ˌoː ˌuː ˌy ˌyː ˌøː ˌœ ˌɑ ˌɑː ˌɔ ˌɔø ˌə ˌɛ ˌɛː ˌɪ ˌʊ'"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "execution_count": 4
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-17T16:26:19.643379Z",
     "start_time": "2024-06-17T16:26:19.523490Z"
    }
   },
   "outputs": [],
   "source": [
    "from en_to_de import PHONES_MAP, PUNCS\n",
    "phoneset = set(PHONES_MAP.keys()) | set(PUNCS)\n",
    "with open('/home/perry/PycharmProjects/datasets/CSS10/german/transcript_phones_espeak.txt') as f:\n",
    "    for line in f:\n",
    "        filename, trans = line.split('|')\n",
    "        for phone in trans.strip().split():\n",
    "            if phone not in phoneset:\n",
    "                phoneset.add(phone)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-17T16:26:20.732932Z",
     "start_time": "2024-06-17T16:26:20.626941Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "achtgesichterambiwasse/achtgesichterambiwasse_0000.wav ['p', 'ˈaɪ', 'n', 'aɪ', 'l', 'ɪ', 'z', 'ɑː', 'ˈœ', 't', 'a', 'ɐ', 'ˌa', 'ˈɪ', 'ˈiː', 'ɡ', 'ˈa', 's', 'k', 'ə', 'ˈɛː', 'ts', 'h', 'ç', 'ɜ', 'ʃ', 'ˈɑ', 'eː', 'ˌʊ', 'm', 'j', 'ʊ', 'd', 'ˈuː', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0001.wav ['ˈaɪ', 'n', 'aɪ', 'l', 'ɪ', 'uː', 'z', 'ɑː', 'ˈɛ', '.', 'ˈœ', 't', 'ɐ', 'ˌaɪ', 'ˈiː', 'ʁ', 'ɡ', 'v', 'iː', 's', 'k', 'ə', 'ts', 'ˈɛː', 'ç', 'h', 'ɜ', 'ˌɛ', 'ˈɑː', 'ʃ', 'eː', 'm', 'b', 'ˌeː', 'ɛ', 'f', 'ʊ', 'ŋ', 'd', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0002.wav ['p', 'ˈaɪ', 'n', 'ˈy', 'l', 'ɪ', 'z', 'ˈɛ', '.', 't', 'ɐ', 'x', 'aʊ', 'ˌaɪ', 'ˈɪ', 'ʁ', 'ɡ', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ə', 'ts', 'ç', 'ˈɑː', 'ˈɔ', 'ʃ', 'ˈyː', 'm', 'b', 'ˌiː', 'f', 'ɛ', 'ʊ', 'ŋ', 'ˈʊ', 'd', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0003.wav ['n', 'aɪ', 'ɪ', 'l', 'z', 'uː', '.', 't', 'ɐ', 'aʊ', 'oː', 'ˈoː', 'ˌaɪ', 'ˈɪ', 'ˈiː', 'ˌɪ', 'ɡ', 'ʁ', 'ˈa', 'v', 'iː', 's', 'k', 'ɔ', 'ə', 'ts', 'ç', 'h', 'ɜ', 'ˈɑː', 'ˈɔ', 'ʃ', 'eː', 'ˌʊ', 'm', 'b', 'ˌiː', 'f', 'ʊ', 'ŋ', 'd', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0006.wav ['p', 'n', 'l', 'ɪ', 'z', 't', 'a', 'ˌɔ', 'ɐ', 'x', 'aʊ', 'ˈɪ', 'ˈiː', 'ʁ', 'ɡ', 'ˈa', 'v', 'iː', 's', 'k', 'ə', 'h', 'ɜ', 'ˈɑː', 'ˈɔ', 'ʃ', 'eː', 'm', 'ˌiː', 'ɛ', 'f', 'd', 'ˈʊ', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0008.wav ['n', 'l', 'ɪ', '.', 't', 'a', 'ɐ', 'ˌaɪ', 'ˈɪ', 'ˈiː', 'ʁ', 'ɡ', 'ˌaʊ', 'v', 's', 'ˈɛː', 'ə', 'ts', 'ç', 'ˌɛ', 'ʃ', 'ˈɑ', 'b', 'ɛ', 'j', 'f', 'ʊ', 'ŋ', 'd', 'ˈʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0009.wav ['ˈaɪ', 'n', 'aɪ', 'l', 'ɪ', 'z', 'ɑː', 'ˈɛ', 'ˈœ', 't', 'a', 'ɐ', 'x', 'oː', 'ˈoː', 'ˈɪ', 'ˈiː', 'ʁ', 'ˈa', 'v', 'iː', 's', 'k', 'ə', 'ˈɛː', 'h', 'ç', 'ʃ', 'ˈɔø', 'ˈɑ', 'm', 'b', 'ˌeː', 'ɛ', 'f', 'ʊ', 'd', 'ˈuː', 'ˈʊ', ',', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0011.wav ['n', 'aɪ', 'ɪ', 'l', 'z', 'ˈɛ', '.', 'ˈœ', 't', 'ɐ', 'x', 'ˌa', 'ˌɑː', 'ˌaɪ', 'ɡ', 'ˌaʊ', 'ˈeː', 'v', 'iː', 'k', 'ə', 'h', 'ç', 'ɜ', 'ˌɛ', 'ʃ', 'm', 'b', 'f', 'ɛ', 'ʊ', 'd', 'ˈʊ', 'ˈøː', ',', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0014.wav ['n', 'ˌoː', 'ɪ', 'z', 'uː', 'ˈɛ', 't', 'a', 'ɐ', 'x', 'oː', 'ˌɑː', 'ˈɪ', 'ɡ', 'ˈeː', 'iː', 'k', 'ɔ', 'ə', 'ts', 'ɜ', 'ˈɔ', 'eː', 'm', 'b', 'f', 'ʊ', 'd', 'ˈuː', 'ˌyː', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0020.wav ['ˈaɪ', 'n', 'ˈy', 'l', 'ɪ', 'z', 'ˈɛ', 't', 'a', 'ɐ', 'ɔø', 'ˈoː', 'ˈɪ', 'ɡ', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ə', 'ç', 'h', 'ɜ', 'ˌɛː', 'ʃ', 'ˌɔø', 'm', 'b', 'f', 'ɛ', 'ʊ', 'd', ',', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0022.wav ['ˈaɪ', 'n', 'l', 'z', 'ˈɛ', 't', 'a', 'ˌa', 'ˈoː', 'ˈɪ', 'ˈiː', 'ʁ', 'ˈeː', 'iː', 's', 'k', 'ə', 'ç', 'ʃ', 'ˈɔø', 'ˌœ', 'm', 'b', 'f', 'ɛ', 'ʊ', 'd', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0024.wav ['ˈaɪ', 'p', 'n', 'l', 'z', 'uː', '.', 'a', 't', 'ɐ', 'oː', 'ˈɪ', 'ʁ', 'ɡ', 'ˈeː', 'v', 'iː', 's', 'k', 'ə', 'ç', 'h', 'ɜ', 'ˌɛ', 'ˌy', 'ˈɑː', 'ˈɔ', 'ʃ', 'm', 'b', 'f', 'j', 'ɛ', 'ʊ', 'd', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0026.wav ['ˈaɪ', 'p', 'n', 'l', 'ɪ', 'z', 'ˈɛ', 'ˈœ', 't', 'ɐ', 'ˈoː', 'ˈɪ', 'ʁ', 'ɡ', 'ˈa', 'v', 'iː', 's', 'k', 'ə', 'h', 'ç', 'ɜ', 'ɛː', 'ˈɔ', 'ʃ', 'ˈɔø', 'm', 'b', 'ˌiː', 'f', 'ɛ', 'ʊ', 'ˈuː', 'd', 'ˈøː', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0034.wav ['n', 'l', 'ɪ', 'z', 'ɑː', 't', 'ɐ', 'pf', 'ˌa', 'ˌɑː', 'ˌaɪ', 'ɡ', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ə', 'ts', 'ˈɛː', 'h', 'ç', 'ɜ', 'ˈyː', 'ˈɑ', 'ˌʊ', 'm', 'b', 'f', 'ʊ', 'ŋ', 'd', 'ˈøː', ',', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0052.wav ['ˈaɪ', 'n', 'ˌoː', 'ɪ', 'l', 'z', 'ɑː', 't', 'ɐ', 'ˌɑː', 'ˈɪ', 'ɡ', 'ˌaʊ', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ɔ', 'ə', 'ç', 'ɜ', 'ˈɑ', 'ˌʊ', 'm', 'b', 'j', 'ŋ', 'd', '?', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0063.wav ['p', 'n', 'aɪ', 'z', 'ˈɛ', '.', 't', 'ˌɔ', 'a', 'ɐ', 'x', 'ˌa', 'ˌaɪ', 'ˈɪ', 'ɡ', 'ˌaʊ', 'ˈa', 'v', 'iː', 's', 'k', 'ə', 'h', 'ç', 'ɜ', 'ˈɑː', 'ˈɔ', 'ˌɑ', 'eː', 'ˈɑ', 'm', 'b', 'f', 'd', ',', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0065.wav ['p', 'ˈaɪ', '!', 'n', 'ɪ', 'l', 'z', 'ɑː', 'ˈɛ', 'ˈœ', 't', 'a', 'ɐ', 'x', 'ˌɑː', 'ˌaɪ', 'ˈɪ', 'ʁ', 'ɡ', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ə', 'ts', 'h', 'ç', 'ɜ', 'ˈɔ', 'ˈyː', 'ˈɑ', 'm', 'b', 'ˌiː', 'ɛ', 'ʊ', 'd', ',', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0086.wav ['ˈaɪ', 'n', 'l', 'z', 'uː', '.', 'a', 't', 'ɐ', 'oː', 'ˈoː', 'ˌaɪ', 'ˈɪ', 'ˈiː', 'ˌɪ', 'ɡ', 'ˌaʊ', 'v', 'iː', 's', 'k', 'ə', 'ts', 'ɜ', 'ʃ', 'yː', 'b', 'ˌiː', 'f', 'ɛ', 'd', 'ˈʊ', ',', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0099.wav ['n', 'ɪ', 'l', 'uː', 'z', '.', 't', 'ˌɔ', 'ɐ', 'ˌaɪ', 'ˈɪ', 'ˌɪ', 'ˈa', 'ˈeː', 'v', 'iː', 'ə', 'ts', 'y', 'ç', 'h', 'ɜ', 'ˈɔø', 'eː', 'm', 'b', 'ɛ', 'ʊ', 'ŋ', 'd', 'ˌyː', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0153.wav ['ˈaɪ', 'n', 'aɪ', 'l', 'z', '.', 'a', 't', 'ɐ', 'ˈoː', 'œ', 'ˈɪ', 'ʁ', 'ˌaʊ', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ə', 'h', 'ɜ', 'ʃ', 'eː', 'ˌʊ', 'm', 'b', 'f', 'ɛ', 'ʊ', 'ŋ', 'd', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0192.wav ['ˈaɪ', 'n', 'l', 'ɪ', 'z', 'ɑː', 'ˈɛ', '.', 't', 'a', 'ɐ', 'ˈoː', 'ˌaɪ', 'ˈiː', 'ʁ', 'ˈa', 'ˌuː', 'iː', 's', 'k', 'ə', 'h', 'ɜ', 'ʃ', 'ˈɑ', 'yː', 'ˌʊ', 'm', 'b', 'ɛ', 'f', 'ʊ', 'd', 'ˈuː']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0258.wav ['ˈaɪ', 'n', 'l', 'z', 'ɑː', 'ˈɛ', '.', 't', 'a', 'ɐ', 'x', 'ˈoː', 'ˌaɪ', 'ˈɪ', 'ʁ', 'ɡ', 'ˌɪ', 'ˌaʊ', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ɔ', 'ə', 'ç', 'h', 'ɜ', 'øː', 'ʃ', 'eː', 'm', 'b', 'f', 'ɛ', 'd', 'ˈʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_0363.wav ['p', 'ˈaɪ', 'n', 'ɪ', 'l', 'z', 'ˈɛ', 't', 'ˌɔ', 'ɐ', 'ˌɑː', 'ˈiː', 'ɡ', 'ˌøː', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ɔ', 'ə', 'ç', 'ɜ', 'm', 'b', 'ɛ', 'f', 'j', 'ʊ', 'ŋ', 'ˈʊ', 'd', ',', 'ˈaʊ']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_1029.wav ['p', 'n', 'aɪ', 'l', 'ɪ', 'z', 'ˈɛ', 'ˈœ', 't', 'a', 'ɐ', 'pf', 'i', 'ˈoː', 'ˌaɪ', 'ˈɪ', 'ˈiː', 'ʁ', 'ɡ', 'ˈa', 'ˈeː', 'iː', 's', 'ə', 'ts', 'ç', 'h', 'ɜ', 'ˈɑː', 'ʃ', 'eː', 'ˈɑ', 'm', 'b', 'ˌeː', 'ɛ', 'j', 'ʊ', 'd', ',']\n",
      "achtgesichterambiwasse/achtgesichterambiwasse_2189.wav ['ˈaɪ', 'p', 'n', 'aɪ', 'ˌoː', 'l', 'ɪ', 'uː', 'z', 'a', 't', 'ɐ', 'x', 'ˌa', 'oː', 'ˌɑː', 'ˌaɪ', 'ˈɪ', 'ˈiː', 'ʒ', 'ʁ', 'ˌaʊ', 'ˈa', 'iː', 's', 'k', 'ə', 'ts', 'h', 'ˈɑː', 'ˈɔ', 'ʃ', 'yː', 'm', 'b', 'f', 'ɛ', 'ʊ', 'd', 'ˈʊ', ',', 'ˈaʊ']\n",
      "meisterfloh/meisterfloh_0452.wav ['p', 'n', 'l', 'z', 'ɑː', 'ˈɛ', '.', 't', 'ɐ', 'ˌaɪ', 'ʁ', 'ˌɪ', 'ɡ', 'ˈeː', 'v', 'iː', 's', 'ə', 'dʒ', 'h', 'ɜ', 'ˈɔː', 'ˈɔ', 'ʃ', 'ˌɔø', 'ˈɑ', 'm', 'b', 'ɛ', 'j', 'ʊ', 'ŋ', 'd', 'ˈʊ', 'tʃ', 'ˈøː', ',']\n",
      "meisterfloh/meisterfloh_1928.wav ['p', 'n', 'ˌoː', 'l', 'ɪ', 'z', 'ɑː', 'ˈɛ', 't', 'ɐ', 'ˈɪ', 'ʁ', 'ˌɪ', 'ɡ', 'ˈa', 'ˈeː', 'v', 'iː', 's', 'k', 'ɔ', 'ə', 'ç', 'h', 'ˈɑː', 'b', 'ˌiː', 'f', 'ɛ', 'ˌə', 'ʊ', 'ŋ', 'd', 'ˈuː', 'ˈʊ', ',', 'ˈaʊ']\n"
     ]
    }
   ],
   "source": [
    "with open('/home/perry/PycharmProjects/datasets/CSS10/german/transcript_phones_espeak.txt') as f:\n",
    "    for line in f:\n",
    "        filename, trans = line.split('|')\n",
    "        line_phones = set(trans.strip().split(' '))\n",
    "        if line_phones & phoneset:\n",
    "            print(filename, list(line_phones))\n",
    "            phoneset -= line_phones\n",
    "            if not phoneset:\n",
    "                break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-18T00:10:22.225938Z",
     "start_time": "2024-06-18T00:10:22.182196Z"
    }
   },
   "outputs": [],
   "source": [
    "line_dict = {}\n",
    "filenames = set('''\n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0000.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0001.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0002.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0003.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0006.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0008.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0009.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0011.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0014.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0020.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0022.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0024.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0026.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0034.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0052.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0063.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0065.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0086.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0099.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0153.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0192.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0258.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0363.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_1029.wav \n",
    "achtgesichterambiwasse/achtgesichterambiwasse_2189.wav\n",
    "meisterfloh/meisterfloh_0452.wav\n",
    "meisterfloh/meisterfloh_1928.wav\n",
    "'''.strip().split())\n",
    "\n",
    "with open('/home/perry/PycharmProjects/datasets/CSS10/german/transcript.txt') as f:\n",
    "    for line in f:\n",
    "        filename, _, trans, _ = line.split('|')\n",
    "        if filename in filenames:\n",
    "            line_dict[filename] = trans\n",
    "            filenames.remove(filename)\n",
    "            if not filenames:\n",
    "                break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-17T16:33:24.623217Z",
     "start_time": "2024-06-17T16:33:24.584336Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'achtgesichterambiwasse/achtgesichterambiwasse_0000.wav': 'Hanake hatte allen Körperschmuck, den ein japanisches Mädchen sitzend, trippelnd und liegend zeigen muß,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0001.wav': 'um zu den göttlichen Schönheiten der Vergänglichkeit gezählt zu werden. Ihr Hals war biegsam wie eine Reiherfeder,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0002.wav': 'ihre Arme kurz wie die Flügel eines noch nicht flüggen Sperlings. Saß sie auf der Matte und bereitete ihren Tee,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0003.wav': 'so arbeitete sie vorsichtig wie unter einer Glasglocke. Ging sie abends mit ihrer Dienerin auf den hohen Holzschuhen zum Theater,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0006.wav': 'Lag sie in der Nacht hinter den geschlossenen Papierwänden ihres Hauses mit frisiertem Kopf auf der Schlummerrolle',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0008.wav': 'als wäre es aus Jadestein geschnitten und erschien unzerbrechlich und unvergänglich.',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0009.wav': 'Hanake war das reichste Mädchen am Biwasee, nicht bloß reich an der äußeren Schönheit, welche die Frauen ruhig und wunschlos macht, --',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0011.wav': 'mit Schönheit und Geld, verwöhnt. Aber auch die Göttin der Unendlichkeit hatte ihr eine Seele in die Augen gegeben,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0014.wav': 'die im Sommer über die Berge von Kioto zum Besuch zu ihr an den See kamen,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0020.wav': 'Die leichten Vogelkäfige der Bambushäuser würden verschwinden, und Steinhäuser, wie man sie im Westen der Erde baut,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0022.wav': 'die Fremden lieben das Eisenrasseln und können ohne die betäubende Stimme des Eisens nicht leben:',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0024.wav': 'und sie werden schlimmer als Wolkenbrüche und schlimmer als Taifun Japan verheeren, so sagte man.',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0026.wav': 'hörte gruselnd die Berichte ihrer Freunde und erfand mit ihren Freundinnen kleine Spottlieder, welche die Dämonen des Westens verhöhnten,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0034.wav': 'Die aufgepflanzten Segel wurden größer und kamen näher: Hanake fühlte eine Bangigkeit,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0052.wav': 'Sind die drei Segelboote, die aus Yabase kamen, untergegangen? Die Magd antwortete nicht,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0063.wav': 'den mein Vetter mir vor ein paar Wochen mitgebracht hat aus Nagasaki. Die Magd gehorchte, brachte den grauen Papagei',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0065.wav': 'Aber sie hörte in der Nacht bis zum Morgen, wie Hanake ihrem grauen Papagei drei Sätze lehrte: Ich grüße dich!',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0086.wav': 'so daß sie für einen Augenblick die Augenlider schloß und, ohne es zu wissen, einschlief.',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0099.wav': 'der Dich heute zu mir über den See bringen soll und in meine Arme, die Dich sehnsüchtig erwarten.',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0153.wav': 'und daß ein anderes Boot aus dem Schilf heraus die Seewölbung ersteigt und hinter dem Wasser verschwindet.',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0192.wav': 'sandte er eine kleine Kleidertruhe und ließ sie in das Boot unserer Männer stellen. Die Truhe ist für Hanake.',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0258.wav': 'Sie warf noch rasch einen Blick aus dem Fenster. Das Segel des kaiserlichen Bootes war hinter der Seehöhe verschwunden.',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_0363.wav': 'Sie verkaufte sich jungen Männern, welche die Liebe kennen lernen wollten, und alten, von der Lebenssorge abgetöteten einsamen Männern,',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_1029.wav': 'als die ersten chinesischen Buddhisten-Mönche die Religion des Pflanzen-, des Tierreiches und des Menschenreiches den Japanern gaben',\n",
       " 'achtgesichterambiwasse/achtgesichterambiwasse_2189.wav': 'Die meisten Passagiere haben für ein paar Nachtstunden das Schiff, das schon aus London kommt, zu einem kurzen Aufenthalt in Marseille verlassen,',\n",
       " 'meisterfloh/meisterfloh_0452.wav': 'Die schöne Holländerin und seltsames Abenteuer des jungen Herrn George Pepusch, eines gewesenen Jenensers.',\n",
       " 'meisterfloh/meisterfloh_1928.wav': 'Diesen Knaben nun – Daraus wird nichts, fuhr Peregrinus, der längst wußte, wo die Alte hinauswollte, heftig auf'}"
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "line_dict"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T05:05:10.937721Z",
     "start_time": "2024-06-20T05:05:10.907656Z"
    }
   },
   "source": [
    "schwa_lines = '''achtgesichterambiwasse/achtgesichterambiwasse_1334.wav\n",
    "meisterfloh/meisterfloh_2263.wav\n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0599.wav\n",
    "achtgesichterambiwasse/achtgesichterambiwasse_2176.wav'''.split()"
   ],
   "outputs": [],
   "execution_count": 5
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T05:05:11.441653Z",
     "start_time": "2024-06-20T05:05:11.386515Z"
    }
   },
   "cell_type": "code",
   "source": [
    "r_lines = '''achtgesichterambiwasse/achtgesichterambiwasse_1009.wav\n",
    "achtgesichterambiwasse/achtgesichterambiwasse_2242.wav\n",
    "achtgesichterambiwasse/achtgesichterambiwasse_1166.wav'''.split()"
   ],
   "outputs": [],
   "execution_count": 6
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T05:52:13.057424Z",
     "start_time": "2024-06-20T05:52:13.027924Z"
    }
   },
   "cell_type": "code",
   "source": [
    "a_lines='''achtgesichterambiwasse/achtgesichterambiwasse_1415.wav\n",
    "achtgesichterambiwasse/achtgesichterambiwasse_0813.wav\n",
    "serapionsbruederauswahl/serapionsbruederauswahl_0681.wav\n",
    "serapionsbruederauswahl/serapionsbruederauswahl_0592.wav\n",
    "serapionsbruederauswahl/serapionsbruederauswahl_1023.wav'''.split()"
   ],
   "outputs": [],
   "execution_count": 29
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T05:53:11.708339Z",
     "start_time": "2024-06-20T05:53:11.651874Z"
    }
   },
   "cell_type": "code",
   "source": [
    "fname_phones = {}\n",
    "with open('/home/perry/PycharmProjects/datasets/CSS10/german/transcript_phones_espeak.txt') as f:\n",
    "    for line in f:\n",
    "        fname, phones = line.strip().split('|')\n",
    "        fname_phones[fname] = phones\n",
    "a_phones = {fname: fname_phones[fname] for fname in a_lines}\n",
    "r_phones = {fname: fname_phones[fname] for fname in r_lines}"
   ],
   "outputs": [],
   "execution_count": 31
  },
  {
   "cell_type": "code",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "ExecuteTime": {
     "end_time": "2024-06-21T04:59:57.892998Z",
     "start_time": "2024-06-21T04:59:57.305992Z"
    }
   },
   "source": [
    "from en_to_de import GermanArpaSpeech, phonemize\n",
    "gas = GermanArpaSpeech(token_id_converter=id_converter, tts_inference_fn=pretrained_model.tts.generator.inference)"
   ],
   "outputs": [],
   "execution_count": 8
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T03:07:24.007987Z",
     "start_time": "2024-06-20T03:07:23.258785Z"
    }
   },
   "cell_type": "code",
   "source": "from en_to_de import custom_ipa_subs",
   "outputs": [],
   "execution_count": 26
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T03:07:30.797116Z",
     "start_time": "2024-06-20T03:07:30.757208Z"
    }
   },
   "cell_type": "code",
   "source": [
    "phones = tuple(''' ˌiː z ə n | k n ˈɑː b ə n | n ˈuː n | d ɑː ʁ ˈaʊ s | v ˌɪ ɐ t | n ˈɪ ç t s | , f ˈuː ɐ | p ˈeː ʁ ɛ ɡ ɐ ˌiː n ʊ s | , d ɛ ɐ | l ˈɛ ŋ s t | v ˈʊ s t ə | , v ˌoː | d iː | ˈa l t ə | h ɪ n ˈaʊ s v ɔ l t ˌə | , h ˈɛ f t ɪ ç | ˈaʊ f |'''.strip().split())\n",
    "' '.join(custom_ipa_subs(phones))"
   ],
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'ˌiː z ə n | k n ˈɑː b ə n | n ˈuː n | d ɑː ʁ ˈaʊ s | v ˌɪ ɐ t | n ˈɪ ç t s | , f ˈuː ɐ | p ˈeː ʁ ɛ ɡ ʁ ˌiː n ʊ s | , d ɛ ɐ | l ˈɛ ŋ s t | v ˈʊ s t ə | , v ˌoː | d iː | ˈa l t ə | h ɪ n ˈaʊ s v ɔ l t ˌə | , h ˈɛ f t ɪ ç | ˈaʊ f |'"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "execution_count": 28
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T03:13:46.810524Z",
     "start_time": "2024-06-20T03:13:46.769451Z"
    }
   },
   "cell_type": "code",
   "source": [
    "from en_to_de import CONSONANTS_MAP, VOWELS_MAP\n",
    "print(''.join(sorted(set(''.join(set(CONSONANTS_MAP))))), ''.join(sorted(set(''.join(set(VOWELS_MAP))))))"
   ],
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "bdfhjklmnpstvxzçŋɡʁʃʒ aeiouyøœɐɑɔəɛɜɪʊˈˌ\n"
     ]
    }
   ],
   "execution_count": 31
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T05:53:43.352599Z",
     "start_time": "2024-06-20T05:53:42.629428Z"
    }
   },
   "cell_type": "code",
   "source": [
    "# phones_map = {'a': 'AH2',\n",
    "#     'ˌa': ('AH1', '1', '1'),\n",
    "#     'ˈa': ('AH1', '1', '2'),}\n",
    "for fname, phones in a_phones.items():\n",
    "    german = phones.split()\n",
    "    inputs = gas.gen_audio(\n",
    "        german,\n",
    "        save_dir=PWD / 'outputs/tts_train_jets_raw_phn_tacotron_g2p_en_no_space/CSS10/german',\n",
    "        verbose=False,\n",
    "        # phones_map=phones_map,\n",
    "        # verbose=True,\n",
    "        custom_filename=fname,\n",
    "        device=device,\n",
    "    )"
   ],
   "outputs": [],
   "execution_count": 33
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T04:14:50.138497Z",
     "start_time": "2024-06-20T04:14:50.096197Z"
    }
   },
   "cell_type": "code",
   "source": "gas.gen_inputs('Ata-Mono', verbose=True)",
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "   -1      0    1           2            3           4            5           6\n",
      " arpas    AA1   T          AA0           M          OW1           N          OW0\n",
      "d_factor  0.7  1.0  1.0499999999999998  1.0  1.0499999999999998  1.0  1.0499999999999998\n",
      "e_factor  0.0  0.0         0.0          0.0         0.0          0.0         0.0\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "(array(['AA1', 'T', 'AA0', 'M', 'OW1', 'N', 'OW0'], dtype='<U3'),\n",
       " tensor([[0.7000, 1.0000, 1.0500, 1.0000, 1.0500, 1.0000, 1.0500]],\n",
       "        device='cuda:0', dtype=torch.float64),\n",
       " tensor([[0., 0., 0., 0., 0., 0., 0.]], device='cuda:0', dtype=torch.float64))"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "execution_count": 23
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T04:15:54.229106Z",
     "start_time": "2024-06-20T04:15:54.040985Z"
    }
   },
   "cell_type": "code",
   "source": [
    "german = 'Ata-Mono fragte rasch: Kennst du die Rindensprache der roten Kryptomerienbäume? Natürlich , sagte die Frau ebenso rasch.'\n",
    "arpas, d_factor, e_factor = gas.gen_inputs(german)\n",
    "d_factor[0, 1] *= 1.5\n",
    "inputs = gas.gen_audio(\n",
    "        german,\n",
    "        inputs=(arpas, d_factor, e_factor),\n",
    "        save_dir=PWD / 'outputs/tts_train_jets_raw_phn_tacotron_g2p_en_no_space/CSS10/german',\n",
    "        verbose=False,\n",
    "        # verbose=True,\n",
    "        custom_filename=fname,\n",
    "        device=device,\n",
    "    )"
   ],
   "outputs": [],
   "execution_count": 27
  },
  {
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-20T04:08:51.511379Z",
     "start_time": "2024-06-20T04:08:50.928128Z"
    }
   },
   "cell_type": "code",
   "source": "' '.join(gas.convert_phones_arpa(phonemize('Ata-Mono fragte rasch: Kennst du die Rindensprache der roten Kryptomerienbäume? Natürlich , sagte die Frau ebenso rasch.'))[0].tolist())",
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'AA1 T AA0 M OW1 N OW0 F HH R AA1 K T AH0 , HH R AH1 SH , K EH1 N S T D W UW0 D IY0 HH R IH1 N D AH0 N SH P HH R AA2 HH K HH AH0 , D EH2 AH0 , HH R OW1 T AH0 N , K HH R Y UH1 P T OW0 M EY2 HH R IH0 EH2 N B OY0 M AH0 , ? N AA0 T Y UH1 AH0 L IH0 H SH S , Z AA1 G T AH0 , D IY0 F HH R AA1 W , EY1 B AH0 N Z OW2 HH R AH1 SH .'"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "execution_count": 18
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-18T00:18:28.850021Z",
     "start_time": "2024-06-18T00:18:28.655826Z"
    },
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "meisterfloh/meisterfloh_1928.wav\n",
      "Diesen Knaben nun – Daraus wird nichts, fuhr Peregrinus, der längst wußte, wo die Alte hinauswollte, heftig auf\n",
      "d ˌiː z ə n | k n ˈɑː b ə n | n ˈuː n | d ɑː ʁ ˈaʊ s | v ˌɪ ɐ t | n ˈɪ ç t s | , f ˈuː ɐ | p ˈeː ʁ ɛ ɡ ɐ ˌiː n ʊ s | , d ɛ ɐ | l ˈɛ ŋ s t | v ˈʊ s t ə | , v ˌoː | d iː | ˈa l t ə | h ɪ n ˈaʊ s v ɔ l t ˌə | , h ˈɛ f t ɪ ç | ˈaʊ f |\n",
      "D IY2 Z AH0 N , K N AA1 B AH0 N , N W UW1 N D AA0 HH W R AA1 W S V IH2 AH0 T N IH1 H SH S T S , F W UW1 AH0 , P EY1 HH W R EH2 G AH1 IY2 N W UH0 S , D EH2 AH0 , L EH1 NG S T V W UH1 S T AH0 , , V OW2 D IY0 AH1 L T AH0 , HH IH0 N AA1 W S V AO0 L T AH0 , , HH EH1 F T IH0 H SH S AA1 W F\n"
     ]
    }
   ],
   "source": [
    "# Try on the first line of the CSS10 German dataset.\n",
    "filenames = sorted(line_dict.keys())\n",
    "filename = filenames[26]\n",
    "german = line_dict[filename]\n",
    "\n",
    "phones = phonemize(german)\n",
    "\n",
    "print(filename, german, ' '.join(phones), ' '.join(gas.convert_phones_arpa(phones)[0]), sep='\\n')\n",
    "\n",
    "inputs = gas.gen_audio(\n",
    "    german,\n",
    "    save_dir=PWD / 'outputs/tts_train_jets_raw_phn_tacotron_g2p_en_no_space/german',\n",
    "    verbose=False,\n",
    "    # verbose=True,\n",
    "    device=device,\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "ExecuteTime": {
     "end_time": "2024-06-21T05:33:23.817577Z",
     "start_time": "2024-06-21T05:07:21.140032Z"
    }
   },
   "source": [
    "from tqdm import tqdm\n",
    "# Now run on entire dataset\n",
    "save_dir = PWD / 'outputs/tts_train_jets_raw_phn_tacotron_g2p_en_no_space/CSS10/german'\n",
    "transcript_file = (PWD / '../../datasets/CSS10/german/transcript_phones_espeak.txt').resolve()\n",
    "with open(transcript_file) as f:\n",
    "    for line in tqdm(f.read().splitlines()):\n",
    "        custom_filename, phones = line.strip().split('|', maxsplit=1)\n",
    "        if (save_dir / custom_filename).exists():\n",
    "            continue\n",
    "        german = phones.split()\n",
    "        \n",
    "        inputs = gas.gen_audio(\n",
    "            german,\n",
    "            save_dir=save_dir,\n",
    "            verbose=False,\n",
    "            custom_filename=custom_filename,\n",
    "            # verbose=True,\n",
    "            device=device,\n",
    "        )\n",
    "        # arpas, d_factor, e_factor = inputs\n"
   ],
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 7427/7427 [26:02<00:00,  4.75it/s]\n"
     ]
    }
   ],
   "execution_count": 10
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-06-18T01:24:27.178363Z",
     "start_time": "2024-06-18T01:24:27.138594Z"
    }
   },
   "outputs": [],
   "source": [
    "p = ' '.join(phonemize('die Arme umeinander legten und, Wange an Wange, ihr Blut aneinander pochen ließen.'))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}