From b556fa38ed4419613483213d12f178b676686b30 Mon Sep 17 00:00:00 2001 From: Aslamov Yury Date: Sun, 2 Oct 2022 22:58:17 +0300 Subject: [PATCH] Complete hw #1 --- week01_embeddings/homework.ipynb | 504 +++++++++++++++++++++++++------ week01_embeddings/seminar.ipynb | 5 +- 2 files changed, 414 insertions(+), 95 deletions(-) diff --git a/week01_embeddings/homework.ipynb b/week01_embeddings/homework.ipynb index 1de3003e..968cb013 100644 --- a/week01_embeddings/homework.ipynb +++ b/week01_embeddings/homework.ipynb @@ -262,87 +262,6 @@ "uk_ru_test, X_test, Y_test = load_word_pairs(\"ukr_rus.test.txt\")" ] }, - { - "cell_type": "code", - "execution_count": 138, - "metadata": {}, - "outputs": [ - { - "data": { - "text/plain": [ - "array([-6.450e-02, -5.960e-02, 3.250e-02, 2.720e-02, 4.060e-02,\n", - " 5.900e-03, -7.380e-02, -6.940e-02, 2.390e-02, -3.770e-02,\n", - " -1.700e-03, -2.300e-02, 1.750e-02, 3.200e-02, -6.580e-02,\n", - " 9.780e-02, 8.550e-02, -1.311e-01, -5.680e-02, -1.150e-02,\n", - " -6.650e-02, -4.530e-02, -2.700e-03, -1.590e-02, -3.000e-03,\n", - " 6.980e-02, 2.940e-02, -9.890e-02, 1.439e-01, 4.330e-02,\n", - " 3.870e-02, 5.990e-02, -1.016e-01, -8.010e-02, -1.440e-02,\n", - " -1.660e-02, 1.441e-01, -3.430e-01, -1.350e-02, 8.990e-02,\n", - " 3.780e-02, -4.600e-03, 1.370e-02, -6.100e-03, -2.310e-02,\n", - " -1.458e-01, -4.610e-02, -3.670e-02, 4.720e-02, 1.571e-01,\n", - " 1.090e-02, -5.770e-02, 4.950e-02, -1.800e-03, 1.860e-02,\n", - " -2.000e-03, -4.170e-02, -6.960e-02, 4.000e-04, -7.810e-02,\n", - " -1.384e-01, -6.850e-02, -6.450e-02, -4.300e-02, -4.420e-02,\n", - " 7.810e-02, -1.013e-01, -5.040e-02, -6.400e-03, 1.370e-02,\n", - " -1.422e-01, 8.200e-03, 1.174e-01, 1.009e-01, 4.760e-02,\n", - " -9.700e-02, -7.590e-02, -9.530e-02, -4.900e-03, -3.090e-02,\n", - " -9.900e-02, 2.290e-02, -8.010e-02, -1.380e-02, 5.090e-02,\n", - " 6.840e-02, -1.190e-02, -7.550e-02, -3.220e-02, 2.000e-04,\n", - " -1.000e-03, -9.600e-03, 4.890e-02, 4.260e-02, -4.800e-03,\n", - " -2.480e-02, -7.190e-02, -1.080e-02, 5.670e-02, 4.920e-02,\n", - " -9.320e-02, 1.020e-01, -2.350e-02, -5.240e-02, -4.700e-03,\n", - " -3.980e-02, 3.560e-02, 1.700e-03, -6.320e-02, -1.003e-01,\n", - " 1.115e-01, -1.730e-02, -5.210e-02, 7.630e-02, 1.740e-02,\n", - " -8.990e-02, -1.600e-03, 1.320e-02, 6.140e-02, -4.420e-02,\n", - " 1.396e-01, 6.000e-04, 2.660e-02, 5.200e-03, 1.030e-02,\n", - " -4.000e-02, 7.740e-02, 7.770e-02, 1.522e-01, 2.610e-02,\n", - " 6.890e-02, 3.720e-02, -9.060e-02, 3.120e-02, 1.070e-02,\n", - " -6.050e-02, 6.380e-02, 2.510e-02, -1.700e-03, 8.850e-02,\n", - " 1.257e-01, 9.500e-03, 6.000e-03, 1.216e-01, 2.640e-02,\n", - " -2.800e-03, -6.760e-02, -5.870e-02, 1.588e-01, 2.580e-02,\n", - " 5.080e-02, 1.610e-02, -8.320e-02, -1.261e-01, -2.320e-02,\n", - " 5.500e-03, 1.240e-02, 3.890e-02, 1.660e-02, -3.280e-02,\n", - " -1.240e-01, 2.270e-02, -8.400e-03, 6.850e-02, 5.000e-03,\n", - " -2.000e-04, -5.360e-02, 3.850e-02, 9.950e-02, -1.443e-01,\n", - " -4.490e-02, -1.770e-02, 2.480e-02, 7.760e-02, 1.034e-01,\n", - " 2.200e-03, -2.100e-03, -3.760e-02, -1.200e-03, -6.220e-02,\n", - " -7.480e-02, -6.520e-02, -2.980e-02, 7.600e-03, -6.000e-04,\n", - " -4.500e-03, -5.120e-02, -5.440e-02, 8.300e-03, 6.200e-03,\n", - " -1.367e-01, 7.790e-02, 8.990e-02, -9.340e-02, 1.200e-02,\n", - " -9.520e-02, 5.540e-02, 1.830e-02, 2.600e-03, 6.650e-02,\n", - " -9.200e-03, -1.050e-02, 6.300e-02, -1.396e-01, -8.210e-02,\n", - " -1.141e-01, 3.970e-02, -7.000e-02, -1.180e-02, -3.770e-02,\n", - " -1.020e-02, -4.200e-02, -4.990e-02, -2.700e-02, 1.034e-01,\n", - " 1.700e-03, 7.930e-02, -5.650e-02, -1.203e-01, 1.333e-01,\n", - " -2.740e-02, -1.018e-01, 1.900e-03, -6.300e-02, 8.040e-02,\n", - " 3.870e-02, -2.500e-03, 8.720e-02, -4.670e-02, 4.950e-02,\n", - " -1.356e-01, 6.480e-02, 7.110e-02, -3.390e-02, 3.300e-03,\n", - " -1.440e-02, -3.820e-02, -4.830e-02, -4.390e-02, 2.340e-02,\n", - " 1.820e-02, -1.140e-02, 3.300e-02, -6.570e-02, 1.190e-02,\n", - " 1.610e-02, 3.870e-02, 1.760e-02, 8.600e-03, 7.470e-02,\n", - " 1.121e-01, -1.183e-01, -4.300e-02, -2.290e-02, -6.000e-03,\n", - " 2.530e-02, -1.163e-01, -8.890e-02, -3.300e-02, -3.600e-02,\n", - " 3.100e-02, -1.630e-02, -1.930e-02, -8.110e-02, 6.800e-02,\n", - " -5.300e-03, -1.440e-02, 7.970e-02, 3.900e-02, 4.140e-02,\n", - " 1.391e-01, 7.380e-02, 7.990e-02, 2.520e-02, 1.460e-02,\n", - " 1.540e-02, 1.100e-02, -5.360e-02, -2.640e-02, 2.310e-02,\n", - " -3.880e-02, -8.760e-02, 9.440e-02, 8.080e-02, 6.200e-02,\n", - " -5.630e-02, -7.840e-02, 2.480e-02, 1.790e-02, 9.640e-02,\n", - " 3.380e-02, 3.130e-02, -4.410e-02, 4.000e-04, -1.624e-01,\n", - " 2.490e-02, -1.186e-01, -3.170e-02, -1.700e-02, -1.630e-02],\n", - " dtype=float32)" - ] - }, - "execution_count": 138, - "metadata": {}, - "output_type": "execute_result" - } - ], - "source": [ - "# X_test[0]\n", - "# Y_test[0]" - ] - }, { "cell_type": "markdown", "metadata": {}, @@ -443,8 +362,7 @@ ], "source": [ "august = mapping.predict(uk_emb[\"серпень\"].reshape(1, -1))\n", - "ru_emb.most_similar(august)\n", - "# august" + "ru_emb.most_similar(august)" ] }, { @@ -587,7 +505,6 @@ " \"\"\" \n", " :returns: W* : float matrix[emb_dim x emb_dim] as defined in formula above\n", " \"\"\"\n", - " # YOU CODE HERE\n", " Z_train = np.dot(X_train.T, Y_train)\n", " u, s, vh = np.linalg.svd(Z_train, full_matrices=True)\n", " return np.dot(u, vh)" @@ -666,7 +583,7 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 208, "metadata": {}, "outputs": [], "source": [ @@ -676,10 +593,12 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 272, "metadata": {}, "outputs": [], "source": [ + "from nltk.tokenize import WordPunctTokenizer\n", + "\n", "def translate(sentence):\n", " \"\"\"\n", " :args:\n", @@ -691,14 +610,34 @@ " * transform ukrainian embedding vector\n", " * find nearest russian word and replace\n", " \"\"\"\n", - " # YOUR CODE HERE" + " \n", + " tokenizer = WordPunctTokenizer()\n", + " sent_tok = tokenizer.tokenize(sentence.lower())\n", + " tokens = sent_tok\n", + " for i, tok in enumerate(sent_tok):\n", + " if (tok.isalpha() and tok in uk_emb.vocab):\n", + " tokens[i] = ru_emb.most_similar([np.matmul(uk_emb[tok], W)], topn=1)[0][0]\n", + " \n", + " result = ' '.join(tokens)\n", + " print(result)\n", + " return result" ] }, { "cell_type": "code", - "execution_count": null, + "execution_count": 273, "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + ".\n", + "1 , 3\n", + "кот поймал мышку\n" + ] + } + ], "source": [ "assert translate(\".\") == \".\"\n", "assert translate(\"1 , 3\") == \"1 , 3\"\n", @@ -707,9 +646,392 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 274, "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "лисичка - сестричка и волк - панібрат\n", + "src: лисичка - сестричка і вовк - панібрат\n", + "dst: лисичка - сестричка и волк - панібрат\n", + "\n", + "как была себе лисичка и сделала избушку , и и живет . а оно приходят морозы . из лисичка замерзла и и побежала во село огня добувать , чтобы витопити . прибегает к одной бабы и и говорит :\n", + "src: як була собі лисичка та зробила хатку, та й живе. а це приходять холоди. от лисичка замерзла та й побігла в село вогню добувать, щоб витопити. прибігає до одної баби та й каже:\n", + "dst: как была себе лисичка и сделала избушку , и и живет . а оно приходят морозы . из лисичка замерзла и и побежала во село огня добувать , чтобы витопити . прибегает к одной бабы и и говорит :\n", + "\n", + "— здоровые были , бабушку ! со воскресеньем ... позичте мне огня , мной тебе одслужу .\n", + "src: — здорові були, бабусю! з неділею... позичте мені огню, я вам одслужу.\n", + "dst: — здоровые были , бабушку ! со воскресеньем ... позичте мне огня , мной тебе одслужу .\n", + "\n", + "— хорошо , — говорит , — лисичко - сестричка . садись погрійся немного , пока мной пирожки повибираю со печи !\n", + "src: — добре, — каже, — лисичко - сестричко. сідай погрійся трохи, поки я пиріжечки повибираю з печі!\n", + "dst: — хорошо , — говорит , — лисичко - сестричка . садись погрійся немного , пока мной пирожки повибираю со печи !\n", + "\n", + "а бабка маковые пирожки ада . из бабка выбирает пирожки и по столе кладет , чтобы прохололи ; а лисичка підгляділа и за пирог , и со хаты ... виїла мачок со середины , а туда напхала сміттячка , стулила и и бежит .\n", + "src: а баба макові пиріжки пекла. от баба вибирає пиріжки та на столі кладе, щоб прохололи; а лисичка підгляділа та за пиріг, та з хати... виїла мачок із середини, а туди напхала сміттячка, стулила та й біжить.\n", + "dst: а бабка маковые пирожки ада . из бабка выбирает пирожки и по столе кладет , чтобы прохололи ; а лисичка підгляділа и за пирог , и со хаты ... виїла мачок со середины , а туда напхала сміттячка , стулила и и бежит .\n", + "\n", + "из бежит , а парни товар гонят к воды .\n", + "src: от біжить, а хлопці товар женуть до води.\n", + "dst: из бежит , а парни товар гонят к воды .\n", + "\n", + "— здоровые были , парни !\n", + "src: — здорові були, хлопці!\n", + "dst: — здоровые были , парни !\n", + "\n", + "— здоровая , лисичко - сестричка !\n", + "src: — здорова, лисичко - сестричко!\n", + "dst: — здоровая , лисичко - сестричка !\n", + "\n", + "— проміняйте мне бычка - третячка по маковый пирожок !\n", + "src: — проміняйте мені бичка - третячка на маковий пиріжок!\n", + "dst: — проміняйте мне бычка - третячка по маковый пирожок !\n", + "\n", + "— хорошо , — дескать .\n", + "src: — добре, — кажуть.\n", + "dst: — хорошо , — дескать .\n", + "\n", + "— только , — говорит , — теперь не ешьте , а как мной вибіжу со деревни , то тогда .\n", + "src: — тільки, — каже, — тепер не їжте, а як я вибіжу з села, то тоді.\n", + "dst: — только , — говорит , — теперь не ешьте , а как мной вибіжу со деревни , то тогда .\n", + "\n", + "из поменяются . лисичка за бычка — и во лес . а парни к пирожка — а там сміттянко .\n", + "src: от помінялись. лисичка за бичка — та в ліс. а хлопці до пиріжка — а там сміттянко.\n", + "dst: из поменяются . лисичка за бычка — и во лес . а парни к пирожка — а там сміттянко .\n", + "\n", + "из прибежала лисичка к своего хатки , вирубала дерево , сделала санки , запрягла бычка — идет . аж бежит волк :\n", + "src: от прибігла лисичка до своєї хатки, вирубала дерево, зробила санки, запрягла бичка — іде. аж біжить вовк:\n", + "dst: из прибежала лисичка к своего хатки , вирубала дерево , сделала санки , запрягла бычка — идет . аж бежит волк :\n", + "\n", + "— здоровая , лисичко - сестричка !\n", + "src: — здорова, лисичко - сестричко!\n", + "dst: — здоровая , лисичко - сестричка !\n", + "\n", + "— здоровье , вовчику - братику !\n", + "src: — здоров, вовчику - братику!\n", + "dst: — здоровье , вовчику - братику !\n", + "\n", + "— куда ты взяла бычка - третячка и санки ?\n", + "src: — де ти взяла бичка - третячка і санки?\n", + "dst: — куда ты взяла бычка - третячка и санки ?\n", + "\n", + "— сделала себе !\n", + "src: — зробила собі!\n", + "dst: — сделала себе !\n", + "\n", + "— підвези же , — говорит , — меня , лисичко - сестричка !\n", + "src: — підвези ж, — каже, — мене, лисичко - сестричко!\n", + "dst: — підвези же , — говорит , — меня , лисичко - сестричка !\n", + "\n", + "— ьн , куда мной тебя возьму ? ты мне и санки поламаєш !\n", + "src: — е, куди я тебе візьму? ти мені й санки поламаєш!\n", + "dst: — ьн , куда мной тебя возьму ? ты мне и санки поламаєш !\n", + "\n", + "— ни , — говорит , — мной только одну ножку положу .\n", + "src: — ні, — каже, — я тільки одну ніжку положу.\n", + "dst: — ни , — говорит , — мной только одну ножку положу .\n", + "\n", + "— ну , дощечки !\n", + "src: — ну, клади!\n", + "dst: — ну , дощечки !\n", + "\n", + "из от ’ ехали немного , волк и говорит :\n", + "src: от од’їхали трохи, вовк і каже:\n", + "dst: из от ’ ехали немного , волк и говорит :\n", + "\n", + "— положу мной , лисичко - сестричка , и вторую ножку !\n", + "src: — положу я, лисичко - сестричко, й другу ніжку!\n", + "dst: — положу мной , лисичко - сестричка , и вторую ножку !\n", + "\n", + "— ьн , вовчику - братику , ты мне и санки поламаєш !\n", + "src: — е, вовчику - братику, ти мені й санки поламаєш!\n", + "dst: — ьн , вовчику - братику , ты мне и санки поламаєш !\n", + "\n", + "— ни , — говорит , — не поламаю !\n", + "src: — ні, — каже, — не поламаю!\n", + "dst: — ни , — говорит , — не поламаю !\n", + "\n", + "— ну , дощечки !\n", + "src: — ну, клади!\n", + "dst: — ну , дощечки !\n", + "\n", + "волк и положил . идут , едут , когда оно что-то — трісь .\n", + "src: вовк і положив. ідуть, їдуть, коли це щось — трісь.\n", + "dst: волк и положил . идут , едут , когда оно что-то — трісь .\n", + "\n", + "— ьн , вовчику - братику , ты мне уже и санки ламаєш !\n", + "src: — е, вовчику - братику, ти мені вже й санки ламаєш!\n", + "dst: — ьн , вовчику - братику , ты мне уже и санки ламаєш !\n", + "\n", + "— ни лисичко - сестричка , то мной орішок розкусив .\n", + "src: — ні лисичко - сестричко, то я орішок розкусив.\n", + "dst: — ни лисичко - сестричка , то мной орішок розкусив .\n", + "\n", + "— ну , девки !\n", + "src: — ну, гляди!\n", + "dst: — ну , девки !\n", + "\n", + "из едут ...\n", + "src: от їдуть...\n", + "dst: из едут ...\n", + "\n", + "— положу мной , лисичко - сестричка , и третью ножку ! — говорит волк .\n", + "src: — положу я, лисичко - сестричко, й третю ніжку! — каже вовк.\n", + "dst: — положу мной , лисичко - сестричка , и третью ножку ! — говорит волк .\n", + "\n", + "— куда ты положиш ? ты мне санки поламаєш ! Чем мной тогда дровець привезу ?\n", + "src: — куди ти положиш? ти мені санки поламаєш! чим я тоді дровець привезу?\n", + "dst: — куда ты положиш ? ты мне санки поламаєш ! Чем мной тогда дровець привезу ?\n", + "\n", + "— ни , — говорит , — не поламаю .\n", + "src: — ні, — каже, — не поламаю.\n", + "dst: — ни , — говорит , — не поламаю .\n", + "\n", + "— ну , дощечки .\n", + "src: — ну, клади.\n", + "dst: — ну , дощечки .\n", + "\n", + "волк положил и третью ногу . когда оно — трісь !\n", + "src: вовк положив і третю ногу. коли це — трісь!\n", + "dst: волк положил и третью ногу . когда оно — трісь !\n", + "\n", + "— ой горе ! — говорит лисичка . — иди себе прочь , вовчику , — ты мне совсем санки поламаєш .\n", + "src: — ой лихо! — каже лисичка. — йди собі геть, вовчику, — ти мені зовсім санки поламаєш.\n", + "dst: — ой горе ! — говорит лисичка . — иди себе прочь , вовчику , — ты мне совсем санки поламаєш .\n", + "\n", + "— ни , то мной орішок розкусив !\n", + "src: — ні, то я орішок розкусив!\n", + "dst: — ни , то мной орішок розкусив !\n", + "\n", + "— дай то и мне !\n", + "src: — дай же й мені!\n", + "dst: — дай то и мне !\n", + "\n", + "— нету , — говорит , — последний !\n", + "src: — нема, — каже, — останній!\n", + "dst: — нету , — говорит , — последний !\n", + "\n", + "едут себе и и едут ; вовчик и говорит :\n", + "src: їдуть собі та й їдуть; вовчик і каже:\n", + "dst: едут себе и и едут ; вовчик и говорит :\n", + "\n", + "— сяду мной совсем , лисичко !\n", + "src: — сяду я зовсім, лисичко!\n", + "dst: — сяду мной совсем , лисичко !\n", + "\n", + "— куда ты сяду , вовчику - братику ? и санки розламаєш !\n", + "src: — куди ти сядеш, вовчику - братику? і санки розламаєш!\n", + "dst: — куда ты сяду , вовчику - братику ? и санки розламаєш !\n", + "\n", + "— мной потихоньку , — говорит .\n", + "src: — я помаленьку, — каже.\n", + "dst: — мной потихоньку , — говорит .\n", + "\n", + "— ну , девки !\n", + "src: — ну, гляди!\n", + "dst: — ну , девки !\n", + "\n", + "из вовчик только что уселся , а санки так и распались ... лисичка тогда давай его лаять ! ругала - ругала и и говорит :\n", + "src: от вовчик тільки що сів, а санки так і розпались... лисичка тоді давай його лаять! лаяла - лаяла та й каже:\n", + "dst: из вовчик только что уселся , а санки так и распались ... лисичка тогда давай его лаять ! ругала - ругала и и говорит :\n", + "\n", + "— пойди же , сякий - такой сыну , дровець нарубай и по санки вирубай , и приволочи !\n", + "src: — піди ж, сякий - такий сину, дровець нарубай і на санки вирубай, і приволочи!\n", + "dst: — пойди же , сякий - такой сыну , дровець нарубай и по санки вирубай , и приволочи !\n", + "\n", + "— как то мной , — говорит вовчик , — вирубаю , когда мной не знаю , которого деревья ?\n", + "src: — як же я, — каже вовчик, — вирубаю, коли я не знаю, якого дерева?\n", + "dst: — как то мной , — говорит вовчик , — вирубаю , когда мной не знаю , которого деревья ?\n", + "\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "— ьн , — сякий - такой сыну ! как санки ламать , так и знал , а дровець вирубать , то и ни !\n", + "src: — е, — сякий - такий сину! як санчата ламать, так і знав, а дровець вирубать, то й ні!\n", + "dst: — ьн , — сякий - такой сыну ! как санки ламать , так и знал , а дровець вирубать , то и ни !\n", + "\n", + "коришувала его , коришувала ...\n", + "src: коришувала його, коришувала...\n", + "dst: коришувала его , коришувала ...\n", + "\n", + "— как увійдеш , — говорит , — во лес , то говори : « рубайся , дерево , и прямое , и кривое ! рубайся , дерево , и прямое , и кривое ! »\n", + "src: — як увійдеш, — каже, — в ліс, то кажи: « рубайся, дерево, й пряме, й криве! рубайся, дерево, й пряме, й криве! »\n", + "dst: — как увійдеш , — говорит , — во лес , то говори : « рубайся , дерево , и прямое , и кривое ! рубайся , дерево , и прямое , и кривое ! »\n", + "\n", + "волк и пошел .\n", + "src: вовк і пішов.\n", + "dst: волк и пошел .\n", + "\n", + "из приходит во лес и и говорит :\n", + "src: от приходить в ліс та й каже:\n", + "dst: из приходит во лес и и говорит :\n", + "\n", + "— рубайся , дерево , кривое и кривое !\n", + "src: — рубайся, дерево, криве й криве!\n", + "dst: — рубайся , дерево , кривое и кривое !\n", + "\n", + "дерево и нарубалось . такое корячкувате , что и по палку не выберешь — не то по полозок ! приносит вовчик к лисички что дерево . она как посмотрела , давай его снова батькувати .\n", + "src: дерево й нарубалось. таке корячкувате, що й на палицю не вибереш — не то на полозок! приносить вовчик до лисички те дерево. вона як подивилась, давай його знов батькувати.\n", + "dst: дерево и нарубалось . такое корячкувате , что и по палку не выберешь — не то по полозок ! приносит вовчик к лисички что дерево . она как посмотрела , давай его снова батькувати .\n", + "\n", + "— ты , — говорит , — сякий - такой сыну , не так говорил , как мной тебе велела !\n", + "src: — ти, — каже, — сякий - такий сину, не так казав, як я тобі веліла!\n", + "dst: — ты , — говорит , — сякий - такой сыну , не так говорил , как мной тебе велела !\n", + "\n", + "— ни , лисичко - сестричка , мной , — говорит , — стоял и всё говорил : « рубайся , дерево , кривое и кривое ! »\n", + "src: — ні, лисичко - сестричко, я, — каже, — стояв та все казав: « рубайся, дерево, криве й криве! »\n", + "dst: — ни , лисичко - сестричка , мной , — говорит , — стоял и всё говорил : « рубайся , дерево , кривое и кривое ! »\n", + "\n", + "— ьн , бесов сыну , и того недотепний ! ну , сиди же ты здесь , — мной сама пойду нарубаю .\n", + "src: — е, бісів сину, й того недотепний! ну, сиди ж ти тут, — я сама піду нарубаю.\n", + "dst: — ьн , бесов сыну , и того недотепний ! ну , сиди же ты здесь , — мной сама пойду нарубаю .\n", + "\n", + "и и пошла .\n", + "src: та й пішла.\n", + "dst: и и пошла .\n", + "\n", + "из сидит волк сам себе — так кушать хочется ! он думал - думал : « давай , — говорит , — со ’ им бычка и и побег ! » из взял проїв дыру во бычка , со середины всё виїв , а туда воробьёв напустил и соломой заткнул , а сам — деру ... приходит лисичка , сделала санки , присела ...\n", + "src: от сидить вовк сам собі — так їсти хочеться! він думав - думав: « давай, — каже, — з’їм бичка та й утечу! » от взяв проїв дірку у бичка, із середини все виїв, а туди горобців напустив і соломою заткнув, а сам — драла... приходить лисичка, зробила санчата, сіла...\n", + "dst: из сидит волк сам себе — так кушать хочется ! он думал - думал : « давай , — говорит , — со ’ им бычка и и побег ! » из взял проїв дыру во бычка , со середины всё виїв , а туда воробьёв напустил и соломой заткнул , а сам — деру ... приходит лисичка , сделала санки , присела ...\n", + "\n", + "— гей , бычок - третячок !\n", + "src: — гей, бичок - третячок!\n", + "dst: — гей , бычок - третячок !\n", + "\n", + "аж бычок не увозит . она его хлыстом . как ударила , а віхоть соломы и выпал ; а воробьи — хррр !\n", + "src: аж бичок не везе. вона його батогом. як ударила, а віхоть соломи й випав; а горобці — хррр!\n", + "dst: аж бычок не увозит . она его хлыстом . как ударила , а віхоть соломы и выпал ; а воробьи — хррр !\n", + "\n", + "— а , сякий - такой вовчик ! постой то , — говорит , — мной тебе вспомню !\n", + "src: — а, сякий - такий вовчик! постій же, — каже, — я тобі згадаю!\n", + "dst: — а , сякий - такой вовчик ! постой то , — говорит , — мной тебе вспомню !\n", + "\n", + "и и пошла ...\n", + "src: та й пішла...\n", + "dst: и и пошла ...\n", + "\n", + "легла по пути и и лежит . идут казаки со рыбой ; она притаїлась , языки неживая . казаки смотрят — аж лисица :\n", + "src: лягла на шляху та й лежить. ідуть чумаки з рибою; вона притаїлась, мов нежива. чумаки дивляться — аж лисиця:\n", + "dst: легла по пути и и лежит . идут казаки со рыбой ; она притаїлась , языки неживая . казаки смотрят — аж лисица :\n", + "\n", + "— візьмім , — дескать , — бра , и продадим — будет за что хоть погреться !\n", + "src: — візьмім, — кажуть, — бра, та продамо — буде за що хоч погрітися!\n", + "dst: — візьмім , — дескать , — бра , и продадим — будет за что хоть погреться !\n", + "\n", + "сбросили ей по последний визы и и поехали . идут и и едут . а лисичка - сестричка видит , что они не смотрят , и всё кида по рыбки по дорогу , всё кида ... из как навязала уже много , тогда втихаря и сама слезла . казаки же поехали себе дальше , а она позбирала рыбку , присела и и ест .\n", + "src: скинули її на останній віз та й поїхали. ідуть та й їдуть. а лисичка - сестричка бачить, що вони не дивляться, та все кида по рибці на дорогу, все кида... от як накидала вже багато, тоді нишком і сама злізла. чумаки ж поїхали собі далі, а вона позбирала рибку, сіла та й їсть.\n", + "dst: сбросили ей по последний визы и и поехали . идут и и едут . а лисичка - сестричка видит , что они не смотрят , и всё кида по рыбки по дорогу , всё кида ... из как навязала уже много , тогда втихаря и сама слезла . казаки же поехали себе дальше , а она позбирала рыбку , присела и и ест .\n", + "\n", + "когда оно бежит вовчик :\n", + "src: коли це біжить вовчик:\n", + "dst: когда оно бежит вовчик :\n", + "\n", + "— здоровая была , лисичко - сестричка !\n", + "src: — здорова була, лисичко - сестричко!\n", + "dst: — здоровая была , лисичко - сестричка !\n", + "\n", + "— здоровье , вовчику - братику !\n", + "src: — здоров, вовчику - братику!\n", + "dst: — здоровье , вовчику - братику !\n", + "\n", + "— что ты делаешь , лисичко - сестричка ?\n", + "src: — що ти робиш, лисичко - сестричко?\n", + "dst: — что ты делаешь , лисичко - сестричка ?\n", + "\n", + "— рыбу , — говорит , — им .\n", + "src: — рибу, — каже, — їм.\n", + "dst: — рыбу , — говорит , — им .\n", + "\n", + "— дай то и мне !\n", + "src: — дай же й мені!\n", + "dst: — дай то и мне !\n", + "\n", + "— пойди себе налови .\n", + "src: — піди собі налови.\n", + "dst: — пойди себе налови .\n", + "\n", + "— так как то мной наловлю , когда мной не умею ?\n", + "src: — так як же я наловлю, коли я не вмію?\n", + "dst: — так как то мной наловлю , когда мной не умею ?\n", + "\n", + "— ну , как знаешь , а мной не дам и косточки !\n", + "src: — ну, як знаєш, а я не дам і кісточки!\n", + "dst: — ну , как знаешь , а мной не дам и косточки !\n", + "\n", + "— так хоть научить меня , как наловить .\n", + "src: — так хоч навчи мене, як наловить.\n", + "dst: — так хоть научить меня , как наловить .\n", + "\n", + "а лисичка и дума : « постой то ! ты моего бычка - третячка со ’ ел — мной теперь тебе оддячу ! »\n", + "src: а лисичка й дума: « постій же! ти мого бичка - третячка з’їв — я тепер тобі оддячу! »\n", + "dst: а лисичка и дума : « постой то ! ты моего бычка - третячка со ’ ел — мной теперь тебе оддячу ! »\n", + "\n", + "— а так , — говорит , — пойди к проруби , устроми во прорубь хвост и потихоньку воды ним и приказуй : « ловись , рыбка , имела и большая ! ловись , рыбка , имела и большая ! » то она и наловиться .\n", + "src: — а так, — каже, — піди до ополонки, устроми в ополонку хвіст та потихеньку води ним і приказуй: « ловись, рибко, мала й велика! ловись, рибко, мала й велика! » то вона й наловиться.\n", + "dst: — а так , — говорит , — пойди к проруби , устроми во прорубь хвост и потихоньку воды ним и приказуй : « ловись , рыбка , имела и большая ! ловись , рыбка , имела и большая ! » то она и наловиться .\n", + "\n", + "— ну , спасибо за науку ! — говорит вовчик .\n", + "src: — ну, спасибі за науку! — каже вовчик.\n", + "dst: — ну , спасибо за науку ! — говорит вовчик .\n", + "\n", + "из прибегает вовчик к проруби , устромив во прорубь хвост :\n", + "src: от прибігає вовчик до ополонки, устромив в ополонку хвіст:\n", + "dst: из прибегает вовчик к проруби , устромив во прорубь хвост :\n", + "\n", + "— ловись , — говорит , — рыбка , имела и большая !\n", + "src: — ловись, — каже, — рибко, мала й велика!\n", + "dst: — ловись , — говорит , — рыбка , имела и большая !\n", + "\n", + "а лисичка со камыша :\n", + "src: а лисичка з очерету:\n", + "dst: а лисичка со камыша :\n", + "\n", + "— мерзни , мерзни , волчий хвост !\n", + "src: — мерзни, мерзни, вовчий хвіст!\n", + "dst: — мерзни , мерзни , волчий хвост !\n", + "\n", + "а мороз дворе такой , что аж шкварчить ! вовчик хвостиком всё водит и :\n", + "src: а мороз надворі такий, що аж шкварчить! вовчик хвостиком усе водить та:\n", + "dst: а мороз дворе такой , что аж шкварчить ! вовчик хвостиком всё водит и :\n", + "\n", + "— ловись , рыбка , имела и большая !\n", + "src: — ловись, рибко, мала й велика!\n", + "dst: — ловись , рыбка , имела и большая !\n", + "\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "а лисичка :\n", + "src: а лисичка:\n", + "dst: а лисичка :\n", + "\n", + "— мерзни , мерзни , волчий хвост !\n", + "src: — мерзни, мерзни, вовчий хвіст!\n", + "dst: — мерзни , мерзни , волчий хвост !\n", + "\n", + "пока ловил вовчик рыбу , пока хвост так и пугаясь во проруби ! тогда лисичка во село :\n", + "src: поки ловив вовчик рибу, поки хвіст так і прикипів в ополонці! тоді лисичка в село:\n", + "dst: пока ловил вовчик рыбу , пока хвост так и пугаясь во проруби ! тогда лисичка во село :\n", + "\n", + "— идите , люди , волка мочь !\n", + "src: — ідіть, люди, вовка бить!\n", + "dst: — идите , люди , волка мочь !\n", + "\n", + "люди как вискочать — со кочергами , со рогачами , со топорами : убили того волка и пропал бедный ! а лисичка и сих живет во своей хате .\n", + "src: люди як вискочать — з кочергами, з рогачами, із сокирами: вбили того вовка і пропав бідний! а лисичка й досі живе у своїй хатці.\n", + "dst: люди как вискочать — со кочергами , со рогачами , со топорами : убили того волка и пропал бедный ! а лисичка и сих живет во своей хате .\n", + "\n" + ] + } + ], "source": [ "for sentence in uk_sentences:\n", " print(\"src: {}\\ndst: {}\\n\".format(sentence, translate(sentence)))" diff --git a/week01_embeddings/seminar.ipynb b/week01_embeddings/seminar.ipynb index 6d0a4c84..94ed5d2d 100644 --- a/week01_embeddings/seminar.ipynb +++ b/week01_embeddings/seminar.ipynb @@ -952,9 +952,7 @@ "# normalize them as just lke with pca\n", "\n", "tsne = TSNE(n_components=2)\n", - "word_tsne = scaller.fit_transform(tsne.fit_transform(word_vectors))\n", - "\n", - "# word_tsne = #YOUR CODE" + "word_tsne = scaller.fit_transform(tsne.fit_transform(word_vectors))" ] }, { @@ -1078,7 +1076,6 @@ " w_vectors = []\n", " for w in tokenizer.tokenize(phrase.lower()):\n", " if w in model.vocab:\n", - "# print(f\"{w}: {model.get_vector(w)}\")\n", " w_vectors.append(model.get_vector(w))\n", " \n", " if len(w_vectors) > 0:\n",