examples/ruGPT3XL_generation.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "accelerator": "GPU",
    "colab": {
      "name": "ruGPT3XL_generation.ipynb",
      "provenance": [],
      "collapsed_sections": []
    },
    "kernelspec": {
      "display_name": "Python 3",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.7.8"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "r-XkQgf-ufgE"
      },
      "source": [
        "## Install lib"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_ww7j9jv9vz4"
      },
      "source": [
        "%%bash\n",
        "rm -rf /usr/local/cuda\n",
        "ln -s /usr/local/cuda-10.1 /usr/local/cuda"
      ],
      "execution_count": 1,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DlBd2_Rx-AF6",
        "outputId": "9bcb917b-47e3-4cd4-bd25-76a2c097f19a",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "!nvcc --version"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "nvcc: NVIDIA (R) Cuda compiler driver\n",
            "Copyright (c) 2005-2019 NVIDIA Corporation\n",
            "Built on Sun_Jul_28_19:07:16_PDT_2019\n",
            "Cuda compilation tools, release 10.1, V10.1.243\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qNYm0tJkFhQ-",
        "outputId": "6e8f725d-3e8b-42b6-d7b4-6b73c35d5382",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "!stat /usr/local/cuda"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "  File: /usr/local/cuda -> /usr/local/cuda-10.1\n",
            "  Size: 20        \tBlocks: 0          IO Block: 4096   symbolic link\n",
            "Device: 34h/52d\tInode: 3028158     Links: 1\n",
            "Access: (0777/lrwxrwxrwx)  Uid: (    0/    root)   Gid: (    0/    root)\n",
            "Access: 2021-11-22 11:48:01.494879953 +0000\n",
            "Modify: 2021-11-22 11:48:01.447879968 +0000\n",
            "Change: 2021-11-22 11:48:01.447879968 +0000\n",
            " Birth: -\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "R_s1SIgOXFqu",
        "outputId": "6e1b91c8-6ac1-43c2-bb22-75c85465f038",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "!pip uninstall triton"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\u001b[33mWARNING: Skipping triton as it is not installed.\u001b[0m\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "aEyNr3ECXdWy"
      },
      "source": [
        "!pip uninstall torch"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gH2kLmcXmL3e"
      },
      "source": [
        "%%bash\n",
        "export LD_LIBRARY_PATH=/usr/lib/"
      ],
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "NRkBHiuOFYB-",
        "outputId": "18ddbde9-eb54-4370-9995-757a32e16eb3",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "!apt-get install clang-9 llvm-9 llvm-9-dev llvm-9-tools"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Reading package lists... Done\n",
            "Building dependency tree       \n",
            "Reading state information... Done\n",
            "clang-9 is already the newest version (1:9-2~ubuntu18.04.2).\n",
            "llvm-9 is already the newest version (1:9-2~ubuntu18.04.2).\n",
            "llvm-9-dev is already the newest version (1:9-2~ubuntu18.04.2).\n",
            "llvm-9-tools is already the newest version (1:9-2~ubuntu18.04.2).\n",
            "0 upgraded, 0 newly installed, 0 to remove and 37 not upgraded.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WhaVMe06-582"
      },
      "source": [
        "!pip install torch==1.6.0+cu101 torchvision==0.7.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "4tUl_ovYQz0x",
        "outputId": "f0b6fd1f-74ae-49a9-a8b9-a941cebc602d"
      },
      "source": [
        "%%writefile setup.sh\n",
        "\n",
        "git clone https://github.com/NVIDIA/apex\n",
        "cd apex\n",
        "pip install -v --disable-pip-version-check --no-cache-dir --global-option=\"--cpp_ext\" --global-option=\"--cuda_ext\" ./"
      ],
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Writing setup.sh\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xbA0nb2-Q1bF"
      },
      "source": [
        "!sh setup.sh"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Uz8j2jFOEjL5"
      },
      "source": [
        "!pip install triton==0.2.3"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2Ycg7S8SFOBr"
      },
      "source": [
        "# !pip uninstall -y typing"
      ],
      "execution_count": 9,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wol0NpsxFRRz"
      },
      "source": [
        "!pip install cpufeature"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LEyrQ-spCdhR"
      },
      "source": [
        "!DS_BUILD_CPU_ADAM=1 DS_BUILD_SPARSE_ATTN=1 pip install deepspeed==0.3.7"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "---7k9osCliv",
        "outputId": "de3f13c7-a617-4672-e7fd-f32c33346357"
      },
      "source": [
        "!ds_report"
      ],
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "--------------------------------------------------\n",
            "DeepSpeed C++/CUDA extension op report\n",
            "--------------------------------------------------\n",
            "NOTE: Ops not installed will be just-in-time (JIT) compiled at\n",
            "      runtime if needed. Op compatibility means that your system\n",
            "      meet the required dependencies to JIT install the op.\n",
            "--------------------------------------------------\n",
            "JIT compiled ops requires ninja\n",
            "ninja .................. \u001b[92m[OKAY]\u001b[0m\n",
            "--------------------------------------------------\n",
            "op name ................ installed .. compatible\n",
            "--------------------------------------------------\n",
            "cpu_adam ............... \u001b[92m[YES]\u001b[0m ...... \u001b[92m[OKAY]\u001b[0m\n",
            "fused_adam ............. \u001b[93m[NO]\u001b[0m ....... \u001b[92m[OKAY]\u001b[0m\n",
            "fused_lamb ............. \u001b[93m[NO]\u001b[0m ....... \u001b[92m[OKAY]\u001b[0m\n",
            "sparse_attn ............ \u001b[92m[YES]\u001b[0m ...... \u001b[92m[OKAY]\u001b[0m\n",
            "transformer ............ \u001b[93m[NO]\u001b[0m ....... \u001b[92m[OKAY]\u001b[0m\n",
            "stochastic_transformer . \u001b[93m[NO]\u001b[0m ....... \u001b[92m[OKAY]\u001b[0m\n",
            "utils .................. \u001b[93m[NO]\u001b[0m ....... \u001b[92m[OKAY]\u001b[0m\n",
            "--------------------------------------------------\n",
            "DeepSpeed general environment info:\n",
            "torch install path ............... ['/usr/local/lib/python3.7/dist-packages/torch']\n",
            "torch version .................... 1.6.0+cu101\n",
            "torch cuda version ............... 10.1\n",
            "nvcc version ..................... 10.1\n",
            "deepspeed install path ........... ['/usr/local/lib/python3.7/dist-packages/deepspeed']\n",
            "deepspeed info ................... 0.3.7, unknown, unknown\n",
            "deepspeed wheel compiled w. ...... torch 1.6, cuda 10.1\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DqPIkEYjCmLH"
      },
      "source": [
        "import deepspeed.ops.sparse_attention.sparse_attn_op"
      ],
      "execution_count": 15,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gw4lJHfX4QnB"
      },
      "source": [
        "!rm -rf ru-gpts"
      ],
      "execution_count": 1,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "t43yH5k1jtZZ",
        "outputId": "2727814a-bb77-4690-921b-a6ec7be409f6",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "!git clone  https://github.com/sberbank-ai/ru-gpts"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Cloning into 'ru-gpts'...\n",
            "remote: Enumerating objects: 673, done.\u001b[K\n",
            "remote: Counting objects: 100% (168/168), done.\u001b[K\n",
            "remote: Compressing objects: 100% (87/87), done.\u001b[K\n",
            "remote: Total 673 (delta 103), reused 135 (delta 80), pack-reused 505\u001b[K\n",
            "Receiving objects: 100% (673/673), 402.50 KiB | 3.73 MiB/s, done.\n",
            "Resolving deltas: 100% (403/403), done.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "H2XiJvm_tQgL"
      },
      "source": [
        "!pip install transformers==3.5.1"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1RCujWwJUwm-"
      },
      "source": [
        "!cp ru-gpts/src_utils/trainer_pt_utils.py /usr/local/lib/python3.7/dist-packages/transformers/trainer_pt_utils.py"
      ],
      "execution_count": 18,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7TbybJfIpBVa"
      },
      "source": [
        "# Test model"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "rU8lvJHAjpPQ"
      },
      "source": [
        "### Load model"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EnTy1SEajpPV"
      },
      "source": [
        "import warnings\n",
        "warnings.filterwarnings(\"ignore\")"
      ],
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Z-DSEz0ljpPV"
      },
      "source": [
        "import sys\n",
        "sys.path.append(\"ru-gpts/\")"
      ],
      "execution_count": 4,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_9GABoxNVpH4"
      },
      "source": [
        "import os\n",
        "os.environ[\"USE_DEEPSPEED\"] = \"1\""
      ],
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_HeCFnJEjpPV"
      },
      "source": [
        "from src.xl_wrapper import RuGPT3XL"
      ],
      "execution_count": 6,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "OdyughHDjpPV"
      },
      "source": [
        "Note! seq_len is max sequence length for generation used in generation process. Max avialable seq_len is 2048 (in tokens).\n",
        "Also inference takes around 10 Gb GPU memory."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "56aNJNPYjpPW",
        "scrolled": true,
        "outputId": "a10a94d1-8f37-4d1d-c155-f2e712b5f810"
      },
      "source": [
        "# gpt = RuGPT3XL.from_pretrained(\"sberbank-ai/rugpt3xl\", seq_len=512)\n",
        "gpt = RuGPT3XL.from_pretrained(\"sberbank-ai/rugpt3xl\", seq_len=512)\n",
        "# model parallel group is not initialized - если не подключена gpu "
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "> initializing model parallel with size 1\n",
            "> initializing model parallel cuda seeds on global rank 0, model parallel rank 0, and data parallel rank 0 with model parallel seed: 3952 and data parallel seed: 1234\n",
            "Use alternating sparse & dense attention layers\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Aitfbg-s2CAr"
      },
      "source": [
        "# gpt.model = gpt.model.float()"
      ],
      "execution_count": 8,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7qR_3287jpPW"
      },
      "source": [
        "### Get logits"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9yfRylnnjpPW"
      },
      "source": [
        "logits = gpt(\"Кто был президентом США в 2020? \").logits"
      ],
      "execution_count": 9,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BHcwcMwHjpPX",
        "outputId": "aad1f6dc-9f5a-4c10-9fec-9c1ac3eac479",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "type(logits), logits.shape"
      ],
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(torch.Tensor, torch.Size([1, 8, 50264]))"
            ]
          },
          "metadata": {},
          "execution_count": 10
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "J7a29eADjpPX"
      },
      "source": [
        "### Get loss"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "q44D1VlojpPX"
      },
      "source": [
        "input_ids = [gpt.tokenizer(\"Кто был президентом США в 2020? \")['input_ids']]\n",
        "labels = input_ids"
      ],
      "execution_count": 11,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9zIpNDegjpPX"
      },
      "source": [
        "import torch\n",
        "\n",
        "\n",
        "with torch.no_grad():\n",
        "    loss = gpt(input_ids=input_ids, labels=labels).loss"
      ],
      "execution_count": 12,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WcYvXFsBjpPY",
        "outputId": "64ab6b82-2842-4a5b-ffd4-abbf53e71f69",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "loss"
      ],
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[tensor(4.3879, device='cuda:0')]"
            ]
          },
          "metadata": {},
          "execution_count": 13
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Lgi-JUNijpPY"
      },
      "source": [
        "### Simple generation"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Z0AIfKPPjpPY"
      },
      "source": [
        "def filter_resuls(nr):\n",
        "    return [x[:x.find(\"<|endoftext|>\")] for x in nr]"
      ],
      "execution_count": 14,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "aHWixkU3jpPY"
      },
      "source": [
        "Greedy decoding"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wla741VxjpPY",
        "outputId": "cf7d242b-096f-4701-f4e6-12c14d554c81",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "filter_resuls(gpt.generate(\n",
        "    \"Кто был президентом США в 2020? \",\n",
        "    max_length=50,\n",
        "    no_repeat_ngram_size=3,\n",
        "    repetition_penalty=2.,\n",
        "))"
      ],
      "execution_count": 15,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['Кто был президентом США в 2020? \\nВ этом году выборы президента Соединенных Штатов Америки пройдут уже через несколько дней. И, как и всегда на протяжении последних лет (а это не первый раз), кандидаты будут бороться за право стать главой государства с помощь']"
            ]
          },
          "metadata": {},
          "execution_count": 15
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "I_ltaza-jpPZ"
      },
      "source": [
        "sample"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "3oPE1lP2jpPZ",
        "outputId": "01de4bdb-9305-40b9-abef-fd95c5db9171",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "filter_resuls(gpt.generate(\n",
        "    \"Кто был президентом США в 2020? \", do_sample=True, num_return_sequences=5,\n",
        "    max_length=50,\n",
        "    no_repeat_ngram_size=3,\n",
        "    repetition_penalty=2.,\n",
        "))"
      ],
      "execution_count": 16,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['Кто был президентом США в 2020? \\nНа этой неделе, после того как американские граждане избрали Трампа. Демократическая партия сделала заявление следующего содержания: \"Мы не хотим этого человека на посту президента\". Таким образом демократы дали понять что их кандидат',\n",
              " 'Кто был президентом США в 2020? ______________________________________________________ 1) Гарри Трумэн 2)\"Джордж Б. Вудро\" 3)(1929-1994гг.) 4(1884 - 1981 гг.), 25 лет как ушел',\n",
              " 'Кто был президентом США в 2020? \\nЗа кого будет голосовать Америка после 11 января. В январе 2021 года истекает срок президентства Барака Обамы (у него осталось 40 дней). По традиции, кандидат от Республиканской партии должен выдвигаться последни',\n",
              " 'Кто был президентом США в 2020? \\n2022 год станет переломным для истории мира, и некоторые страны уже объявили о своих желаниях участвовать или проиграть предстоящие выборы. Но если посмотреть на другие кандидатуры кандидатов по сравнению с Трампом многи',\n",
              " 'Кто был президентом США в 2020? \\nКакова предвыборная программа Трампа и его ключевые обещания на ближайшие шесть лет \\n\\xa0В статье «Новый президентский кандидат, бывший губернатор Аляски» мы рассказали об очень интересных вещах. Это действительно новый формат прези']"
            ]
          },
          "metadata": {},
          "execution_count": 16
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9FbokoJDjpPZ"
      },
      "source": [
        "### Top_k top_p filtering"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8L-CF6uLjpPZ",
        "outputId": "b0098d11-ed78-4684-febf-461a499922dd",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "filter_resuls(gpt.generate(\n",
        "    \"Александр Сергеевич Пушкин родился в \",\n",
        "    top_k=5,\n",
        "    top_p=0.95,\n",
        "    temperature=1.2,\n",
        "    num_return_sequences=5,\n",
        "    do_sample=True,\n",
        "    max_length=50,\n",
        "    no_repeat_ngram_size=3,\n",
        "    repetition_penalty=2.,\n",
        "))"
      ],
      "execution_count": 17,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['Александр Сергеевич Пушкин родился в \\nСанкт-Петербурге (по некоторым данным - 23 апреля 1799 г.), но, как известно из школьного курса истории, умер на дуэли. \\n В настоящее время принято считать датой его рождения 22 ноября по стодне',\n",
              " 'Александр Сергеевич Пушкин родился в \\nгороде Москве. В 1820 году, когда ему не было еще и шести лет отроду он поступил на службу к князю Николаю Борисовичу Юсупову (1801-1787). С этого времени жизн',\n",
              " 'Александр Сергеевич Пушкин родился в \\n1817 году, умер через несколько лет после смерти своей любимой матери - Екатерины. Отец его был человеком очень образованным и умным: он владел французским языком лучше всех своих сыновей; сам писал по-французски стихи ',\n",
              " 'Александр Сергеевич Пушкин родился в \\n1812 году, умер через два дня после рождения. Его детство и юность прошли среди друзей его отца – Александра Сергеевича Грибоедова; с детства они были неразлучны (Грибовские жили н',\n",
              " 'Александр Сергеевич Пушкин родился в \\nМоскве. В 1817 году окончил Царскосельский лицей, где учился с Аракчеевым (1816-1909). Поэт участвовал во многих военных кампаниях и сражениями: русск']"
            ]
          },
          "metadata": {},
          "execution_count": 17
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "scs7xKdhjpPZ"
      },
      "source": [
        "### Beamsearch"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "7Qw65CVzjpPZ",
        "outputId": "ab7f13ee-ff89-4ab6-88c8-f0a91c56f8bc",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "filter_resuls(gpt.generate(\n",
        "    text=\"Александр Сергеевич Пушкин родился в \",\n",
        "    max_length=50,\n",
        "    num_beams=10,\n",
        "    no_repeat_ngram_size=3,\n",
        "    repetition_penalty=2.,\n",
        "    num_return_sequences=5,\n",
        "))"
      ],
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['Александр Сергеевич Пушкин родился в \\n1799 году в селе Михайловском Псковской губернии. Его отец, \\nАлександр Львович Пушкин, происходил из старинного \\nдворянского рода. Мать, урожденная Ганнибал, был',\n",
              " 'Александр Сергеевич Пушкин родился в \\n1799 году в селе Михайловском Псковской губернии. Его отец, \\nАлександр Львович Пушкин, происходил из старинного \\nдворянского рода. Мать поэта, Мария Алексеевна Ганнибал',\n",
              " 'Александр Сергеевич Пушкин родился в \\n1799 году в селе Михайловском Псковской губернии. Его отец, \\nАлександр Львович Пушкин, происходил из старинного \\nдворянского рода. Мать поэта, Наталья Николаевна \\nПушкин',\n",
              " 'Александр Сергеевич Пушкин родился в \\n1799 году в селе Михайловском Псковской губернии. Его отец, \\nАлександр Львович Пушкин, происходил из старинного \\nдворянского рода. Мать, урождённая Ганнибал, был',\n",
              " 'Александр Сергеевич Пушкин родился в \\n1799 году в селе Михайловском Псковской губернии. Его отец, \\nАлександр Львович Пушкин, происходил из старинного \\nдворянского рода. Мать, урожденная Ганнибал,']"
            ]
          },
          "metadata": {},
          "execution_count": 18
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "sw4Iv-Dl3q05"
      },
      "source": [
        ""
      ],
      "execution_count": null,
      "outputs": []
    }
  ]
}