python_lesson1_tools/lesson1_part1_python_intro_tools.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "<center>\n",
    "<img src=\"../img/python_theme.png\">\n",
    "# MLClass. \"Прикладной анализ данных\"\n",
    "# Модуль \"Инструментарий Data Science\"\n",
    "<img src=\"../img/mlclass_logo.jpg\" height=\"240\" width=\"240\">\n",
    "\n",
    "## Автор материала: Юрий Кашницкий, ФКН НИУ ВШЭ\n",
    "</center>\n",
    "Материал распространяется на условиях лицензии <a href=\"https://opensource.org/licenses/MS-RL\">Ms-RL</a>. Можно использовать в любых целях, кроме коммерческих, но с обязательным упоминанием автора материала."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\"Инструментарий Data Science\" - первый курс серии, посвящённый изучению основ и методологии программирования на языке Python, который широко используется для разработки и реализации методов анализа данных. Рассматриваются основные структуры и алгоритмы, работа с данными разного вида (тексты, бинарные файлы, изображения), инструменты и средства разработки программ. Конечно, также после каждого урока даются задачи для самостоятельного решения, которые обсуждаются на следующем уроке. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Содержание курса\n",
    " - Урок 1. Введение в Python и средства разработки\n",
    "     - Установка Anaconda и знакомство с интерпретатором Python\n",
    "     - Обзор и настройка среды разработки PyCharm\n",
    "     - IPython и Jupyter для воспроизводимых исследований\n",
    "     - Введение в систему контроля версий git и веб-сервис GitHub \n",
    "     - Обзор возможностей сборки библиотек Anaconda\n",
    "     - Регистрация на сайте дистанционного курса по информатике\n",
    " - Урок 2. Основы языка Python\n",
    "     - Типы объектов языка Python\n",
    "     - Основные операции с типами\n",
    "     - Обзор стандартной библиотеки\n",
    "     - Операторы, условные конструкции, циклы\n",
    "     - Практика решения простейших задач\n",
    " - Урок 3. Структуры данных I\n",
    "     - Последовательности: строки, списки, кортежи\n",
    "     - Алгоритмы поиска в одномерных списках\n",
    "     - Обзор стандартной библиотеки\n",
    "     - Методы сортировки одномерных списков\n",
    "     - Алгоритмы на строках\n",
    "     - Разбор самых распространенных задач на списки и строки\n",
    " - Урок 4. Структуры данных II\n",
    "     - Введение в продвинутые структуры данных\n",
    "     - Словари\n",
    "     - Стек, очередь, куча, дерево, граф\n",
    "     - Поиск в глубину и поиск в ширину\n",
    "     - Обзор классических алгоритмов на графах\n",
    "     - Разбор задач на слова и множества. Задачи на стек и очередь\n",
    " - Урок 5. Функции. Рекурсия\n",
    "     - Понятие функции, ее сигнатуры\n",
    "     - Модули\n",
    "     - Понятие индукции\n",
    "     - Рекурсия\n",
    "     - Парадигма \"Разделяй и Властвуй\"\n",
    "     - Разбор практических задач на рекурсию\n",
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Урок 1. Введение в Python и средства разработки\n",
    "### Часть 1. Установка Anaconda и знакомство с интерпретатором Python"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Python - это свободный интерпретируемый объектно-ориентированный расширяемый встраиваемый язык программирования очень высокого уровня (Г.Россум, Ф.Л.Дж.Дрейк, Д.С.Откидач \"Язык программирования Python\")\n",
    " - свободный - все исходные тексты открыты для любого использования, даже коммерческого\n",
    " - интерпретируемый - использует \"позднее связывание\"\n",
    " - объектно-ориентированный - классическая ОО модель с множественным наследованием\n",
    " - расширяемый - имеет строго определенные API для создания модулей, типов и классов на C или C++\n",
    " - встраиваемый - имеет строго определенные API для встраивания интерпретатора в другие программы\n",
    " - очень высокого уровня - динамическая типизация, встроенные типы данных высокого уровня (например, словари), классы, модули, исключения"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Код на Python чаще всего намного более читаемый, чем на C или C++, потому что:\n",
    "- типы данных высокого уровня позволяют выражать сложные операции одной или несколькими простыми командами\n",
    "- группирование инструкций выполняется отступами, а не фигурными скобками\n",
    "- не надо объявлять переменные"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"../img/anaconda.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В этом курсе мы используем сборку библиотек <a href=\"http://continuum.io/downloads\">Anaconda</a> версии 2.3.0, включающую интерпретатор Python версии 2.7 (но эти тетрадки можно выполнять и с Python 3.4), библиотеки для научных вычислений NumPy и SciPy, анализа данных Pandas, машинного обучения Scikit-learn и около 200 других. \n",
    "\n",
    "Следуем инструкциям, проверяем установку. В командной строке набираем"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<p><i><b>>> python</b></i></p>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Дзен языка Python"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "The Zen of Python, by Tim Peters\n",
      "\n",
      "Beautiful is better than ugly.\n",
      "Explicit is better than implicit.\n",
      "Simple is better than complex.\n",
      "Complex is better than complicated.\n",
      "Flat is better than nested.\n",
      "Sparse is better than dense.\n",
      "Readability counts.\n",
      "Special cases aren't special enough to break the rules.\n",
      "Although practicality beats purity.\n",
      "Errors should never pass silently.\n",
      "Unless explicitly silenced.\n",
      "In the face of ambiguity, refuse the temptation to guess.\n",
      "There should be one-- and preferably only one --obvious way to do it.\n",
      "Although that way may not be obvious at first unless you're Dutch.\n",
      "Now is better than never.\n",
      "Although never is often better than *right* now.\n",
      "If the implementation is hard to explain, it's a bad idea.\n",
      "If the implementation is easy to explain, it may be a good idea.\n",
      "Namespaces are one honking great idea -- let's do more of those!\n"
     ]
    }
   ],
   "source": [
    "import this"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Немного настроек для совместимости Python разных версий:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# Python 2 and 3 compatibility\n",
    "# pip install future\n",
    "from __future__ import (absolute_import, division,\n",
    "                        print_function, unicode_literals)\n",
    "from builtins import *"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Интерпретатор можно использовать в качестве настольного калькулятора"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "4\n",
      "2187\n",
      "4.12\n"
     ]
    }
   ],
   "source": [
    "print(2 + 2)\n",
    "print(3 ** 7)\n",
    "import math\n",
    "print(round(math.sqrt(17), 2))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Но Python способен и на большее. Выведем все двузначные члены последовательности Фиббоначи (используя функцию вывода print из Python версии 3):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1,1,2,3,5,8,13,21,34,55,89,"
     ]
    }
   ],
   "source": [
    "a, b = 1, 1\n",
    "while a < 100:\n",
    "    print(a, end=',')\n",
    "    a, b = b, a + b"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Изучать Python продолжим на следующем уроке, а пока настроим среду для грамотной работы с кодом и решения задач."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Часть 2. Обзор и настройка среды разработки PyCharm"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a href=\"https://www.jetbrains.com/pycharm/\">PyCharm</a> компании JetBrains - одна из самых популярных сред разработки (IDE) на языке Python. Из плюсов, перечисленных в одном из <a href=\"http://habrahabr.ru/post/122018/\">обзоров</a> и важных для нас в этом курсе:\n",
    " - интуитивно понятная интеграция с Git\n",
    " - удобное автоматическое дополнение текста\n",
    " - множество \"горячих клавиш\" для перехода к определения сущности, списка упоминаний конструкции, подсказок по сигнатуре функций и прочих мелочей\n",
    " - встроенная проверка кода на соответствие стандарту PEP\n",
    " \n",
    " <img src=\"../img/pycharm_screen.png\">\n",
    " \n",
    " <a href=\"http://pythonworld.ru/osnovy/pycharm-python-tutorial.html\">Введение в PyCharm</a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Часть 3. IPython и Jupyter для воспроизводимых исследований"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "То, что Вы сейчас видите - это тетрадка IPython (IPython notebook), интерактивная среда для вычислений, способная совмещать код, картинки, markdown-разметку и графики.\n",
    "\n",
    "<img src=\"../img/ipython_ex.png\">\n",
    "Пример с сайта http://ipython.org/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Тетрадка IPython имеет расширение *.ipynb* и запускается локально командой\n",
    "<p><i><b>>> ipython notebook</b></i></p>\n",
    "\n",
    "Выполнять и редактировать тетрадку можно в браузере http://localhost:8888/\n",
    "\n",
    "Начиная с версии IPython 4.0, большая часть проекта перешла в Jupyter. <a href=\"http://jupyter.org/\">Jupyter</a> - это веб-приложение для обмена документами, в которых можно выполнять код на 40 популярных в анализе данных языках, включая Python, R, Julia и Scala. \n",
    "\n",
    "Тетрадки IPython - отличный способ представить идею, сразу поделиться кодом, хороши для воспроизводимости исследований, включающих написание кода."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "### Часть 4. Введение в систему контроля версий git и веб-сервис GitHub "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Git - популярная система контроля версий, GitHub - популярный веб-сервис для совместной работы над IT-проектами.\n",
    "<a href=\"http://sixrevisions.com/git/interactive-git-tutorials/\">Обзор</a> трех ресурсов для интерактивного введения в Git. <a href=\"http://githowto.com/\">Еще один</a>."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Скачиваем (клонируем) какой-нибудь репозиторий:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<p><i><b>>> git clone https://github.com/Yorko/mlclass_kaggle_car_insurance.git</b></i></p>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Добавим файл. Например, файл primes_sum_1000.py с кодом для подсчета суммы всех простых чисел, не превосходящих 1000.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<p><i><b>>> git add primes_sum_1000.py</b></i></p>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Внесем локально изменения (зафиксируем их в локальном репозитории)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<p><i><b>>> git commit -m \"add primes sum calculator\"</b></i></p>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Отправим изменения на сервер в ветку master"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<p><i><b>>> git push -u origin master</b></i></p>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "То же самое можно делать используя графический интерфейс, например <a href=\"http://www.syntevo.com/smartgit/\">SmartGit</a>."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"../img/smart_git.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "При использовании Git и GitHub приходится иметь дело с разделением ветвей кода (branching), слиянием изменений (merging), восстановлением потерянного кода и другими вопросами, многие из которых рассмотрены в <a href=\"https://www.udacity.com/course/how-to-use-git-and-github--ud775\">курсе</a> на Udacity. <a href=\"http://habrahabr.ru/post/125799/\">Введение</a> в GitHub на русском на Хабрахабре."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Часть 5. Обзор возможностей сборки библиотек Anaconda"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сборка Anaconda включает очень много полезных для анализа данных библиотек. Посмотреть все установленные можно с помощью команды\n",
    "\n",
    "<p><i><b>>> conda list</b></i></p>\n",
    "\n",
    "Среди библиотек, которыми мы будем пользоваться в курсе:\n",
    " - <a href=\"http://numpy.org\">Numpy</a> - эффективные вычисления с векторами и матрицами, преобразования Фурье, линейная алгебра, интеграция с C/C++ и Fortran и прочее.\n",
    " - <a href=\"http://numpy.org\">SciPy</a> - научные вычисления. Методы оптимизации, интегрирования, модули обработки сигналов и изображений, статистика, линейная алгебра, сплайны, кластеризация и многое другое. \n",
    " -  <a href=\"http://pandas.pydata.org/\">Pandas</a> - реализация эффективных структур для анализа данных, в том числе популярного аналога *DataFrame* из языка R. Предназначена для данных разной природы - матричных, панельных данных, временных рядов. Претендует на звание самого мощного и гибкого средства для анализа данных с открытым исходным кодом.\n",
    " - <a href=\"http://scikit-learn.org/stable/\">Scikit-learn</a> - реализация очень многих методов машинного обучения и интеллекуального анализа данных (data mining) с отличной документацией. \n",
    " - <a href=\"http://http://matplotlib.org/\">matplotlib</a> - для визаулизации данных, в основном двухмерная графика. Построена на принципах ООП, но имеет процедурный интерфейс *pylab*, который предоставляет аналоги команд *MATLAB*."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Часть 6. Регистрация на сайте дистанционного курса по информатике"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сдача и прием задач курса будет проходить на базе платформы МЦНМО."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Регистрация учетной записи на http://informatics.mccme.ru/.\n",
    "\n",
    "1)\tНеобходимо зайти на сайт http://informatics.mccme.ru/ и в боковом  меню нажать ссылку *Регистрация*\n",
    "\n",
    "2)\tНа открывшейся странице необходимо ввести:\n",
    "\n",
    "a.\t*Логин* и *Пароль* для авторизации в системе (придумайте и запомните),\n",
    "\n",
    "b.\tВаши *Фамилию*, *Имя*, *Отчество*, *Город* (Москва), *Страну* (Россия).\n",
    "\n",
    "c.\tв поле *email* введите Вашу почту\n",
    "\n",
    "d.\tв поле *Школа* укажите *MLClass*\n",
    "\n",
    "e.\tКласс 11 и год выпуска 2015\n",
    "\n",
    "f.\tПоставьте галочку, что Вы не робот, и нажмите кнопку *Сохранить*\n",
    "\n",
    "3)\tДалее в открывшемся окне введите Ваш логин и пароль и нажмите кнопку *Вход*.\n",
    "\n",
    "4)\tПосле удачной авторизации Вы будете перенаправлены на страницу курсов, можете найти в списке Курсов “MLClass” или пройти сразу на страницу http://informatics.mccme.ru/course/view.php?id=1165. По мере наступления практических занятий там будут появляться задачи.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a href=\"http://informatics.mccme.ru/mod/statements/view.php?id=1129\">Пример</a> одной из задач. \n",
    "<img src=\"../img/mccme_task.png\" >\n",
    "Не только формулируется условие задачи, но и даются примеры входных и выходных данных, ограничения по времени и памяти, а также статистика времени выполнения кода на разных языках. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Домашние задания\n",
    "После некоторых уроков Вы получите задачи для самостоятельного решения. \n",
    "Решенную задачу (код на Python) необходимо загрузить в систему автоматического приема задач  на http://informatics.mccme.ru/.\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.12"
  },
  "name": "seminar1_python_intro_tools.ipynb"
 },
 "nbformat": 4,
 "nbformat_minor": 0
}