contest4.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "МФТИ ФИВТ, Машинное обучение, Никита Волков\n",
    "\n",
    "# Ранжирование\n",
    "\n",
    "* Дедлайн **14 декабря 23:59** для всех групп.\n",
    "* В качестве решения задания нужно прислать ноутбук с подробными комментариями.\n",
    "* Кагл: https://inclass.kaggle.com/c/ml-mipt-ranking4\n",
    "* Инвайт: https://kaggle.com/join/4uthnui9sndi\n",
    "\n",
    "### Небольшая предыстория\n",
    "\n",
    "Внезапно очутившись на 4 курсе (как это произошло, вообще не понятно) студенты ФИВТа поняли, что времени стало совсем не хватать. Немного подумав, они решили, что во всем виноваты обезумевшие преподаватели курса Машинное обучение. Было проведено коллективное собрание, на котором было принято решение — попробовать договориться с преподавателями. Однако, все попытки примирения были отвергнуты. И тогда на очередном собрании (вместо выполнения очередного ДЗ ;)) было принято решение сделать вопросно-ответную систему для студентов. Например, она сможет четко отвечать на вопросы следующего типа ”Когда дедлайн по очередному огромному заданию?”, ”Что нужно сделать в задании?”, а вопрос ”Сколько суток нужно потратить, чтобы выполнить очередное ДЗ” даже никто и задавать не будет — никто их не делает, кроме самих преподавателей. А на вопрос ”Сможем ли мы переубедить Арсения Ашуху?” система ответит картинкой:\n",
    "\n",
    "<img width=400 src=\"./pic.png\">\n",
    "\n",
    "Для каждого вопроса студенты смогли написать систему, которая подбирает наиболее подходящие ответы в интернете. А вот, как из упорядочить, они не знают, поскольку прогуляли лекцию по ранжированию. К счастью, было записано видео этой лекции, так что вы сможете им помочь."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А теперь серьезно...\n",
    "\n",
    "### Формат файлов\n",
    "\n",
    "Вам выдается 4 файла:\n",
    "\n",
    "* `train.txt` --- обучающая выборка пар запрос-документ и асессорские метки релевантности\n",
    "* `test.txt` --- тестовая выборка пар запрос-документ\n",
    "* `queries_test.txt` --- запросы из `train.txt`\n",
    "* `queries_train.txt` --- запросы из `test.txt`\n",
    "\n",
    "Колонки в файлах могут быть следующего типа:\n",
    "\n",
    "* `QueryId` --- уникальный номер запроса\n",
    "* `DocumentId` --- номер документа, не повторяется для одного запроса\n",
    "* `DocumentLink` --- url документа\n",
    "* `Relevance` --- асессорская метка релевантности\n",
    "\n",
    "Формат файла ответов приведен ниже. Пары запрос-документ должны соответсвовать файлу `test.txt` и должны быть упорядочены по убыванию построенной функции релевантности. То есть так, как в поисковой выдаче."
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "QueryId,DocumentId\n",
    "101,5\n",
    "101,0\n",
    "101,9\n",
    "101,13\n",
    "101,17\n",
    "..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Качество оценивается с помощью метрики ${NDCG}_{10}$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Бейзлайн"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from bs4 import BeautifulSoup\n",
    "from urllib.request import urlopen\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Считываем все запросы из test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "with open('queries_test.txt') as f:\n",
    "    queries = f.readlines()\n",
    "queries = list(map(lambda x: x[:-1].split('\\t')[1], queries))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "По очереди загружаем все документы, считая для каждого TF и сортируя для каждого запроса. Это и есть скор в бейзлайне."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "with open('test.txt') as ft:\n",
    "    with open('baseline.txt', 'w') as fb:\n",
    "        ft.readline()\n",
    "        fb.write('QueryId,DocumentId\\n')\n",
    "\n",
    "        qids, docids, relevs = [], [], []\n",
    "        for line in ft:\n",
    "            if (len(line.split(',')) == 3):\n",
    "                qid, docid, url = line.split(',')\n",
    "                qid, docid = int(qid), int(docid)\n",
    "\n",
    "                if len(qids) > 0 and qid != qids[-1]:\n",
    "                    order = np.argsort(relevs)[::-1]\n",
    "                    qids = np.array(qids)[order]\n",
    "                    docids = np.array(docids)[order]\n",
    "\n",
    "                    for i in range(len(qids)):\n",
    "                        fb.write('{},{}\\n'.format(qids[i], docids[i]))\n",
    "\n",
    "                    qids, docids, relevs = [], [], []\n",
    "\n",
    "                try: \n",
    "                    text = ' '.join(BeautifulSoup(urlopen(url), 'lxml').stripped_strings) \n",
    "                except Exception: \n",
    "                    continue    \n",
    "                text = np.array(text.split(' '))\n",
    "\n",
    "                frec = 0\n",
    "                for word in queries[qid - 101].split(' '):\n",
    "                    frec += (text == word).mean()\n",
    "\n",
    "                qids.append(qid)\n",
    "                docids.append(docid)\n",
    "                relevs.append(frec)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Если у вас не загружаются некоторые страницы, подумайте, как с этим можно бороться. Например, посмотрите код с семинара и из предыдущего ДЗ. Если и это не помогает, то нужно подумать, что делать в этой ситуации."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Кажется, это последнее задание\n",
    "\n",
    "Свобода!\n",
    "\n",
    "<img width=200 src=\"./last.jpg\">\n",
    "\n",
    "А, нет, еще экзамен..."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}