Untitled.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['2', '3', '5', '0', '4', '7', '9', '1', '8', '6']\n",
      "['2', '3', '5', '0', '4', '7', '9', '1', '8', '6']\n",
      "[2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 3. 3. 3. 3. 3. 3. 3. 3.\n",
      " 3. 3. 3. 3. 3. 3. 3. 3. 5. 5. 5. 5. 5. 5. 5. 5. 5. 5. 5. 5. 5. 5. 5. 5.\n",
      " 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 4. 4. 4. 4. 4. 4. 4. 4.\n",
      " 4. 4. 4. 4. 4. 4. 4. 4. 7. 7. 7. 7. 7. 7. 7. 7. 7. 7. 7. 7. 7. 7. 7. 7.\n",
      " 9. 9. 9. 9. 9. 9. 9. 9. 9. 9. 9. 9. 9. 9. 9. 9. 1. 1. 1. 1. 1. 1. 1. 1.\n",
      " 1. 1. 1. 1. 1. 1. 1. 1. 8. 8. 8. 8. 8. 8. 8. 8. 8. 8. 8. 8. 8. 8. 8. 8.\n",
      " 6. 6. 6. 6. 6. 6. 6. 6. 6. 6. 6. 6. 6. 6. 6. 6.]\n",
      "[2. 2. 2. 2. 3. 3. 3. 3. 5. 5. 5. 5. 0. 0. 0. 0. 4. 4. 4. 4. 7. 7. 7. 7.\n",
      " 9. 9. 9. 9. 1. 1. 1. 1. 8. 8. 8. 8. 6. 6. 6. 6.]\n",
      "[0.99215686 1.         1.         ... 1.         1.         1.        ]\n"
     ]
    }
   ],
   "source": [
    "import sys\n",
    "import os\n",
    "import numpy as np\n",
    "from PIL import Image\n",
    "from operator import itemgetter\n",
    "from sklearn import metrics\n",
    "\n",
    "\n",
    "path = \"train\"\n",
    "path1= \"test\"\n",
    "folder_names = [name for name in os.listdir(path) if os.path.isdir(os.path.join(path, name))]\n",
    "folder_names1= [name1 for name1 in os.listdir(path1) if os.path.isdir(os.path.join(path1, name1))]\n",
    "print folder_names\n",
    "print folder_names1\n",
    "img = np.zeros([160, 2025], dtype = float)\n",
    "labels = np.zeros([160])\n",
    "img1=np.zeros([40, 2025],dtype=float)\n",
    "labels1=np.zeros([40])\n",
    "j = 0\n",
    "for i in range(10):\n",
    "    for image in os.listdir(path + \"/\" + folder_names[i]):\n",
    "        train_image = path + \"/\" + folder_names[i] + \"/\" + image\n",
    "        img[j] = np.asarray(Image.open(train_image).convert('L').resize((45,45), Image.ANTIALIAS)).flatten()\n",
    "        img[j] = img[j] / 255.0\n",
    "        labels[j] = folder_names[i]\n",
    "        j+= 1\n",
    "k = 0\n",
    "for l in range(10):\n",
    "    for imag in os.listdir(path1 + \"/\" + folder_names1[l]):\n",
    "        test_image = path1 + \"/\" + folder_names1[l] + \"/\" + imag\n",
    "        img1[k] = np.asarray(Image.open(test_image).convert('L').resize((45,45), Image.ANTIALIAS)).flatten()\n",
    "        img1[k] = img1[k] /255.0\n",
    "        labels1[k] = folder_names1[l]\n",
    "        k+= 1\n",
    "print labels\n",
    "print labels1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2. 1. 7. 1. 3. 3. 1. 3. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 7. 7. 7.\n",
      " 9. 9. 4. 9. 1. 1. 1. 1. 1. 1. 1. 1. 6. 6. 6. 6.]\n",
      "[2. 2. 2. 2. 3. 3. 3. 3. 5. 5. 5. 5. 0. 0. 0. 0. 4. 4. 4. 4. 7. 7. 7. 7.\n",
      " 9. 9. 9. 9. 1. 1. 1. 1. 8. 8. 8. 8. 6. 6. 6. 6.]\n",
      "0.45\n",
      "[0.45, 0.45, 0.275, 0.2, 0.175, 0.175, 0.175, 0.175, 0.175, 0.175, 0.15, 0.15, 0.125, 0.125, 0.125]\n"
     ]
    }
   ],
   "source": [
    "#knn\n",
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "knn = KNeighborsClassifier(n_neighbors=1)\n",
    "knn.fit(img,labels)\n",
    "labels2=[0 for m in range(40)]\n",
    "labels2=knn.predict(img1)\n",
    "tknn=metrics.accuracy_score(labels1,labels2)\n",
    "print labels2\n",
    "print labels1\n",
    "print tknn\n",
    "lit=[]\n",
    "for p in range(1,16):\n",
    "    kn= KNeighborsClassifier(n_neighbors=p,weights='distance')\n",
    "    kn.fit(img,labels)\n",
    "    label=kn.predict(img1)\n",
    "    pp=metrics.accuracy_score(labels1,label)\n",
    "    lit.append(pp)\n",
    "print lit\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.8\n",
      "[2. 4. 7. 2. 3. 8. 3. 3. 0. 4. 2. 5. 0. 0. 0. 0. 4. 4. 4. 4. 7. 7. 7. 7.\n",
      " 9. 9. 9. 9. 1. 1. 1. 1. 8. 8. 9. 6. 6. 6. 6. 6.]\n"
     ]
    }
   ],
   "source": [
    "#logistic regression\n",
    "from sklearn.linear_model import LogisticRegression\n",
    "logr=LogisticRegression(solver='newton-cg',multi_class='multinomial')\n",
    "logr.fit(img,labels)\n",
    "labels3=logr.predict(img1)\n",
    "tlogr= metrics.accuracy_score(labels1,labels3)\n",
    "print tlogr\n",
    "print labels3"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2. 4. 2. 2. 3. 8. 3. 3. 0. 5. 2. 5. 0. 0. 0. 0. 4. 9. 4. 4. 7. 7. 7. 7.\n",
      " 9. 9. 9. 9. 1. 1. 1. 1. 8. 8. 8. 3. 6. 6. 6. 6.]\n",
      "0.85\n"
     ]
    }
   ],
   "source": [
    "#Support Vector Machine\n",
    "from sklearn import svm\n",
    "support=svm.SVC(C=12,gamma=0.01,kernel='poly')\n",
    "support.fit(img,labels)\n",
    "labels4=support.predict(img1)\n",
    "tsvm=metrics.accuracy_score(labels1,labels4)\n",
    "print labels4\n",
    "print tsvm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[6 6 6 6 6 6 6 6 0 6 0 0 0 6 6 6 6 6 0 0 6 5 2 5 6 6 6 5 6 6 6 0 0 6 6 6 6\n",
      " 6 0 6]\n",
      "0.1\n"
     ]
    }
   ],
   "source": [
    "#Clustering \n",
    "from sklearn.cluster import KMeans\n",
    "kmeans=KMeans(n_clusters=10).fit(img,labels)\n",
    "labels5=[0 for i in range(40)]\n",
    "labels5=kmeans.predict(img1)\n",
    "tkmeans=metrics.accuracy_score(labels1,labels5)\n",
    "print labels5\n",
    "print tkmeans\n",
    "#useless"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "ename": "TypeError",
     "evalue": "__init__() got an unexpected keyword argument 'alpha'",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mTypeError\u001b[0m                                 Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-63-bac5b35c6fe3>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[1;32m      1\u001b[0m \u001b[0;32mfrom\u001b[0m \u001b[0msklearn\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mnaive_bayes\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0mGaussianNB\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 2\u001b[0;31m \u001b[0mgau\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mGaussianNB\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0malpha\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;36m2.0\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mfit\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mimg\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mlabels\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      3\u001b[0m \u001b[0mlabelsm\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m0\u001b[0m \u001b[0;32mfor\u001b[0m \u001b[0mg\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mrange\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m40\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m \u001b[0mlabelsm\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mgau\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mpredict\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mimg1\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m \u001b[0;32mprint\u001b[0m \u001b[0mlabelsm\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mTypeError\u001b[0m: __init__() got an unexpected keyword argument 'alpha'"
     ]
    }
   ],
   "source": [
    "from sklearn.naive_bayes import GaussianNB\n",
    "gau=GaussianNB().fit(img,labels)\n",
    "labelsm=[0 for g in range(40)]\n",
    "labelsm=gau.predict(img1)\n",
    "print labelsm\n",
    "print metrics.accuracy_score(labels1,labelsm)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2. 4. 7. 2. 3. 8. 3. 3. 0. 4. 2. 5. 0. 3. 0. 3. 4. 4. 4. 4. 3. 7. 7. 7.\n",
      " 9. 9. 9. 9. 1. 1. 1. 1. 8. 8. 9. 6. 6. 6. 5. 6.]\n",
      "0.7\n",
      "[array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.]), array([ 2.,  4.,  5.,  2.,  3.,  8.,  3.,  3., -0.,  4.,  2.,  5., -0.,\n",
      "        1., -0.,  1.,  4.,  5.,  4.,  4.,  5.,  7.,  7.,  7.,  9.,  9.,\n",
      "        9.,  9.,  1.,  1.,  1.,  1.,  8.,  8.,  8.,  5.,  6.,  6.,  5.,\n",
      "        6.])]\n"
     ]
    }
   ],
   "source": [
    "\n",
    "def roundoff(y,n):\n",
    "    y1=[0 for i in range(40)]\n",
    "    y2=[0 for i in range(40)]\n",
    "    for i in range(40):\n",
    "        y1[i]=np.ceil(y[i])\n",
    "        y2[i]=np.floor(y[i])\n",
    "    for i in range(n):\n",
    "        if(y[i]-y2[i]>=0.5):\n",
    "            y[i]=y1[i]\n",
    "        else:\n",
    "            y[i]=y2[i]\n",
    "    return y\n",
    "           \n",
    "        \n",
    "from sklearn.naive_bayes import MultinomialNB\n",
    "import math\n",
    "mul=MultinomialNB(alpha=10).fit(img,labels)\n",
    "labelsn=[0 for g in range(40)]\n",
    "labelsn=mul.predict(img1)\n",
    "print labelsn\n",
    "print metrics.accuracy_score(labels1,labelsn)\n",
    "labelprime=[0 for i in range(40)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2. 1. 2. 2. 3. 7. 3. 3. 1. 1. 2. 5. 5. 3. 1. 3. 1. 4. 4. 4. 7. 7. 7. 7.\n",
      " 9. 9. 9. 9. 1. 1. 1. 1. 8. 8. 9. 6. 6. 1. 6. 6.]\n",
      "0.675\n"
     ]
    }
   ],
   "source": [
    "from sklearn.naive_bayes import BernoulliNB\n",
    "ber=BernoulliNB().fit(img,labels)\n",
    "labelso=[0 for g in range(40)]\n",
    "labelso=ber.predict(img1)\n",
    "print labelso\n",
    "print metrics.accuracy_score(labels1,labelso)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "45.0\n",
      "80.0\n",
      "85.0\n",
      "10.0\n",
      "logistic regression predicts the best\n"
     ]
    }
   ],
   "source": [
    "\n",
    "print tknn*100\n",
    "print tlogr*100\n",
    "print tsvm*100\n",
    "print tkmeans*100\n",
    "print \"logistic regression & SVC(actually more) predicts the best\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2, 1, 7, 1, 3, 3, 1, 3, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 7, 7, 7, 9, 9, 4, 9, 1, 1, 1, 1, 1, 1, 1, 1, 6, 6, 6, 6]\n",
      "0.45\n"
     ]
    }
   ],
   "source": [
    "#building from scratch \n",
    "#k-neighrest neighbors\n",
    "def mostfreqink(labels,k,knn):\n",
    "    data=[0 for i in range(10)]\n",
    "    for p in range(10):\n",
    "        for q in range(knn):\n",
    "            if(labels[q]==p):\n",
    "                data[p]=data[p]+1\n",
    "    t=data[0]\n",
    "    j=0\n",
    "    s=0\n",
    "    for s in range(10):\n",
    "        if(data[s]>t):\n",
    "            t=data[s]\n",
    "            j=s\n",
    "    return j\n",
    "    \n",
    "def dis(img,img1,i,j):\n",
    "    c=0\n",
    "    for k in range(2025):\n",
    "       c+=(img1[j][k]-img[i][k])**2\n",
    "    return c\n",
    "\n",
    "def predict(img,img1,k,knn):\n",
    "    dislist=[]\n",
    "    temp=[]\n",
    "    for i in range(160):\n",
    "        dislist.append(dis(img,img1,i,k))\n",
    "    sortt=[]\n",
    "    for l in range(160):\n",
    "        sortt.append((dislist[l],labels[l]))\n",
    "    sortt.sort()\n",
    "    \n",
    "    for y in range(160):\n",
    "        temp.append(sortt[y][1])\n",
    "    return mostfreqink(temp,160,knn)\n",
    "    \n",
    "labels6=[]\n",
    "for z in range(40):\n",
    "    labels6.append(predict(img,img1,z,1))#knn=1\n",
    "print labels6\n",
    "print metrics.accuracy_score(labels1,labels6)\n",
    "#print labels6"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#######################################NEEDS DEBUGGING####################################################################\n",
    "#Logistic Regression\n",
    "#Basic Idea:\n",
    "#Will built 10 classifiers initially based upon 'one and rest' \n",
    "# Then check the one which has maximum value of h\\theta(x) on a new training input.\n",
    "#Let us start\n",
    "#Step 1: Creating a Simple Logistic Regression classifier\n",
    "#We will use our sigmoid as htheta(x)=1/(1+exp(theta.X).   Remember that theta is also  a coloumn vector\n",
    "#creating a function for this\n",
    "import math as mth\n",
    "def htheta(v1,v2,m):\n",
    "    c=0.0\n",
    "    for i in range(m):\n",
    "        c+=v1[i]*v2[i]\n",
    "    c=mth.exp(-c)\n",
    "    return 1/(1+c)\n",
    "def diff(v1,v2,n):\n",
    "    c=0\n",
    "    for i in range(n):\n",
    "        c+=abs(v1[i]-v2[i])\n",
    "    return c\n",
    "def logistic_regression(X,y,m,n):\n",
    "    theta=[0 for i in range(m)]\n",
    "    e=0.01\n",
    "    alpha=0.01  #learning rate\n",
    "    itera=0\n",
    "    theta1=[100 for i in range(m)]\n",
    "    while (diff(theta,theta1,m)>e or itera<=1000):\n",
    "        for j in range(m):\n",
    "            p=0\n",
    "            for l in range(n):\n",
    "                p+=(htheta(theta,X[l],m)-y[l])*X[l][j]\n",
    "            p*=alpha\n",
    "            p/=n\n",
    "            theta1[j]=theta[j]-p\n",
    "            itera=itera+1\n",
    "    return theta1\n",
    "def new_label(X,k,n,y):\n",
    "    for i in range(n):\n",
    "        if(i>=16*k and i<16*(k+1)):\n",
    "             y[i]=1\n",
    "        else:\n",
    "            y[i]=0\n",
    "            \n",
    "    return y\n",
    "def max_in_list(v,n):\n",
    "    c=v[0]\n",
    "    j=0\n",
    "    for i in range(n):\n",
    "        if(c<v[i]):\n",
    "            c=v[i]\n",
    "            j=i\n",
    "            \n",
    "    #Now j is yet to be set accordingly\n",
    "    if(j==0):\n",
    "        j=2\n",
    "    elif(j==1):\n",
    "        j=3\n",
    "    elif(j==2):\n",
    "        j=5\n",
    "    elif(j==3):\n",
    "        j=0\n",
    "    elif(j==4):\n",
    "        j=4\n",
    "    elif(j==5):\n",
    "        j=7\n",
    "    elif(j==6):\n",
    "        j=9\n",
    "    elif(j==7):\n",
    "        j=1\n",
    "    elif(j==8):\n",
    "        j=8\n",
    "    elif(j==9):\n",
    "        j=6\n",
    "    return j\n",
    "#driver program i.e. main program\n",
    "X=img\n",
    "X_=img1\n",
    "n=160\n",
    "m=2025\n",
    "list_of_labels= np.zeros([10,160], dtype=float)\n",
    "for i in range(10):\n",
    "    y=[0 for z in range(160)]\n",
    "    list_of_labels[i]=new_label(X,i,n,y)\n",
    "list_of_theta=np.zeros([10,2025], dtype=float)\n",
    "for q in range(10):\n",
    "    list_of_theta[q]=logistic_regression(X,list_of_labels[q],m,n)\n",
    "    \n",
    "    \n",
    "print list_of_theta                         \n",
    "                          \n",
    "                          \n",
    "for kk in range(40):\n",
    "    final_labels=[]\n",
    "    ppp=[]\n",
    "    for nn in range(10):\n",
    "        ppp[nn]=htheta(list_of_htheta[nn],X_[kk],m)\n",
    "    final_labels.append(max_in_list(ppp,10))\n",
    "\n",
    "    \n",
    "\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "###########################################NEEDS DEBUGGING###############################################################\n",
    "#Support Vector Machine\n",
    "#From Scratch\n",
    "#Again we will be using 'one vs rest' based approach.We don't know anything else :) BTW, OVO is also one approach\n",
    "#But first we will build binary SVM classifier\n",
    "#One more problem that we can encounter in the course of our journey is how to set 'C' parameteo because it is usually\n",
    "# setted in cross validation. For that we may need to split data(which is already less).\n",
    "\n",
    "#First we shall focus on svm binary classifier.\n",
    "##########################################################################################################################\n",
    "#Init we have to predict a line/hyperplane <w,x>+b=0\n",
    "#Now according to SVM in its natural form we have the following objetive function:\n",
    "# f(w,b)=0.5 * <w,w> + C*(sigma(1 to n) max(0,1-y_i(<w,x_i>)))\n",
    "#We will use stochastic gradient descent to perform the task and then set C while cross validation\n",
    "def inner_product(x,y,n):\n",
    "    c=0\n",
    "    for i in range(n):\n",
    "        c+=x[i]*y[i]\n",
    "    return c\n",
    "    \n",
    "def confidence(X,y,i,w,b,m):\n",
    "    return y[i]*(1-y[i]*(inner_product(X[i],y[i],m)+b))\n",
    "    \n",
    "def svm(X,y,m,n,w):\n",
    "    w=[0 for i in range(m)]\n",
    "    itera=10000  #number of iterations over the whole data\n",
    "    alpha=0.1\n",
    "    C=1\n",
    "    for z in range(itera):\n",
    "        #Now stochastic gradient descent\n",
    "        for x in range(n):\n",
    "            if(0>1-confidence(X,y,x,w,b,m)):\n",
    "                for j in range(m):\n",
    "                    w[j]=w[j]-alpha*(w[j])\n",
    "            else:\n",
    "                for j in range(m):\n",
    "                    w[j]=w[j]-alpha*w[j]+C*y[i]*X[i][j]\n",
    "    #stochastic gradient descent concluded\n",
    "    return w\n",
    "X=img\n",
    "X_=img1\n",
    "n=160\n",
    "m=2025\n",
    "list_of_labels1=[0 for i in range(10)]\n",
    "list_of_b=[0 for i in range(10)]\n",
    "weights=[0 for i in range(m)]\n",
    "for i in range(10):\n",
    "    y=[0 for z in range(10)]\n",
    "    list_of_labels1.append(new_label(X,i,n,y))\n",
    "list_of_weightssvm=[]\n",
    "for q in range(10):\n",
    "    list_of_weightsvm[q]=svm(X,list_of_labels1[q],m,n,weights)\n",
    "    temp=[0 for i in range(16)]\n",
    "     for p in range(16):\n",
    "            temp[p]=1/(list_of_labels[q][p])-inner_product(X[p],list_of_weightssvm[q],m)\n",
    "    list_of_b[q]=max(temp,16)i\n",
    "for kk in range(40):\n",
    "    finali=[]\n",
    "    #Now we will check confidence and predict one with the highest connfidence\n",
    "    primes=[]\n",
    "    for q in range(10):\n",
    "        jprime=inner_product(X_[kk],list_of_weightsvm[q],m)-list_of_b[q]\n",
    "        if(jprime>=0):\n",
    "            primes.append(jprime)\n",
    "        else:\n",
    "            primes.append(0)\n",
    "    finali.append(max_in_list(primes,10))\n",
    "\n",
    "            \n",
    "\n",
    "\n",
    "    \n",
    "    \n",
    "                    \n",
    "                    \n",
    "                    \n",
    "                \n",
    "    \n",
    "    \n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}