MultinomialNB_test.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "source": [
    "import jieba\n",
    "import re\n",
    "import pandas\n",
    "from jieba import posseg\n",
    "from sklearn.naive_bayes import MultinomialNB\n"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "source": [
    "jieba.enable_parallel() # 开启并行分词\n",
    "jieba.enable_paddle() # 加载词性标注模块"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stderr",
     "text": [
      "Building prefix dict from the default dictionary ...\n",
      "Loading model from cache /tmp/jieba.cache\n",
      "Loading model cost 0.659 seconds.\n",
      "Prefix dict has been built successfully.\n",
      "W1203 23:55:49.571306 217434 init.cc:157] AVX is available, Please re-compile on local machine\n",
      "Paddle enabled successfully......\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "source": [
    "rawdata_path='./data/0.xlsx'\n",
    "\n",
    "with open(rawdata_path, 'r',encoding='ISO-8859-1') as fp:\n",
    "    sheets=pandas.read_excel(rawdata_path,sheet_name=None,index_col=0)\n",
    "\n",
    "sheet1=sheets['Sheet1'] # 表格一，好评\n",
    "sheet2=sheets['Sheet2'] # 表格二，差评"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "source": [
    "sheet_gnwd_tmp=sheet1.get(sheet1.columns[5:8].append(sheet1.columns[2:3]) )\n",
    "sheet1_gnwd=sheet_gnwd_tmp[sheet_gnwd_tmp['编号'].notnull()]"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "source": [
    "sheet1_gnwd"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>美学维度</th>\n",
       "      <th>情感得分</th>\n",
       "      <th>编号</th>\n",
       "      <th>评论内容</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>productId</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>64986275944</th>\n",
       "      <td>颜值很高</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>颜值很高，穿着很舒服，重量轻，很轻便</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>64986275944</th>\n",
       "      <td>鞋样子很好看</td>\n",
       "      <td>1.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>鞋样子很好看，号码也很足，穿着非常轻很舒服，快递也很快，在京东买东西就是放心</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>69950639664</th>\n",
       "      <td>颜色很正，涂上很显女王气质</td>\n",
       "      <td>1.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>很喜欢迪奥的口红，真的很好用，颜色很正，不容易起皮，涂上很显女王气质，物流服务态度很好。</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>69950639664</th>\n",
       "      <td>颜色很正，薄涂很显色度，</td>\n",
       "      <td>1.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>质感非常好，拿在手里挺有分量的感觉，颜色很正，薄涂很显色度，日常不化妆也能涂，滑润不干唇，个...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>69950639664</th>\n",
       "      <td>感觉哑光款更适合自己，更加时尚更打底具气场，颜色很正的大红色，很显气质</td>\n",
       "      <td>1.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>之前在免税店买了一支滋润款的很好用，这次在京东试着买了哑光款的，正品无疑，感觉哑光款更适合自...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>59158524459</th>\n",
       "      <td>高端大气上档次</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1112.0</td>\n",
       "      <td>高端大气上档次，做工精细龙头，配件齐全</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>59158524459</th>\n",
       "      <td>个人感觉应该很好看</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1113.0</td>\n",
       "      <td>洗菜盆质量真的很好，很厚实，材质也好，和描述的一样，四季沐歌的东西质量很好，我家的水龙头是这...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>59158524459</th>\n",
       "      <td>宝贝很好，外观颜值非常高</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1114.0</td>\n",
       "      <td>京东自营真的太好了，价格透明，送货太快了，虽然不着急用，但是上午拍下午就到购物体验太爽了，宝...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>59158524459</th>\n",
       "      <td>款式很好看</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1115.0</td>\n",
       "      <td>做工精细，304不锈钢的很有分量，款式很好看，价格实惠，客服也很耐心，已经第二次购买了，品质...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>59158524459</th>\n",
       "      <td>看着很高大上的样子。不知道安装好以后会是什么效果？应该会很好看</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1116.0</td>\n",
       "      <td>包装很好，304不锈钢很厚实做工相当精细。京东自营质量一如既往的很好。暂时还没有安装。厨房正...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>1106 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            美学维度  情感得分      编号  \\\n",
       "productId                                                        \n",
       "64986275944                                 颜值很高   1.0     1.0   \n",
       "64986275944                               鞋样子很好看   1.0     2.0   \n",
       "69950639664                        颜色很正，涂上很显女王气质   1.0     3.0   \n",
       "69950639664                         颜色很正，薄涂很显色度，   1.0     4.0   \n",
       "69950639664  感觉哑光款更适合自己，更加时尚更打底具气场，颜色很正的大红色，很显气质   1.0     5.0   \n",
       "...                                          ...   ...     ...   \n",
       "59158524459                              高端大气上档次   1.0  1112.0   \n",
       "59158524459                            个人感觉应该很好看   1.0  1113.0   \n",
       "59158524459                         宝贝很好，外观颜值非常高   1.0  1114.0   \n",
       "59158524459                                款式很好看   1.0  1115.0   \n",
       "59158524459      看着很高大上的样子。不知道安装好以后会是什么效果？应该会很好看   1.0  1116.0   \n",
       "\n",
       "                                                          评论内容  \n",
       "productId                                                       \n",
       "64986275944                                 颜值很高，穿着很舒服，重量轻，很轻便  \n",
       "64986275944             鞋样子很好看，号码也很足，穿着非常轻很舒服，快递也很快，在京东买东西就是放心  \n",
       "69950639664       很喜欢迪奥的口红，真的很好用，颜色很正，不容易起皮，涂上很显女王气质，物流服务态度很好。  \n",
       "69950639664  质感非常好，拿在手里挺有分量的感觉，颜色很正，薄涂很显色度，日常不化妆也能涂，滑润不干唇，个...  \n",
       "69950639664  之前在免税店买了一支滋润款的很好用，这次在京东试着买了哑光款的，正品无疑，感觉哑光款更适合自...  \n",
       "...                                                        ...  \n",
       "59158524459                                高端大气上档次，做工精细龙头，配件齐全  \n",
       "59158524459  洗菜盆质量真的很好，很厚实，材质也好，和描述的一样，四季沐歌的东西质量很好，我家的水龙头是这...  \n",
       "59158524459  京东自营真的太好了，价格透明，送货太快了，虽然不着急用，但是上午拍下午就到购物体验太爽了，宝...  \n",
       "59158524459  做工精细，304不锈钢的很有分量，款式很好看，价格实惠，客服也很耐心，已经第二次购买了，品质...  \n",
       "59158524459  包装很好，304不锈钢很厚实做工相当精细。京东自营质量一如既往的很好。暂时还没有安装。厨房正...  \n",
       "\n",
       "[1106 rows x 4 columns]"
      ]
     },
     "metadata": {},
     "execution_count": 5
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "source": [
    "sheet_gnwd_tmp=sheet2[sheet2.columns[5:8].append(sheet2.columns[2:3])]\n",
    "sheet2_gnwd=sheet_gnwd_tmp[sheet_gnwd_tmp['编号'].notnull()]\n"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "source": [
    "sheet2_gnwd"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>美学维度</th>\n",
       "      <th>情感得分</th>\n",
       "      <th>编号</th>\n",
       "      <th>评论内容</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>productId</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>67163383132</th>\n",
       "      <td>实物颜色与买的时候严重不符</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1117.0</td>\n",
       "      <td>实物颜色与买的时候严重不符</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>63767275586</th>\n",
       "      <td>和专柜买的差别很大，颜色不正，004号偏粉色，而且几乎看不出来，非常失望的一次购物</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1118.0</td>\n",
       "      <td>和专柜买的差别很大，颜色不正，004号偏粉色，而且几乎看不出来，非常失望的一次购物</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29048916380</th>\n",
       "      <td>亲！都别再上当受骗了，口红?颜色和色号都不一样.不是色差问题，而是完全不是一个色号，</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1119.0</td>\n",
       "      <td>亲！都别再上当受骗了，口红?颜色和色号都不一样，和客服联系爱搭不理，谁买谁上当！不是色差问题...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100007843983</th>\n",
       "      <td>图片跟实物区别太大了 不好看</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1120.0</td>\n",
       "      <td>图片跟实物区别太大了 不好看</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100007843983</th>\n",
       "      <td>也不是图片上的颜色</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1121.0</td>\n",
       "      <td>特别干涂起来也不是图片上的颜色</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>61588121796</th>\n",
       "      <td>就一只唇膏，色号跟实体不符</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1196.0</td>\n",
       "      <td>就一只唇膏，色号跟实体不符</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29986664062</th>\n",
       "      <td>产品颜色：南瓜色</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1197.0</td>\n",
       "      <td>特别掉色，早上涂的口红中途不吃东西到中午就没色了。\\n产品颜色：南瓜色</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29986664062</th>\n",
       "      <td>特别特别的不好  千万别买    颜色也不好看</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1198.0</td>\n",
       "      <td>特别特别的不好  千万别买    颜色也不好看  抹在嘴上还特别特别的粘</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29986664062</th>\n",
       "      <td>产品颜色：颜色不正，</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1199.0</td>\n",
       "      <td>产品颜色：颜色不正，</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28547127992</th>\n",
       "      <td>产品颜色：和专柜买的对比了一下，颜色有一点不一样，颜色相似度95%，</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1200.0</td>\n",
       "      <td>产品颜色：和专柜买的对比了一下，颜色有一点不一样，颜色相似度95%，且专柜买的里面没有任何颗...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>84 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    美学维度  情感得分      编号  \\\n",
       "productId                                                                \n",
       "67163383132                                实物颜色与买的时候严重不符  -1.0  1117.0   \n",
       "63767275586    和专柜买的差别很大，颜色不正，004号偏粉色，而且几乎看不出来，非常失望的一次购物  -1.0  1118.0   \n",
       "29048916380   亲！都别再上当受骗了，口红?颜色和色号都不一样.不是色差问题，而是完全不是一个色号，  -1.0  1119.0   \n",
       "100007843983                              图片跟实物区别太大了 不好看  -1.0  1120.0   \n",
       "100007843983                                   也不是图片上的颜色  -1.0  1121.0   \n",
       "...                                                  ...   ...     ...   \n",
       "61588121796                                就一只唇膏，色号跟实体不符  -1.0  1196.0   \n",
       "29986664062                                     产品颜色：南瓜色   0.0  1197.0   \n",
       "29986664062                      特别特别的不好  千万别买    颜色也不好看  -1.0  1198.0   \n",
       "29986664062                                   产品颜色：颜色不正，  -1.0  1199.0   \n",
       "28547127992           产品颜色：和专柜买的对比了一下，颜色有一点不一样，颜色相似度95%，  -1.0  1200.0   \n",
       "\n",
       "                                                           评论内容  \n",
       "productId                                                        \n",
       "67163383132                                       实物颜色与买的时候严重不符  \n",
       "63767275586           和专柜买的差别很大，颜色不正，004号偏粉色，而且几乎看不出来，非常失望的一次购物  \n",
       "29048916380   亲！都别再上当受骗了，口红?颜色和色号都不一样，和客服联系爱搭不理，谁买谁上当！不是色差问题...  \n",
       "100007843983                                     图片跟实物区别太大了 不好看  \n",
       "100007843983                                    特别干涂起来也不是图片上的颜色  \n",
       "...                                                         ...  \n",
       "61588121796                                       就一只唇膏，色号跟实体不符  \n",
       "29986664062                 特别掉色，早上涂的口红中途不吃东西到中午就没色了。\\n产品颜色：南瓜色  \n",
       "29986664062                特别特别的不好  千万别买    颜色也不好看  抹在嘴上还特别特别的粘  \n",
       "29986664062                                          产品颜色：颜色不正，  \n",
       "28547127992   产品颜色：和专柜买的对比了一下，颜色有一点不一样，颜色相似度95%，且专柜买的里面没有任何颗...  \n",
       "\n",
       "[84 rows x 4 columns]"
      ]
     },
     "metadata": {},
     "execution_count": 7
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "source": [
    "with open('cn_stopwords.txt','r') as fp:\n",
    "    stopwords_list=set([w.strip() for w in fp.readlines()])"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "source": [
    "def seg_sentence(sentence, stop_words):\n",
    "    stop_flag = ['x', 'c', 'u', 'd', 'p', 't', 'uj', 'm', 'f', 'r'] # 见https://github.com/fxsjy/jieba，词性标注章节\n",
    "    sentence_seged = posseg.cut(re.sub('\\n', '', sentence))\n",
    "    outstr = []\n",
    "    for word, flag in sentence_seged:\n",
    "        if word not in stop_words and flag not in stop_flag:\n",
    "            outstr.append(word)\n",
    "    return ' '.join(outstr)\n"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "source": [
    "sheet3_gnwd=sheet1_gnwd.append(sheet2_gnwd)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "source": [
    "sheet3_gnwd"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>美学维度</th>\n",
       "      <th>情感得分</th>\n",
       "      <th>编号</th>\n",
       "      <th>评论内容</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>productId</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>64986275944</th>\n",
       "      <td>颜值很高</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>颜值很高，穿着很舒服，重量轻，很轻便</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>64986275944</th>\n",
       "      <td>鞋样子很好看</td>\n",
       "      <td>1.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>鞋样子很好看，号码也很足，穿着非常轻很舒服，快递也很快，在京东买东西就是放心</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>69950639664</th>\n",
       "      <td>颜色很正，涂上很显女王气质</td>\n",
       "      <td>1.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>很喜欢迪奥的口红，真的很好用，颜色很正，不容易起皮，涂上很显女王气质，物流服务态度很好。</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>69950639664</th>\n",
       "      <td>颜色很正，薄涂很显色度，</td>\n",
       "      <td>1.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>质感非常好，拿在手里挺有分量的感觉，颜色很正，薄涂很显色度，日常不化妆也能涂，滑润不干唇，个...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>69950639664</th>\n",
       "      <td>感觉哑光款更适合自己，更加时尚更打底具气场，颜色很正的大红色，很显气质</td>\n",
       "      <td>1.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>之前在免税店买了一支滋润款的很好用，这次在京东试着买了哑光款的，正品无疑，感觉哑光款更适合自...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>61588121796</th>\n",
       "      <td>就一只唇膏，色号跟实体不符</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1196.0</td>\n",
       "      <td>就一只唇膏，色号跟实体不符</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29986664062</th>\n",
       "      <td>产品颜色：南瓜色</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1197.0</td>\n",
       "      <td>特别掉色，早上涂的口红中途不吃东西到中午就没色了。\\n产品颜色：南瓜色</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29986664062</th>\n",
       "      <td>特别特别的不好  千万别买    颜色也不好看</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1198.0</td>\n",
       "      <td>特别特别的不好  千万别买    颜色也不好看  抹在嘴上还特别特别的粘</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29986664062</th>\n",
       "      <td>产品颜色：颜色不正，</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1199.0</td>\n",
       "      <td>产品颜色：颜色不正，</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28547127992</th>\n",
       "      <td>产品颜色：和专柜买的对比了一下，颜色有一点不一样，颜色相似度95%，</td>\n",
       "      <td>-1.0</td>\n",
       "      <td>1200.0</td>\n",
       "      <td>产品颜色：和专柜买的对比了一下，颜色有一点不一样，颜色相似度95%，且专柜买的里面没有任何颗...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>1190 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            美学维度  情感得分      编号  \\\n",
       "productId                                                        \n",
       "64986275944                                 颜值很高   1.0     1.0   \n",
       "64986275944                               鞋样子很好看   1.0     2.0   \n",
       "69950639664                        颜色很正，涂上很显女王气质   1.0     3.0   \n",
       "69950639664                         颜色很正，薄涂很显色度，   1.0     4.0   \n",
       "69950639664  感觉哑光款更适合自己，更加时尚更打底具气场，颜色很正的大红色，很显气质   1.0     5.0   \n",
       "...                                          ...   ...     ...   \n",
       "61588121796                        就一只唇膏，色号跟实体不符  -1.0  1196.0   \n",
       "29986664062                             产品颜色：南瓜色   0.0  1197.0   \n",
       "29986664062              特别特别的不好  千万别买    颜色也不好看  -1.0  1198.0   \n",
       "29986664062                           产品颜色：颜色不正，  -1.0  1199.0   \n",
       "28547127992   产品颜色：和专柜买的对比了一下，颜色有一点不一样，颜色相似度95%，  -1.0  1200.0   \n",
       "\n",
       "                                                          评论内容  \n",
       "productId                                                       \n",
       "64986275944                                 颜值很高，穿着很舒服，重量轻，很轻便  \n",
       "64986275944             鞋样子很好看，号码也很足，穿着非常轻很舒服，快递也很快，在京东买东西就是放心  \n",
       "69950639664       很喜欢迪奥的口红，真的很好用，颜色很正，不容易起皮，涂上很显女王气质，物流服务态度很好。  \n",
       "69950639664  质感非常好，拿在手里挺有分量的感觉，颜色很正，薄涂很显色度，日常不化妆也能涂，滑润不干唇，个...  \n",
       "69950639664  之前在免税店买了一支滋润款的很好用，这次在京东试着买了哑光款的，正品无疑，感觉哑光款更适合自...  \n",
       "...                                                        ...  \n",
       "61588121796                                      就一只唇膏，色号跟实体不符  \n",
       "29986664062                特别掉色，早上涂的口红中途不吃东西到中午就没色了。\\n产品颜色：南瓜色  \n",
       "29986664062               特别特别的不好  千万别买    颜色也不好看  抹在嘴上还特别特别的粘  \n",
       "29986664062                                         产品颜色：颜色不正，  \n",
       "28547127992  产品颜色：和专柜买的对比了一下，颜色有一点不一样，颜色相似度95%，且专柜买的里面没有任何颗...  \n",
       "\n",
       "[1190 rows x 4 columns]"
      ]
     },
     "metadata": {},
     "execution_count": 11
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "source": [
    "dimension,score,index,comment=[x for x in sheet3_gnwd]"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "source": [
    "import numpy as np\n",
    "gnwd_all=sheet3_gnwd.values\n"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "source": [
    "gnwd_dimension=gnwd_all[:,0]\n",
    "gnwd_score=gnwd_all[:,1]\n",
    "gnwd_comment=gnwd_all[:,3]"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "source": [
    "gnwd_dimension_list=gnwd_dimension.tolist()"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "source": [
    "x=[seg_sentence(x,stop_words=stopwords_list) for x in gnwd_dimension_list]\n",
    "y=gnwd_score.tolist()"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "source": [
    "from sklearn.model_selection import train_test_split\n",
    "x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "source": [
    "from sklearn.feature_extraction.text import CountVectorizer\n",
    "vector = CountVectorizer()"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "source": [
    "xtrain=vector.fit_transform(x_train)\n",
    "xtest = vector.transform(x_test)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "source": [
    "clf = MultinomialNB(alpha=0.1).fit(xtrain,y_train)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "source": [
    "pre = clf.predict(xtrain)\n",
    "pre"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "array([ 1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  0.,  1.,\n",
       "        1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  0.,  1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,\n",
       "        1., -1.,  1., -1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  0.,  1.,\n",
       "        1., -1.,  1.,  1.,  1., -1., -1.,  1.,  1., -1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1., -1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  0.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1., -1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,\n",
       "        0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "       -1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1., -1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,\n",
       "        1., -1.,  1.,  1.,  1.,  1., -1.,  1.,  1., -1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        0.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1., -1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,\n",
       "        1.])"
      ]
     },
     "metadata": {},
     "execution_count": 21
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "source": [
    "clf.predict_proba(xtrain)"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "array([[1.86725951e-04, 2.46528610e-04, 9.99566745e-01],\n",
       "       [4.48411633e-07, 5.38194703e-06, 9.99994170e-01],\n",
       "       [2.15452033e-02, 2.77530738e-02, 9.50701723e-01],\n",
       "       ...,\n",
       "       [6.04800428e-06, 4.59655451e-06, 9.99989355e-01],\n",
       "       [7.24469847e-04, 2.89587356e-04, 9.98985943e-01],\n",
       "       [4.33254418e-06, 1.21658741e-05, 9.99983502e-01]])"
      ]
     },
     "metadata": {},
     "execution_count": 22
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "source": [
    "from sklearn import metrics\n",
    "pre = clf.predict(xtrain)\n",
    "print('训练数据准确率：',metrics.f1_score(pre, y_train, average='micro'))\n",
    "pre = clf.predict(xtest)\n",
    "print('测试数据准确率：',metrics.f1_score(pre, y_test, average='micro'))\n"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "训练数据准确率： 0.9723889555822329\n",
      "测试数据准确率： 0.9243697478991597\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "source": [
    "xtrain.shape,xtest.shape"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "((833, 475), (357, 475))"
      ]
     },
     "metadata": {},
     "execution_count": 25
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "source": [],
   "outputs": [],
   "metadata": {}
  }
 ],
 "metadata": {
  "orig_nbformat": 4,
  "language_info": {
   "name": "python",
   "version": "3.7.11",
   "mimetype": "text/x-python",
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "pygments_lexer": "ipython3",
   "nbconvert_exporter": "python",
   "file_extension": ".py"
  },
  "kernelspec": {
   "name": "python3",
   "display_name": "Python 3.7.11 64-bit ('python3.7': conda)"
  },
  "interpreter": {
   "hash": "fa71babc2664e542ebc0b039860766e8f3c024eb6698fb41728b9797b0d37f82"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}