gensim phrase.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 簡單 gensim phrase 教學"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "之前有做過利用 phrase model 來建立字典, 提供簡單範例給各位參考"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- - -"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 資料來源"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "[邰智源模仿「藍瘦香菇」　半天吸260萬點閱](http://news.tvbs.com.tw/entertainment/680923)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- - -"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 資料前處理"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "把文章每句話轉成對一個字一個字存成 `list` 的 `list`, 至於怎麼轉大家可以自己研究一下"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "text = u'''\n",
    "大陸廣西一名失戀男子，因為濃濃南寧口音，把難受想哭說成「藍瘦香菇」，意外變成大陸網紅，藝人邰智源也模仿他，還提到總統蔡英文取消放7天假的議題，超爆笑的影片，短短13小時被瘋狂轉載2萬多次，點閱率逼近260萬。\n",
    "\n",
    "躺在床上不時翻著白眼，藝人邰智源拍攝最新短片，光聽這招牌台詞很多人肯定不陌生。\n",
    "\n",
    "藝人邰智源：「藍瘦香菇在這裡。」「難受想哭」講成「藍瘦香菇」；這影片就是模仿日前大陸廣西失戀男子，因為南寧口音意外讓失戀心情變成搞笑影片，還超過9千萬人次點閱。\n",
    "\n",
    "仔細一比，同樣裸上身躺在床上，不只大小眼還點上4顆痣，邰智源模仿的唯妙唯肖，還加碼跟上最近流行的時事議題。\n",
    "\n",
    "藝人邰智源：「蔡總統你為什麼要說這種話，取消7天假在這裡，這7天假從來沒有放過已經夠難受了，你還把它取消更香菇。」\n",
    "\n",
    "取消7天假為什麼要難過，原來因為爸爸開印刷廠…\n",
    "\n",
    "藝人邰智源：「2017年的月曆早就印好了，你現在說要取消7天假，我們要全部重印在這裡，好藍瘦香菇。」\n",
    "\n",
    "影片po上網之後，網友直呼超爆笑，短短13小時不只2萬多人分享，還將近260萬次瀏覽，邰智源模仿功力也讓大家直呼真是太神了。\n",
    "\n",
    "'''"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "alphabets_list = [[u'大', u'陸', u'廣', u'西', u'一', u'名', u'失', u'戀', u'男', u'子'], [u'因', u'為', u'濃', u'濃', u'南', u'寧', u'口', u'音'], [u'把', u'難', u'受', u'想', u'哭', u'說', u'成'], [u'藍', u'瘦', u'香', u'菇'], [u'意', u'外', u'變', u'成', u'大', u'陸', u'網', u'紅'], [u'藝', u'人', u'邰', u'智', u'源', u'也', u'模', u'仿', u'他'], [u'還', u'提', u'到', u'總', u'統', u'蔡', u'英', u'文', u'取', u'消', u'放'], [u'天', u'假', u'的', u'議', u'題'], [u'超', u'爆', u'笑', u'的', u'影', u'片'], [u'短', u'短'], [u'小', u'時', u'被', u'瘋', u'狂', u'轉', u'載'], [u'萬', u'多', u'次'], [u'點', u'閱', u'率', u'逼', u'近'], [u'萬'], [u'躺', u'在', u'床', u'上', u'不', u'時', u'翻', u'著', u'白', u'眼'], [u'藝', u'人', u'邰', u'智', u'源', u'拍', u'攝', u'最', u'新', u'短', u'片'], [u'光', u'聽', u'這', u'招', u'牌', u'台', u'詞', u'很', u'多', u'人', u'肯', u'定', u'不', u'陌', u'生'], [u'藝', u'人', u'邰', u'智', u'源'], [u'藍', u'瘦', u'香', u'菇', u'在', u'這', u'裡'], [u'難', u'受', u'想', u'哭'], [u'講', u'成'], [u'藍', u'瘦', u'香', u'菇'], [u'這', u'影', u'片', u'就', u'是', u'模', u'仿', u'日', u'前', u'大', u'陸', u'廣', u'西', u'失', u'戀', u'男', u'子'], [u'因', u'為', u'南', u'寧', u'口', u'音', u'意', u'外', u'讓', u'失', u'戀', u'心', u'情', u'變', u'成', u'搞', u'笑', u'影', u'片'], [u'還', u'超', u'過'], [u'千', u'萬', u'人', u'次', u'點', u'閱'], [u'仔', u'細', u'一', u'比'], [u'同', u'樣', u'裸', u'上', u'身', u'躺', u'在', u'床', u'上'], [u'不', u'只', u'大', u'小', u'眼', u'還', u'點', u'上'], [u'顆', u'痣'], [u'邰', u'智', u'源', u'模', u'仿', u'的', u'唯', u'妙', u'唯', u'肖'], [u'還', u'加', u'碼', u'跟', u'上', u'最', u'近', u'流', u'行', u'的', u'時', u'事', u'議', u'題'], [u'藝', u'人', u'邰', u'智', u'源'], \n",
    " [u'蔡', u'總', u'統', u'你', u'為', u'什', u'麼', u'要', u'說', u'這', u'種', u'話'], [u'取', u'消'], [u'天', u'假', u'在', u'這', u'裡'], [u'這'], \n",
    " [u'天', u'假', u'從', u'來', u'沒', u'有', u'放', u'過', u'已', u'經', u'夠', u'難', u'受', u'了'], [u'你', u'還', u'把', u'它', u'取', u'消', u'更', u'香', u'菇'], \n",
    " [u'取', u'消'], [u'天', u'假', u'為', u'什', u'麼', u'要', u'難', u'過'], [u'原', u'來', u'因', u'為', u'爸', u'爸', u'開', u'印', u'刷', u'廠'], \n",
    " [u'藝', u'人', u'邰', u'智', u'源'], [u'年', u'的', u'月', u'曆', u'早', u'就', u'印', u'好', u'了'], [u'你', u'現', u'在', u'說', u'要', u'取', u'消'], \n",
    " [u'天', u'假'], [u'我', u'們', u'要', u'全', u'部', u'重', u'印', u'在', u'這', u'裡'], [u'好', u'藍', u'瘦', u'香', u'菇'], [u'影', u'片'], [u'上', u'網', u'之', u'後'], \n",
    " [u'網', u'友', u'直', u'呼', u'超', u'爆', u'笑'], [u'短', u'短'], [u'小', u'時', u'不', u'只'], [u'萬', u'多', u'人', u'分', u'享'], [u'還', u'將', u'近'], \n",
    " [u'萬', u'次', u'瀏', u'覽'], [u'邰', u'智', u'源', u'模', u'仿', u'功', u'力', u'也', u'讓', u'大', u'家', u'直', u'呼', u'真', u'是', u'太', u'神', u'了']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- - -"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 模型"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import gensim\n",
    "model = gensim.models.Phrases(alphabets_list, threshold = 10, delimiter = \"\", min_count = 2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "自己研究一下 `threshold`, `delimiter`, `min_count`, 是什麼, [官網](https://radimrehurek.com/gensim/models/phrases.html)寫得很清楚"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[u'好', u'藍瘦', u'香菇']\n"
     ]
    }
   ],
   "source": [
    "print repr(model[[u'好', u'藍', u'瘦', u'香', u'菇']]).decode('unicode-escape')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "上面是跑出 phrase 的方法, 可以把藍瘦跟香菇加進字典"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "但是, 這只能找到2個字的詞彙, 斷不出邰智源, 解決方法官網也有, 很簡單, 自己查"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- - -"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 結論"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "把你找到的 phrase 存成 jieba 的字典"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "phrase 的好處是全世界你不會找到一個有 **藍瘦** 的字典, 壞處是它的結果嚴重依賴 model 的參數(threshold)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "希望大家做的都不會藍瘦香菇"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}