- 目标：有三款产品某企通、某赋通和某票，通过推荐提高用户群体从某企通和某票到某赋通产品的转化率。
- 数据情况：用户数据体量，某企通：某赋通：某票 = 100 ：10 ：1
- 推荐算法选型：试验过当下十分流行的Item_CF和User_CF，产生的推荐效果并不理想，具体过程如下：
- 核心思想：将某企通的用户通过Kmeans聚类进行分群，跑手肘法使分层数依次为2、3、4....10。分别计算相应层数中， 每个群体购买某赋通的数学期望，目标是找出获得最大数学期望的群体，进行画像推荐。
- 用户分群的效果：随着分群的种类不断增加，用户购买某赋通的数学期望如下所示：
- 结论：可以看出购买某赋通的数学期望偏低，这也同样证明了协同过滤推荐算法的不适用，因为数据在向未购买的用户群靠拢， 所以需要解决购买与不购买数据样本不平衡的问题。
选择了非常弱的分类器决策树，参考传统的RFM模型，进行用户推荐。
- Windows 10
- Python 3.6.5
pip install -r requirements.txt
python recommender.py
- 特征工程：
数据清洗：对文本型数据、数值型数据、时间型数据和确实数据进行清洗，一致性检查和业务逻辑检查。
特征选择：相关性和重要性计算。
- 用户画像：
基于到期时间的推荐：依次推荐给快到期用户续费使用；
基于效用的推荐：开票量、开票金额和登录使用次数都是构成效用的重要指标；
基于RFM用户价值模型的推荐：对消费金额和消费频次高的用户适时产生推荐；
混合推荐：现实应用中，其实很少有直接用某种算法来做推荐的系统。通过给不同算法的结果加权重来综合结果， 或者是在不同的计算环节中运用不同的算法来混合，达到更贴合自己业务的目的。
- 推荐引擎
决策树：不确定性的计算采用的是基尼系数，之前已经计算过累计重要性，所以这里就不剪枝。
RFM模型：通过不断调整权重，运营人员认为如下公式比较符合预期。computeTotalScore。
def computeTotalScore(scoreDic):
'''
根据用户对所有商品的打分
:param scoreDic:每个用户对所有商品的评级
:return:对产品的打分
index = ["times-wp","je-wp","recently-wp","times-bqt","je-bqt","recently-bqt","times-bft","je-bft","recently-bft","dayLoginTimes",
"zczb","industry","ages","dayInvoiceNum","dayInvoiceJe"]
'''
if len(scoreDic) <1:raise Exception('scoreDic is none')
if scoreDic.get('dayLoginTimes') == None:scoreDic['dayLoginTimes'] = 0
score_common = scoreDic['registeredCapital'] * 10 + scoreDic['dayCountAvg'] * 30 + scoreDic['loginFrequency'] * 30 + \
scoreDic['daySumAvg'] * 30 + scoreDic['dateOfEstablishment'] * 10 + scoreDic['industry'] * 10
if scoreDic['deadline']==5: bft = 200 + (scoreDic['userConsumeTotalAmount'] + scoreDic['userConsumeTotalTimes'])* 50
else:bft = 0
if scoreDic['recently_bqt']==5: bqt = 100 + (scoreDic['je_bqt'] + scoreDic['times_bqt'])* 50
else:bqt = 0
if scoreDic['deadline_wp']==5: wp = 100 + (scoreDic['je_wp'] + scoreDic['times_wp'])* 50
else:wp = 0
score = bft + bqt + wp + score_common
return score1、加大力度对用户数据的采集；
2、根据最近几次推荐的反馈结果，对模型进行优化；
3、搭建实时的用户推荐系统，后期我会陆续更新基于Mahout的推荐系统代码。