spark电影数据分析

数据请参考于 电影数据

 电影点评系统用户行为分析：用户观看电影和点评电影的所有行为数据的采集、过滤、处理和展示：
 1，"ratings.dat"：UserID::MovieID::Rating::Timestamp
 2，"users.dat"：UserID::Gender::Age::OccupationID::Zip-code
 3，"movies.dat"：MovieID::Title::Genres
 4, "occupations.dat"：OccupationID::OccupationName

需求一

1. 读取信息,统计数据条数. 职业数, 电影数, 用户数, 评分条数
2. 显示每个职业下的用户详细信息，显示为 (职业编号,(人的编号,性别,年龄,邮编),职业名)

参考实现

需求二

1. 某个用户看过的电影数量
2. 这些电影的信息，格式为: (MovieId,Title,Genres)

参考实现

需求三

1. 所有电影中平均得分最高的前 10 部电影:(分数,电影 ID) 这些电影的信息，格式为:(MovieId,Title,Genres)
2. 观看人数最多的前 10 部电影:(观影人数,电影 ID)

参考实现

需求四

1. 分析男性用户最喜欢看的前 10 部电影
2. 女性用户最喜欢看的前 10 部电影 输出格式: ( movieId, 电影名,总分，打分次数，平均分)

参考实现

需求五

1. 分析最受不同年龄段人员欢迎的前 10 部电影

原始数据集中的年龄段划分如下：

* under 18: 1
* 18 - 24: 18
* 25 - 34: 25
* 35 - 44: 35
* 45 - 49: 45
* 50 - 55: 50
* 56 - + : 56

参考实现

需求六

1. 分析不同类型的电影总数 输出格式:( 类型,数量)

参考实现

需求七

1. 分析每年度生产的电影总数 输出格式:(年度,数量)

参考实现

需求八

1. 分析每年度不同类型的电影总数

参考实现

需求九

1. 分析不同职业对观看电影类型的影响 格式: (职业名,(电影类型,观影次数))
2. 结果入库 格式: (职业名,(电影类型,观影次数))

参考实现