4.如何在大数据框架下挖掘Dianping.com的客户评价?可恢复的

4.大数据框架下,挖掘大众点评网客户评价的方法。

1.爬取网页后,从html页面中提取客户id、评论时间、评分、评论内容、口味、环境、服务、店铺ID等所需字段信息,存储在MYSQL数据库中。

2.发现完整的评论存储在‘div’和‘main-review’中,有些页面口味、环境和服务并不是每个页面都有的,所以需要使用tryexcept来防止程序中断。

3,使用MYSQL数据库,python使用pymysql连接MYSQL数据。需要先建立数据库和表,然后连接和定义游标,编写相应的sql语句,执行事务。