服务热线:400-0033-166
万商云集 - 企业数字化选用平台

企业首选的

数字选用平台

用PHP蜘蛛做旅游数据分析

2020-12-31 11:43:21 阅读(189 评论(0)

随着物质的改善,旅游业逐渐成为人们关注的焦点。炎热的国庆节刚刚过去。利用这种余热,我想很多人都想知道你通常去哪里玩,所以我花了10分钟写了一个小程序来收集黄蜂巢游记。当然,速度可以如此之快,这完全取决于著名的PHP爬虫框架phpspider。在国际惯例中,让我们看看如何编写代码。它被认为是抛砖引玉。^_^黄蜂巢不同于传统网站。由于并发量高,一些数据需要实时,如观众数量和拇指数量,Ajax在许多地方使用,Ajax对普通收藏家来说是一个大问题。观察了黄蜂巢网站,最终确定了收集路线:获得热门城市->在城市下获取游记列表->获取游记内容->提取游记标题、城市、出发时间等。,然后我们用三个步骤来实现它。。。1、获取热门城市:首先,我们应该收集这些热门城市。当我们点击页数时,我们发现他的数据是由Ajax加载的,最后一页是297,POST方法提交的参数如下:显然,这个page是页数。这里有一个问题。phpspider框架有URL重机制,POST只有一个URL,但query_string不影响POST数据。我们可以在后面添加page=1 |2|3.所以我们的代码可以这样写:设置列表页面规则:'list_url_regexes'=>array("http://www.mafengwo.cn/mdd/base/list/pagedata_citylistpage=d ",)入口回调函数入口所有城市列表:$spider->on_scan_page=function($page,$content,$phpspider)上面Ajax分页的末页是297页for($i=0;$i<=297;$i ){///全国热点城市$url="http://www.mafengwo.cn/mdd/base/list/pagedata_citylistpage={$i}";$options=array('url_type'=>$url,'method'=>'post','fields'=>array('mddid'=>21536,'page'=>$i,));////热点城市列表页URL入队列$phpspider->add_url($url,$options);}};2、获取热门城市下的游记列表。点击进入一个城市后,我们可以看到他下面的游记列表和上面一样,也是Ajax加载的。我们可以打开chrome的开发者工具,点击Network,然后点击分页获取Ajax的URL:和城市列表一样,它也是POST,参数如下:显然page是页数,当然,我们直接通过POST访问ajax地址:http://www.mafengwo.cn/gonglve/ajax.phpact=get_t..直接报错,他需要来路,综合以上,我们的代码可以这样写:首先,我们应该在on_start回调函数中添加来路URL$spider->on_start=function($phpspider){$phpspider->add_header('Referer','http://www.mafengwo.cn/mdd/citylist/21536.html');};和上面获得的城市列表一样,设置列表匹配规则:'list_url_regexes'=>array("http://www.mafengwo.cn/gonglve/ajax.phpact=get_travellist&mddid=d ",)然后在on___list_page回调判断,如果是第一页,将获得总页数,然后循环到队列中:preg_match('#共(.*)页#',$data_page,$out);for($i=0;$i<$out[1];$i ){$v=$page['request']['fields']['mddid'];$url="http://www.mafengwo.cn/gonglve/ajax.phpact=get_travellist&mddid={$v}&page={$i}";$options=array('url_type'=>$url,'method'=>'post','fields'=>array('mddid'=>$v,'pageid'=>'mdd_index','sort'=>1,'cost'=>0,'days'=>0,'month'=>0,'tagid'=>0,'page'=>$i,));/////游记列表页URL进入队列$phpspider->add_url($url,$options);}通过以上两个步骤,我们将所有热门城市下的游记列表放在队列中。接下来,我们将进行第三步,从这些列表中获取内容页面URL,然后提取内容。3、在on_获取热门城市下的游记列表list_page方法将获得列表页面的内容。从这些内容中,我们可以提取内容页面的URL///获取内容页面preg_match_all('##',$html,$out);if(!empty($out[1])){foreach($out[1]as$v){$url="http://www.mafengwo.cn/i/{$v}.html";////内容页URL进入队列$phpspider->add_url($url);}}接下来,我们将配置field提取内容页面字段'fields'=>array(//标题array('name'=>"name",'selector'=>"//h1[contains(@class,'headtext')]",'required'=>true,),/分类array('name'=>"city",'selector'=>"//div[contains(@class,'relation_mdd')]//a",'required'=>true,),///出发时间aray('name'=>"date",'selector'=>"//li[contains(@class,'time')]",'required'=>true,),)设计数据表:当然,我们也可以获得浏览量、收集、共享、顶部、游戏金额等,太多,方法相似。这个程序已经设计好了,总共不到200行代码。由于phpspider具有多进程采集功能,数据很快收集完成,总共超过7W。这个程序已经设计好了,总共不到200行代码。由于phpspider具有多进程采集功能,数据很快收集完成,总共超过7W。我们得到这些数据后能做什么?!从Top10旅游城市可以看出,云南是博主日夜思念的好地方。。。从五一节和国庆节期间旅游城市的比例可以看出,人们喜欢在五一节去西藏,但国庆节更喜欢青岛。嗯,这两个地方的博主都没去过,说他们受伤了~_~!接下来,让我们来看看今年北京和杭州的旅游旺季。我们可以看到,7月和8月会有更多的人去北京。此时,北京是最酷的。它既不热也不冷。博主曾在一年八月去过北京。他很舒服。让我们来看看杭州。我们可以看到,3月底到4月中旬是杭州的合适季节。当时,春天盛开,天气也很好。我听说太子湾公园每年都有樱花和郁金花展,非常漂亮,艾玛旅游病又犯了~_~!嗯,这篇文章到此结束。事实上,我想分析更多,比如收集热门路线、热门景点、热门图集和旅游路线的价格。最后,形成一个旅游应用程序。如果你有好主意,你也可以告诉我,我会收集他供你参考。最后,对源代码感兴趣的学生可以在github上搜索phpspider^

内容来源:数据分析网,以上内容来源于网络,不代表本站观点,如有侵权,请联系删除。

推荐阅读

线上行业如何更好的生存,找代运营公司?

在这个新媒体、淘宝京东等店铺等线上行业尤其火热的时代,人人都想挤进去创造一片属于自己的天地。然而不管是挤进去个人还是企业,更多都是一些完全不懂得如何运营的毫无经验的小白。于是找代运营公司、寻找靠谱的代运营公司,便成为了和线上行业同等火热的问…查看详情

会员管理系统哪个好?八大会员管理系统分享

如今吸引用户走进店铺并不是一件容易的事情,往往铺天盖地的广告才能使用户在产生购物需求时第一时间想到你的店铺或品牌,一个完善的会员管理系统对企业来说非常重要,你知道会员管理系统哪个好吗?以下八个品牌会员管理系统了解一下(排名不分先后)。 1.…查看详情

最新ai智能系统外呼排名

随着科技的发展,各种智能系统上市,在我们身边就有很多高科技出现。最让人熟悉不过的就是游戏。各大游戏内的人性化以及智能化也是一种智能系统的体现。这里为大家做了详细的关于ai智能系统外呼排名。 1.易网行ai智能系统外呼。深圳易网行AI电话机器…查看详情

财务管理软件都有哪些?推荐5个适合不同规模的企业

财务管理软件是指能有效提升财务工作人员工作效率,减少工作差错率的管理性软件。财务人员的工作琐碎、繁杂,尽管如此,对于财务人员的工作要求却是严谨的。所以一个认真负责的财务工作者,在工作上是会不断寻求好方法,让自己的工作能更加尽善尽美的。那么财…查看详情

2022年十大免费cms建站系统有哪些?

  今天小编就跟大家盘点一下国内外比较知名的cms建站系统,告诉大家靠谱的cms建站系统有哪些,然后你可以从中选择最适合自己的。希望下面的cms系统你在建站的时候能用上。  1、AdobeAEM  Adobe AEM功能可以说是非常强大的,…查看详情

实用的超市销售管理系统

随着现代科学技术的高速发展,计算机技术已经渗透到各个领域,成为各行业必不可少的工具。网络与信息化的普及已成为各行业发展不可缺少的东西。然而现在国内市场的一些中小型超市,它们在信息化过程中的步伐要落后于大中型超市,而对于这些企业的资源管理,信…查看详情

飞鱼crm软件好用吗

飞鱼CRM是一款知名的客户关系管理软件,广泛应用于企业的销售、市场营销和客户服务等领域。以下是对飞鱼CRM软件的评价和使用体验的综合分析:1. 功能丰富:飞鱼CRM提供了包括客户管理、销售管理、营销自动化、客户服务、报表分析等在内的多个功能…查看详情

免费好用的数据库软件有哪些 数据库软件排行榜

  数据库客户端管理维护工具很多,除了系统自带的命令行管理工具之外,还有许多图形化管理工具,下面小编就给大家来详细介绍一下免费好用的数据库软件有哪些 数据库软件排行榜这一块的相关内容,希望能帮助到大家。,  数据库软件排行榜  1.Da…查看详情

U盘数据恢复工具推荐,告别数据丢失烦恼

虽然现在很多东西都特别的方便,但是我们在工作的过程当中也是需要借助U盘的,因为U盘可以随身携带,不管是出差还是去哪里都可以直接用U盘把自己想要播放的内容播放出来,要要比直接另一个笔记本电脑要更加方便一些,那么U盘数据恢复软件有什…查看详情

最新版权登记收费标准

著作权中对于公司来说最常用的要数软件著作权了,那么申请一个软件著作权都需要什么材料呢,最关心的问题也就是版权登记收费标准,下面就让小编来为大家一一解答。 一、计算机软件著作权登记需要提供如下材料: 1、软件著作权登记申请表;2、说明书;3、…查看详情

推荐四部大众很喜欢的言情小说作品

现在的小说类型复杂多样,而言情小说经久不衰,也许是因为美好的爱情或者是美好的相遇,在现实生活中并不常见,所以人们才需要去言情小说中满足幻想。对于现在的女性们来说,言情小说的存在可以说是生命之光了。 1.何以笙箫默 《何以笙箫…查看详情

快手如何换绑手机号?(附上详细方法)

  手机号是我们与外界联系的一个载体,当由于种种原因需要更换手机号码,我们需要解绑/注销一些账号,下面小编就给大家来详细介绍一下快手如何换绑手机号这一块的内容,希望能帮助到大家。  快手如何换绑手机号  1.当前绑定的手机号可以正常使用: …查看详情

cssci期刊是什么意思

cssci期刊是什么?《中文社会科学引文索引》(cssci)由南京大学中国社会科学研究评价中心开发,是国家教育部重点课题攻关项目。cssci根据文献计量学规律,采用定量和定性评价相结合的方法,从全国2700多种中文人文社会科学学术期刊中评选…查看详情

实用的建筑工程管理软件,工作进展实时记录

对于做工程的人来说,每天的施工进度都是不相同的,但是,每天都做了些什么工作都需要统计下来,因为户主很有可能会跟我们要当日的工作进展报告的,所以,要记录,那么,建筑工程管理软件有什么? 1、筑业建筑资料软件最新版 是款对于建筑…查看详情

恐怖片排行榜前十名送给大家,让你的假期旅程不寂寞

假期一到就要去找片源了,找的那叫一个撕心裂肺啊,大部分看过了,或者不知道水平如何,这里小编就要毛遂自荐一下了,良心推荐的恐怖片排行榜前十名送给大家,让你的假期旅程不寂寞,恐怖片让你们兴奋起来。第一名:午夜凶铃午夜凶铃,十大顶级恐怖片之一,是…查看详情

最新文章