- 时间:2021-03-22 09:56 编辑: 来源: 阅读:
- 扫一扫,手机访问
摘要:Python爬虫DOTA排行榜爬取实例(分享)
[b]1、分析网站[/b]
打开开发者工具,我们观察到排行榜的数据并没有在doc里
[img]http://files.jb51.net/file_images/article/201706/2017061301.jpg[/img]
[b]doc文档[/b]
在Javascript里我么可以看到下面代码:
[img]http://files.jb51.net/file_images/article/201706/2017061302.png[/img]
[b]ajax的post方法异步请求数据
[/b]
在 XHR一栏里,我们找到所请求的数据
[img]http://files.jb51.net/file_images/article/201706/2017061303.jpg[/img]
[b]json存储的数据[/b]
请求字段为:
[img]http://files.jb51.net/file_images/article/201706/2017061304.png[/img]
post请求字段
[b]2、伪装浏览器,并将json数据存入excel里面[/b]
[img]http://files.jb51.net/file_images/article/201706/2017061305.png[/img]
获取信息
[img]http://files.jb51.net/file_images/article/201706/2017061306.png[/img]
将数据保存到excel中
[b]3、结果展示[/b]
[img]http://files.jb51.net/file_images/article/201706/2017061307.png[/img]
以上这篇Python爬虫DOTA排行榜爬取实例(分享)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持编程素材网。