[b]简介[/b]
scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫,官方给出的一个简单例子足以证明其强大:
[img]http://files.jb51.net/file_images/article/201612/20161226150542561.jpg?201611261560[/img]
[b]快速开发[/b]
下面开始10分钟倒计时:
当然开始前,可以先看看之前我们写过的 scrapy 入门文章 《[url=http://www.1sucai.cn/article/57183.htm]零基础写python爬虫之使用Scrapy框架编写爬虫[/url]
[b]1. 初始化项目[/b]
scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com
[b]2. 添加 spider 代码:[/b]
定义 scrapy.Item ,添加 image_urls 和 images ,为下载图片做准备。
修改 start_urls 为初始页面, 添加 parse 用于处理列表页, 添加 parse_item 处理项目页面。
[img]http://files.jb51.net/file_images/article/201612/20161226150658195.jpg?201611261578[/img]
[b]3. 修改配置文件:[/b]
DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录
[b]4. 运行项目:[/b]
[b]看,项目运行效果图[/b]
[img]http://files.jb51.net/file_images/article/201612/20161226150801547.jpg?201611261589[/img]
等待一会儿,就是收获的时候了
[img]http://files.jb51.net/file_images/article/201612/20161226150831150.jpg?2016112615839[/img]
[img]http://files.jb51.net/file_images/article/201612/20161226150905250.jpg?2016112615914[/img]
[b]总结[/b]
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。