源码网商城,靠谱的源码在线交易网站 我的订单 购物车 帮助

源码网商城

使用Python的Scrapy框架十分钟爬取美女图

  • 时间:2022-08-05 03:59 编辑: 来源: 阅读:
  • 扫一扫,手机访问
摘要:使用Python的Scrapy框架十分钟爬取美女图
[b]简介[/b] scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫,官方给出的一个简单例子足以证明其强大: [img]http://files.jb51.net/file_images/article/201612/20161226150542561.jpg?201611261560[/img] [b]快速开发[/b] 下面开始10分钟倒计时: 当然开始前,可以先看看之前我们写过的 scrapy 入门文章 《[url=http://www.1sucai.cn/article/57183.htm]零基础写python爬虫之使用Scrapy框架编写爬虫[/url] [b]1. 初始化项目[/b]
scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com
[b]2. 添加 spider 代码:[/b] 定义 scrapy.Item ,添加 image_urls 和 images ,为下载图片做准备。 修改 start_urls 为初始页面, 添加 parse 用于处理列表页, 添加 parse_item 处理项目页面。 [img]http://files.jb51.net/file_images/article/201612/20161226150658195.jpg?201611261578[/img] [b]3. 修改配置文件:[/b]
DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录
[b]4. 运行项目:[/b]
scrapy crawl meizitu
[b]看,项目运行效果图[/b] [img]http://files.jb51.net/file_images/article/201612/20161226150801547.jpg?201611261589[/img] 等待一会儿,就是收获的时候了 [img]http://files.jb51.net/file_images/article/201612/20161226150831150.jpg?2016112615839[/img] [img]http://files.jb51.net/file_images/article/201612/20161226150905250.jpg?2016112615914[/img] [b]总结[/b] 以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。
  • 全部评论(0)
联系客服
客服电话:
400-000-3129
微信版

扫一扫进微信版
返回顶部