网络爬虫抓取特定网站网页的html数据，但是一个网站有上千上万条数据，我们不可能知道网站网页的url地址，所以，要有个技巧去抓取网站的所有html页面。[b]Scrapy[/b]是纯[b]Python[/b]实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～   [b] Scrapy[/b] 使用[b]wisted[/b]这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。整体架构如下图所示： [img]http://files.jb51.net/file_images/article/201508/201508071022341.jpg[/img]     绿线是数据流向，首先从初始URL 开始，[b]Scheduler [/b]会将其交给 Downloader 进行下载，下载之后会交给 Spider 进行分析，Spider分析出来的结果有两种：一种是需要进一步抓取的链接，例如之前分析的“下一页”的链接，这些东西会被传回 Scheduler ；另一种是需要保存的数据，它们则被送到Item Pipeline 那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。 我假定你已经安装了Scrapy。假如你没有安装,你可以参考这篇文章。 在本文中，我们将学会[b]如何使用Scrapy建立一个爬虫程序，并爬取指定网站上的内容[/b] 1. 创建一个新的Scrapy Project 2. 定义你需要从网页中提取的元素Item 3.实现一个Spider类，通过接口完成爬取URL和提取Item的功能 4. 实现一个Item PipeLine类，完成Item的存储功能 我将会用腾讯招聘官网作为例子。 Github源码：[url=https://github.com/maxliaops/scrapy-itzhaopin]https://github.com/maxliaops/scrapy-itzhaopin[/url] [img]http://files.jb51.net/file_images/article/201508/201508071022342.png[/img] [b]目标：抓取腾讯招聘官网职位招聘信息并保存为JSON格式。[/b] 新建工程 [b]首先，为我们的爬虫新建一个工程，首先进入一个目录（任意一个我们用来保存代码的目录），执行：[/b]