今天来学习alsotang的[url=https://github.com/alsotang/node-lessons/tree/master/lesson3]爬虫教程[/url]，跟着把[url=https://cnodejs.org/]CNode[/url]简单地爬一遍。 [b]建立项目craelr-demo [/b]我们首先建立一个Express项目，然后将app.js的文件内容全部删除，因为我们暂时不需要在Web端展示内容。当然我们也可以在空文件夹下直接 [code]npm install express[/code]来使用我们需要的Express功能。 [b]目标网站分析[/b] 如图，这是CNode首页一部分div标签，我们就是通过这一系列的id、class来定位我们需要的信息。 [img]http://files.jb51.net/file_images/article/201412/201412221036044.png[/img] [b]使用superagent获取源数据 [/b] superagent就是ajax API来使用的Http库，它的使用方法与jQuery差不多，我们通过它发起get请求，在回调函数中输出结果。 它的res结果为一个包含目标url信息的对象，网站内容主要在其text(string)里。 [img]http://files.jb51.net/file_images/article/201412/201412221036045.png[/img] [b]使用cheerio解析 [/b] cheerio充当服务器端的jQuery功能，我们先使用它的.load()来载入HTML，再通过CSS selector来筛选元素。 其结果为一个个对象，调用 [code].each(function(index, element))[/code]函数来遍历每一个对象，返回的是HTML DOM Elements。 [img]http://files.jb51.net/file_images/article/201412/201412221036046.png[/img] 输出 [code]console.log($element.attr('title'));[/code]的结果为 [code]广州 2014年12月06日 NodeParty 之 UC 场[/code] 之类的标题，输出 [code]console.log($element.attr('href'));[/code]的结果为 [code]/topic/545c395becbcb78265856eb2[/code]之类的url。再用NodeJS1的url.resolve()函数来补全完整的url。 [b]使用eventproxy来并发抓取每个主题的内容[/b] 教程上展示了深度嵌套(串行)方法和计数器方法的例子，eventproxy就是使用事件(并行)方法来解决这个问题。当所有的抓取完成后，eventproxy接收到事件消息自动帮你调用处理函数。 结果如下 [img]http://files.jb51.net/file_images/article/201412/201412221036057.png[/img] 扩展练习(挑战) 获取留言用户名和积分 [img]http://files.jb51.net/file_images/article/201412/201412221036058.png[/img] 在文章页面的源码找到评论的用户class名，classname为reply_author。console.log第一个元素 [code]$('.reply_author').get(0)[/code]可以看到，我们需要获取东西都在这里头。 [img]http://files.jb51.net/file_images/article/201412/201412221036059.png[/img] 首先，我们先对一篇文章进行抓取，一次性把需要的都得到即可。 我们可以通过[code]https://cnodejs.org/user/username[/code]抓取积分信息 在用户信息页面 [code]$('.big').text().trim()[/code]即为积分信息。 使用cheerio的函数.get(0)为获取第一个元素。 这只是对于单个文章的抓取，对于40个还有需要修改的地方。