当前位置：首页 > 资讯 > 技术文档

Node.js抓取中文网页乱码问题和解决方法

时间：2022-12-11 09:42 编辑：来源：阅读：
扫一扫，手机访问

摘要：Node.js抓取中文网页乱码问题和解决方法

Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码

[url=https://github.com/ashtuchkin/iconv-lite]iconv-lite [/url]来解决安装

[url=https://github.com/cheeriojs/cheerio]cheerio [/url]可以简单粗暴的理解为服务器端 jQuery 选择器，有了它，比正则要更加直观许多安装

[url=https://github.com/cheeriojs/cheerio#loading]文档[/url]可知，可以关闭这个转换实体编码的功能

[u]复制代码[/u] 代码如下:

var $ = cheerio.load(html)

改成

[u]复制代码[/u] 代码如下:

var $ = cheerio.load(html, {decodeEntities: false})

即可，完整代码如下：

[u]复制代码[/u] 代码如下:

var originRequest = require('request') 

var cheerio = require('cheerio') 

var iconv = require('iconv-lite') 

var headers = { 

  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'

}
function request (url, callback) { 

  var options = {

    url: url,

    encoding: null,

    headers: headers

  }

  originRequest(options, callback)

}

var url = 'http://www.163.com'

request(url, function (err, res, body) { 

    var html = iconv.decode(body, 'gb2312')

    var $ = cheerio.load(html, {decodeEntities: false})

    console.log($('h1').text())

    console.log($('h1').html())

})

全部评论(0)

上一篇：socket.io与pm2（cluster）集群搭配的解决方案
下一篇：node.js入门学习之url模块

资讯排行榜
更多>>

联系客服

客服电话：
400-000-3129

微信版

扫一扫进微信版

返回顶部