Node.js抓取中文網(wǎng)頁亂碼問題和解決方法_node.js

request(url, function (err, res, body) {
console.log(body)
})

可以使用 iconv-lite 來解決

安裝
代碼如下:
npm install iconv-lite

同時(shí)我們順帶把 user-agent 修改一下，以防網(wǎng)站屏蔽：
代碼如下:
var originRequest = require('request')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {
var options = {
url: url,
encoding: null,
headers: headers
}
originRequest(options, callback)
}

request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
console.log(html)
})

亂碼問題解決

使用 cheerio 解析 HTML

cheerio 可以簡單粗暴的理解為服務(wù)器端 jQuery 選擇器，有了它，比正則要更加直觀許多

安裝
代碼如下:
npm install cheerio
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html)
console.log($('h1').text())
console.log($('h1').html())
})

輸出如下
代碼如下:
網(wǎng)易
网易

那么問題來了，$('h1').html() 輸出的代碼是經(jīng)過 Unicode 編碼的，網(wǎng)易變成了网易，給我們的字符處理帶來了一些麻煩

解決 cheerio .html() 「亂碼」問題
查閱文檔可知，可以關(guān)閉這個(gè)轉(zhuǎn)換實(shí)體編碼的功能
代碼如下:
var $ = cheerio.load(html)

改成
代碼如下:
var $ = cheerio.load(html, {decodeEntities: false})

即可，完整代碼如下：
代碼如下:
var originRequest = require('request')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {
var options = {
url: url,
encoding: null,
headers: headers
}
originRequest(options, callback)
}

var url = 'http://www.163.com'

request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html, {decodeEntities: false})
console.log($('h1').text())
console.log($('h1').html())
})

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com