Nodejs實現爬蟲抓取數據實例解析

npm install superagent --save-dev

npm install cheerio --save-dev

//導入依賴包
const http = require("http");
const path = require("path");
const url = require("url");
const fs = require("fs");
const superagent = require("superagent");
const cheerio = require("cheerio");

superagent
 .get("https://www.zhipin.com/job_detail/?city=100010000&source=10&query=%E5%89%8D%E7%AB%AF")
 .end((error,response)=>{
 //獲取頁面文檔數據
 var content = response.text;
 //cheerio也就是nodejs下的jQuery 將整個文檔包裝成一個集合，定義一個變量$接收
 var $ = cheerio.load(content);
 //定義一個空數組，用來接收數據
 var result=[];
 //分析文檔結構 先獲取每個li 再遍歷里面的內容(此時每個li里面就存放著我們想要獲取的數據)
 $(".job-list li .job-primary").each((index,value)=>{
 //地址和類型為一行顯示，需要用到字符串截取
 //地址
 let address=$(value).find(".info-primary").children().eq(1).html();
 //類型
 let type=$(value).find(".info-company p").html();
 //解碼
 address=unescape(address.replace(/&#x/g,'%u').replace(/;/g,''));
 type=unescape(type.replace(/&#x/g,'%u').replace(/;/g,''))
 //字符串截取
 let addressArr=address.split('<em class="vline"></em>');
 let typeArr=type.split('<em class="vline"></em>');
 //將獲取的數據以對象的形式添加到數組中
 result.push({
 title:$(value).find(".name .job-title").text(),
 money:$(value).find(".name .red").text(),
 address:addressArr,
 company:$(value).find(".info-company a").text(),
 type:typeArr,
 position:$(value).find(".info-publis .name").text(),
 txImg:$(value).find(".info-publis img").attr("src"),
 time:$(value).find(".info-publis p").text()
 });
 // console.log(typeof $(value).find(".info-primary").children().eq(1).html());
 });
 //將數組轉換成字符串
 result=JSON.stringify(result);
 //將數組