爬虫编写的一般逻辑是:

当我们想对一个网站进行爬取时,在浏览器中分析该网址,和一些网站传递的参数。然后打开ide,开始进行编写,复制浏览器中的各种data和headers。然而当网站需要post过去数据,content-type 分类又会踩许多坑,怎么高速的提高效率呢。这里我介绍下postman的使用

直接进入正题,这里使用今日头条为例:

第一步,找到需要爬取的url

 

第二步,复制该url的curl到postman

 

第三步,在postman中导入该curl

第四步,我们只需要点击send,就可以得到内容,在这里还可以调试各种参数,去掉不需要的参数,进行获取,比在ide中方便许多

 

最后,我们只需要保存为代码就OK

OK 大功告成,相信大家看出来了postman对编写爬虫的方便

Logo

加入社区!打开量化的大门,首批课程上线啦!

更多推荐