爬虫编写与postman结合
·
爬虫编写的一般逻辑是:
当我们想对一个网站进行爬取时,在浏览器中分析该网址,和一些网站传递的参数。然后打开ide,开始进行编写,复制浏览器中的各种data和headers。然而当网站需要post过去数据,content-type 分类又会踩许多坑,怎么高速的提高效率呢。这里我介绍下postman的使用
直接进入正题,这里使用今日头条为例:
第一步,找到需要爬取的url

第二步,复制该url的curl到postman

第三步,在postman中导入该curl

第四步,我们只需要点击send,就可以得到内容,在这里还可以调试各种参数,去掉不需要的参数,进行获取,比在ide中方便许多

最后,我们只需要保存为代码就OK

OK 大功告成,相信大家看出来了postman对编写爬虫的方便
更多推荐




所有评论(0)