Pyhton爬虫18-Scrapy模拟登录
·
Scrapy模拟登录
方法:
1、直接携带cookie
2、找到发送post请求的URL地址,带上信息,发送请求
一、模拟登录人人网
1、创建一个scrapy项目
scrapy startproject renren
2、生成一个爬虫文件
scrapy genspider rr renren.com
3、设置settings,添加log日志等级,添加headers请求头


4、添加一个文件运行爬虫
from scrapy import cmdline
cmdline.execute(['scrapy','crawl','rr'])
5、开始编写


二、模拟登录GitHub
1、创建一个scrapy项目
scrapy startproject github
2、生成一个爬虫文件
scrapy genspider gt github.com
3、设置settings,添加log日志等级,添加headers请求头


4、添加一个文件运行爬虫
from scrapy import cmdline
cmdline.execute(['scrapy','crawl','gt'])
5、开始实现



三、快速登录GitHub
1、在github项目下生成另一个爬虫文件
scrapy genspider gt2 github.com
2、只需提供账号和密码即可实现


更多推荐




所有评论(0)