方法:
1、直接携带cookie
2、找到发送post请求的URL地址,带上信息,发送请求

一、模拟登录人人网

1、创建一个scrapy项目

scrapy startproject renren

2、生成一个爬虫文件

scrapy genspider rr renren.com

3、设置settings,添加log日志等级,添加headers请求头


在这里插入图片描述
4、添加一个文件运行爬虫

from scrapy import cmdline
cmdline.execute(['scrapy','crawl','rr'])

5、开始编写

在这里插入图片描述

在这里插入图片描述

二、模拟登录GitHub

1、创建一个scrapy项目

scrapy startproject github

2、生成一个爬虫文件

scrapy genspider gt github.com

3、设置settings,添加log日志等级,添加headers请求头


在这里插入图片描述
4、添加一个文件运行爬虫

from scrapy import cmdline
cmdline.execute(['scrapy','crawl','gt'])

5、开始实现

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、快速登录GitHub

1、在github项目下生成另一个爬虫文件

scrapy genspider gt2 github.com

2、只需提供账号和密码即可实现

在这里插入图片描述
在这里插入图片描述

Logo

加入社区!打开量化的大门,首批课程上线啦!

更多推荐