Python爬虫学习： 案例-BBS网站介绍（1）
1. 确定网站有哪些版块观察页面点击几个页面发现 http://www.newsmth.net/nForum/#!section/X2. 使用Postman验证如果我们爬取http://www.newsmth.net/nForum/#!section/6这个版面，使用Postman验证模版的意思是有框架，但是框架里是空的值，根据具体情况会往里面填充值，所以这就造成如果直接爬取这个URL会...
·
1. 确定网站有哪些版块
观察页面点击几个页面发现 http://www.newsmth.net/nForum/#!section/X
2. 使用Postman验证
如果我们爬取http://www.newsmth.net/nForum/#!section/6这个版面，使用Postman验证
模版的意思是有框架，但是框架里是空的值，根据具体情况会往里面填充值，所以这就造成如果直接爬取这个URL会爬取不下来。
Requests仅仅会请求这个URL，所以显示的空界面，浏览器会根据URL实施很多内容，所以能回显整个页面。
3. 浏览器检查属性寻找真正的请求页面
确定我们最终需要的URL：http://www.newsmth.net/nForum/section/6?ajax
4. 总结
浏览器显示的URL：http://www.newsmth.net/nForum/#!section/6（只提供加载模版，并无内容）
含有真正内容的URL：http://www.newsmth.net/nForum/section/6?ajax
加入社区！打开量化的大门，首批课程上线啦！
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)