一、打开京东——》搜索ipad

第一次打开只加载了30个商品，往下拉才会加载后30个商品，总共60个商品

我们f12打开Network检查

得到这样的url：

Request URL:

https://search.jd.com/s_new.php?keyword=ipad&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&bs=1&wq=ipa&ev=exbrand_Apple%5E&page=4&s=90&scrolling=y&log_id=1581908729.84407&tpl=1_M&show_items=11714725279,100008348540,57520498136,100002716261,57520498128,56721987303,11795481337,43625057973,11244282613,100008348558,20764151799,43673117804,100000306383,14157116051,100008348556,62655564481,12966165063,57520498124,100002716273,100004245960,11244282617,11714725282,62655564477,56638765596,43673108398,11244282627,100000205038,11302227154,12966165074,100000206156

跟普通的url对比分析

https://search.jd.com/Search?keyword=ipad&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&bs=1&wq=ipa&ev=exbrand_Apple%5E&page=3&s=60&click=0

对比参数：

多了几个参数"&scrolling", "&log_id", "&show_items"，我们一个一个尝试一遍

最终得到能够访问的url：

https://search.jd.com/Search?keyword=ipad&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&bs=1&ev=exbrand_Apple%5E&page=5&s=121&scrolling=y

https://search.jd.com/Search?keyword=ipad&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&bs=1&ev=exbrand_Apple%5E&page=6&s=151&scrolling=y

从而寻找规律得到：

"https://search.jd.com/Search?keyword=" + keyword + "&enc=utf-8&qrst=1&rt=1&stop=1&vt=1&stock=1&page=" + str(p) + "&s=" + str(1 + (p - 1) * 30) + "&click=0&scrolling=y"

得到一整页的商品后，我们的目标是每一个商品的价格和其他，因此我们要得到每一个商品的链接

其中一个url：https://item.jd.com/57521237589.html，"57521237589"就是商品的编号

同样打开f12检查，并复制其XPath方便我们提取这样的链接

复制得到的XPath：//*[@id="J_goodsList"]/ul/li[1]/div/div[1]/a 还需修改一下，把 "li[1]" 的 "[1]" 去掉，不然就只会得到一个商品的链接

html = etree.HTML(response.text)
html.xpath('//*[@id="J_goodsList"]/ul/li/div/div[1]/a/@href'):

二、获取商品参数信息（价格，评论数......）

按f12检查, 京东的价格是通过js加载的，直接获取html的<span>是不能的

得到价格信息的url：https://p.3.cn/prices/mgets?skuIds=3575321949， "35753219491"是商品编号

 返回是一个json文件，我们写出如下代码获取

jsons = json.loads(response.text[0:-1])
price = jsons[0]['p']

三、获取商品其他信息并最后写入csv文件

直接在网页源代码html提取就行

写入csv文件

with open("test.csv", "a", newline="") as csvfile:
    rows = ("商品名称", "商品价格", "商品链接")
    writer = csv.writer(csvfile)
    writer.writerow(rows)

完整代码参考：

GitHub: https://github.com/Tomy-Enrique/Spider/tree/master/JD_spider

Gitee（码云）: https://gitee.com/TomyEnrique/Spider/tree/master/JD_spider