小李是一家市场调研公司的调研员，最近接到一个新任务：分析国内主流电商平台上智能手机的市场竞争格局。领导要求他收集各大电商平台上热门智能手机的价格、销量、评价、配置参数等信息，用于市场分析和竞品分析，最终生成一份详细的市场调研报告。

面对海量的商品信息，小李犯了难。如果手动一个个打开网页复制粘贴，不仅效率低下，还容易出错。这时，他想到了曾经学习过的Python爬虫技术，或许可以利用爬虫自动抓取这些数据！

 

Python爬虫助你事半功倍！

Python爬虫可以模拟浏览器访问网页，自动提取所需的信息。利用Python的Requests库和BeautifulSoup库，我们可以轻松地爬取电商网站的商品信息。

下面我们以爬取某电商平台的手机信息为例，详细演示Python爬虫的强大功能：

步骤1：分析目标网页，确定爬取策略

在编写爬虫代码之前，我们需要先分析目标网页的结构，确定要爬取的信息以及如何提取这些信息。

打开xxx电商平台的手机分类页面，观察网页结构。我们可以发现，每个手机商品的信息都包含在一个独立的列表项中，<li class="product-item">。每个列表项中包含了商品名称、价格、销量、图片等信息。

我们可以使用浏览器的开发者工具（按F12键即可打开）查看网页的HTML代码，找到这些信息的具体位置和对应的HTML标签。

商品名称包含在<h3>标签中，

价格可能在<span>标签中，等等。

 

步骤2：发送请求，获取网页内容

确定爬取策略后，我们可以开始编写代码。首先，我们需要使用Requests库发送HTTP请求，获取目标网页的HTML内容。

import requests

# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}

# 发送GET请求，获取网页内容
url = 'https://www.example.com/手机'  # 替换成实际的电商网站URL
response = requests.get(url, headers=headers)

# 检查请求是否成功
if response.status_code == 200:
    html_content = response.text
else:
    print('请求失败！')

步骤3：解析网页内容，提取商品信息

获取网页内容后，我们需要使用BeautifulSoup库解析HTML代码，提取商品信息。

from bs4 import BeautifulSoup

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_content, 'html.parser')

# 找到所有商品列表项
products = soup.find_all('li', class_='product-item')  # 替换成实际的CSS选择器

# 遍历每个商品列表项，提取信息
for product in products:
    name = product.find('h3', class_='product-name').text.strip()  # 提取商品名称，并去除空格
    price = product.find('span', class_='product-price').text.strip()  # 提取商品价格，并去除空格
    sales = product.find('span', class_='product-sales').text.strip()  # 提取商品销量，并去除空格
    image_url = product.find('img', class_='product-image')['src']  # 提取商品图片URL
    # ... 提取其他信息，例如评价、配置参数等

    # 打印提取的信息
    print(f'商品名称：{name}，价格：{price}，销量：{sales}，图片URL：{image_url}')

输出结果：

商品名称：XX手机，价格：¥3999，销量：10000+，图片URL：https://www.example.com/images/xx.jpg
商品名称：YY手机，价格：¥2999，销量：8000+，图片URL：https://www.example.com/images/yy.jpg
商品名称：ZZ手机，价格：¥4999，销量：5000+，图片URL：https://www.example.com/images/zz.jpg
... ...

步骤4：存储数据

提取到商品信息后，我们可以将数据存储到本地文件或数据库中，方便后续分析使用。

# 将数据写入CSV文件
with open('手机信息.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['商品名称', '价格', '销量', '图片URL'])  # 写入表头
    for product in products:
        # ... 提取商品信息
        writer.writerow([name, price, sales, image_url])

print("数据已保存到 手机信息.csv 文件中")

 

总结

通过以上步骤，我们利用Python爬虫成功地从电商网站上爬取了手机信息，并将其存储到CSV文件中。小李可以利用这些数据进行市场分析、竞品分析等工作，最终生成一份详细的市场调研报告，大大提高了工作效率。

 

注意：

• 爬取网页数据时，请遵守robots.txt协议，不要对网站造成过大的压力。

• 部分网站可能采取了反爬措施，需要根据实际情况调整爬虫策略。

• 爬取的数据仅供学习和研究使用，请勿用于商业用途。

   

全套Python学习资料分享：

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

 

 

二、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

 

 

三、python入门资料大全

 

 

四、python进阶资料大全

 

 

五、python爬虫专栏

 

 

六、入门学习视频全套

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

 

 

七、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

 

 

八、python最新面试题