量化交易与投资社区

量化交易与投资社区

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

量化交易与投资社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

selenium

爬取东方财富股票信息

本文基于第二种，即selenium，爬取东方财富的股票数据。目标网址：http://quote.eastmoney.com/center/gridlist.html#hs_a_board目标数据：网页table标签中的股票信息。

正在修炼的IT大佬
2023-11-06 22:24:47

 2879

 1

#python #selenium
jmeter教程之jmeter对图片验证码的处理

如下图：解压后双击OcrServer.exe；然后电脑的右下角会显示该服务的IP和端口。做接口登录的时候要对图片验证码进行识别出图片中的字段，然后再登录接口中使用；在json提取器中通过jsonpath方法提取出code的值。的输入，而且每次登录时图片验证码都是随机的；1、通过ocrserver工具识别图片验证码；识别图片验证码的字段为json格式；通过jmeter对图片验证码的识别方法。

测试也算程序员？
2025-03-05 17:06:39

 1100

 9

#jmeter #测试工具 #单元测试 +4
网络爬虫学习：应用selenium获取Edge浏览器版本号，自动下载对应版本msedgedriver，确保Edge浏览器顺利打开。

我从24年11月份开始学习网络爬虫应用开发，经过2个来月的努力，于1月下旬完成了开发一款网络爬虫软件的学习目标。这里对本次学习及应用开发进行一下回顾总结。前几天我已经发了一篇日志（网络爬虫学习：应用selenium从搜*狐搜索爬取新闻结果的数据）记录了应用中使用的爬虫技术。这篇日志记录另外一个问题的解决。

百***5780
2025-11-02 19:29:34

 1376

 24

#爬虫 #学习 #selenium
Python爬虫实战：百度搜索数据抓取代码全解析（Selenium自动化，后附完整代码）

本文介绍了利用Python爬取百度搜索关于GPT-5数据的方法。该爬虫程序能自动翻页采集搜索结果，包含页码、标题、链接和简介等字段，适合用于数据分析。代码采用多种异常处理机制确保稳定性，适合Python爬虫学习者参考。

weixin_73817187
2025-08-09 16:53:58

 930

 4

#爬虫 #selenium #自动化
Python爬虫抓取动态数据

一个月前实习导师布置的任务，通过网络爬虫获取深圳市气象局发布的降雨数据。界面如下。心想，爬虫不太难的，当年跟zjb爬煎蛋网无（mei）聊（zi）图的时候，多么清高。由于接受任务后的一个月考试加作业一大堆，导师也不催，自己也不急。但是，导师等我一个月都得让我来写意味着这东西得有多难吧。。。今天打开一看的确是这样。网站是基于Ajax写的，数据动态获取，所以无法通过下载源代码然后解析获得

 liuph_
2016-07-02 17:12:04

 1.8w

 7

#python #爬虫 #selenium
2024爬虫用selenium 爬取 51job（前程无忧）代码

最近想要练习一下爬虫，但是打开51job的页进行操作发现，地址基本不怎么变化，不太容易提取url地址，发现无论是搜索 java 还是 python 地址是不变的，点击页码地址也不会变化。所以用操作地址的爬虫框架就不太容易操作了，下面是使用selenium爬取51job的具体流程，代码部分几乎每一行都有注释。

百***7695
2025-10-28 16:28:54

 575

 3

#爬虫 #selenium #测试工具
Python网络爬虫（三）：chromdriver.exe与chrome版本映射及下载链接

前言：最近正在学习Python网络爬虫，学到selenium，需要用到chrome浏览器的驱动，但是网上的很多地址都被墙了，而且没有准确的驱动和chrome版本的映射，很麻烦。现在我已经解决了这些问题，现在把映射和下载链接分享出来。（一）查看chrome版本（1）通过键入地址查看：打开浏览器，在地址栏输入：chrome://version（2）依次点击，自定义及控制–>帮助–>

马衍硕
2018-01-03 16:10:32

 1.1w

 4

#python #chrome #selenium
selenium爬虫模拟登录PayPal

learnselenium学习Selenium爬虫，模拟登录PayPal。免责声明：本代码仅用于学习Selenium，不可用于大规模测试登录PayPal或者对其发起DDos攻击，违者后果自负。编写本代码视为自身学习目的，特别是用Python实现多线程/多进程间通信，理解并发与并行的实际应用。运行环境部署CentOS7Pyhton虚拟环境安装Selenium + Chrome + WebDriver

biyezuopinvip
2022-02-21 11:12:41

 629

 1

#爬虫 #selenium #python
风之动漫爬虫

平时经常在网上在线看漫画，常去风之动漫。写了一个爬虫来下载漫画。漫画画面所在的内容并不是一开始就加载好的:前两个html里面没有漫画图片地址。图片地址由js文件得出。可以使用selenium来模拟浏览器工作。安装selenium并不难。但需要下一个配套的driver，我是firefox的浏览器，下了一个geckodriver。谷歌浏览器得注意浏览器版本啥的，具体可参见: https://blog.

ctong1504
2020-03-04 23:48:52

 718

 1

#python #selenium #css
Python爬虫 - Selenium（12）获取登录Cookies，并添加Cookies自动登录

WebDriver提供了操作Cookie的相关方法，可以读取、添加和删除cookie信息，以下将分别介绍一下`模拟登陆并获取Cookies`、`添加Cookies自动登录`两个小例子。

程序猿杂记
2019-12-29 21:04:08

 9621

 5

#python #selenium
基于selenium库的爬虫实战：京东手机数据爬取

本文介绍了一个京东手机商品数据爬虫的实现方案，主要采用Selenium模拟登录和爬取数据。实验通过Edge浏览器驱动实现京东账号登录，处理滑块验证码时采用人工干预方式。登录成功后爬取手机商品信息（名称、价格、评论数等）和详情数据，支持多页爬取并保存为CSV格式。代码实现了浏览器初始化、登录验证、页面跳转、数据提取和存储功能。实验成功获取了结构化数据，未来可改进方向包括增加验证模块应对反爬机制，以及

 shelter -唯
2025-10-05 16:54:35

 1339

 19

#selenium #爬虫 #python
利用爬虫获取免费IP代理

项目目标通过爬虫获取“西拉代理”（http://www.xiladaili.com）上的高匿代理，并储存至一个列表。项目分析首先对网页进行观察，主体内容如下图所示。不但指明了代理IP、协议类型，还有存活时间、打分这些数据。有需要的朋友，可以根据存活时间、打分来有选择性地挑选一些代理，这样获得的代理更加稳定。我仅展示最朴素的方法，即爬取网页上的所有代理。网页下方有翻页按钮，点击不同页码，可以看到网页

 小小齐齐龟龟
2021-06-25 20:39:50

 2361

#selenium #python #爬虫
Selenium自动化程序被检测为爬虫，怎么屏蔽和绕过

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！

咖啡加剁椒。
2024-01-09 16:05:59

 1741

 27

#selenium #自动化 #爬虫 +3
python 爬虫细节

python selenium错误问题1【异常】selenium.common.exceptions.WebDriverException: Message: {“errorMessage”:“‘undefined’ is not an object【解决办法】设置用户代理设置导致了这个问题，可能是phantomjs不支持相应的代理。错误代码：dcap = dict(DesiredC

TheSnowBoy_2
2017-03-24 22:34:09

 1158

#python #爬虫 #selenium
python爬虫：案例三：去哪儿酒店价格信息

#coding=utf-8import sysreload(sys)sys.setdefaultencoding( "utf-8" )import urllibfrom selenium import webdriverimport timefrom bs4 import BeautifulSoupimport requestsimport osfrom selenium.we

ZJL-阿友
2016-05-24 01:17:16

 1.5w

#python #selenium #爬虫
毕设课设-基于Python+Selenium爬虫的招聘信息智能采集与分析系统毕业设计源码+论文+部署讲解+PPT

Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、单片机开发、物联网设计与开发设计、简历模板、学习资料、面试题库、技术互助、就业指导等

 逐梦设计
2025-08-11 09:57:54

 941

 22

#python #selenium #vue.js +1
如何利用 Playwright 对已打开的浏览器进行爬虫

用命令行打开 Chrome 浏览器后，就可以使用 Playwright 编写代码，继续对浏览器进行操作。目标：使用 Playwright 操作上面命令行打开的浏览器页面，根据关键字进行搜索，获取商品标题及地址。注意：需要设置到一个全新的目录，不要影响 Chrome 浏览器系统用户的数据。--remote-debugging-port 端口号。--user-data-dir 用户数据保存目录。

测试也算程序员？
2025-04-09 19:35:46

 2274

 25

#测试工具 #selenium #单元测试 +4
爬虫-动态渲染页面爬取-Selenium

文章目录1-Selenium介绍2-准备工作3-基本使用4-声明浏览器对象5-访问页面browser.get(url)6-查找节点7-节点交互8-动作链9-执行JavaScript—execute_script()10-获取节点信息11-切换Frame—switch_to.frame()12-延时等待12-1-隐式等待—implicitly_wait()12-2-显式等待—WebDriverWai

kidcozygirl
2021-04-29 13:54:49

 770

#python #selenium
股票数据爬取之——北向资金持股数据（通过selenium爬取数据）

目前很多网站对爬虫都有防范措施，传统的爬数据方法不一定有效。我们只能曲线救国，通过模拟网页浏览方式爬取数据，虽然速度慢，既能达到目标又不会网站服务器增加压力，双赢吧。Python环境要先下载selenium模块，在工作目录下要下载相应浏览器的驱动，我这里用firefox,下载geckodriver。具体代码如下：from selenium import webdriverimport tushar

wenzhp1975
2020-08-18 08:07:50

 5740

 5

#selenium
python（六）动态网页爬虫

python（六）动态网页爬虫什么是动态网页爬虫动态网页在网站不重新加载的情况下（网页的url不发生改变），通过ajax技术动态更新网站中的局部数据。ajax异步JavaScript和XML，前端与服务器进行少量数据交换，ajax可以使网页实现异步更新。这意味着在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页，如果需要更新内容，必须重载整个页面。因为传输数据的时候使用的是XML语法

 夜色的最黑暗。
2020-11-16 16:29:10

 1644

#python #selenium
基于Selenium爬虫对b站热门

使用Selenium对b站热门视频信息进行爬取

 Linxi_p
2025-07-23 16:50:15

 883

 20

#selenium #爬虫 #测试工具 +1
Python使用selenium库爬虫遇到：Message: ‘chromedriver‘ executable needs to be in PATH

Python使用selenium库爬虫遇到：Message: ‘chromedriver’ executable needs to be in PATH使用谷歌浏览器爬虫原因：缺少谷歌浏览器驱动器，chromedriver_win32解决：下载自己浏览器对应版本的chromedriver放入Python根目录即可查看版本：在谷歌浏览器中输入chrome://version/...

金皮癞蛤蟆
2020-05-06 09:58:07

 628

#chrome #selenium #python +1
爬虫实战(二) 用Python爬取网易云歌单

最近，博主喜欢上了听歌，但是又苦于找不到好音乐，于是就打算到网易云的歌单中逛逛本着 “用技术改变生活” 的想法，于是便想着写一个爬虫爬取网易云的歌单，并按播放量自动进行排序

 半虹
2019-04-10 17:06:47

 4359

 9

#selenium
python爬虫拖动滚动条到底部/顶部/指定元素处

# 将滚动条移动到页面的底部js = &amp;quot;var q=document.documentElement.scrollTop=100000&amp;quot;self.driver.execute_script(js)

liuzh(少昊)
2019-02-18 13:45:29

 5465

 4

#python #selenium
爬虫之登陆验证

运行爬虫抓取某些网站的时候，经常会碰到需要登陆验证（输入账号、密码）之后才能获取数据的情况。那么问题来了，如何完成登陆验证呢？下面以itunes为例大概总结两种方法。主要使用工具为python/java、selenium、phantomjs或firefox/chrome等浏览器.一 python urllib2库的简单介绍本人之前主要使用java进行外部数据获取，用的工具包httpclie

云定止水
2016-11-25 10:49:55

 3.8w

 7

#selenium #爬虫
爬虫笔记（七）——利用selenium对猫眼、豆瓣电影榜单的爬取

利用网页自动化测试工具selenium爬取动态页面，可以实态页面动态信息无法爬取的问题。

咚宝学编程
2021-12-16 08:00:00

 2559

 2

#爬虫 #selenium #python
爬虫---豆瓣

模拟登录豆瓣的问题滑块验证码滑块验证码验证码在iframe子页面，需要browser.switch_to.frame()背景图豆瓣页面中可以加载到，但是单独请求src就拿不到响应！为什么？滑块到缺口处的距离，是固定的。...

laufing
2021-10-22 00:32:18

 851

#爬虫 #selenium
Python爬虫selenium的使用实例爬取知乎首页数据！

1.Selenium简介Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。我这里使用的是爬取知乎首页文章列表，因查看源码并不是能爬取的html.且查看数据接口，爬取到的数据不是最新的数据，故而使用该框架进行爬取学习。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自

 pythonlaodi
2020-11-20 13:25:00

 975

#python #selenium #chrome
PYthon Selenium 爬虫操作浏览器

本篇文章并非原创，转载selenium_python系列之二 Python启动浏览器Firefox\Chrome\IE ，仅作为记录，以供学习！-- coding:utf-8 --import osimport seleniumfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keys"""练习启

 jackisthebestone
2017-07-21 09:52:45

 1005

#python #firefox #chrome +2
问财同花顺spider（爬虫）

这个问财–爬虫必须可用的话不多说开始如今用的是js绕行反爬机制，打开页面是这样的真实页面：缺点页面滚动一直没有实现，然后就是需要手动滚动到页面底部唉有大佬看到后希望你和我交流一下哟联系：1440414483@qq.com代码：import timeimport osfrom selenium import webdriverfrom selenium.webdriver.support.wait

神游py
2021-03-23 20:43:44

 4404

 1

#selenium #chrome #html

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号