量化交易与投资社区

量化交易与投资社区

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

量化交易与投资社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

开发语言

记一次自定义拦截器拦截/v2/api-docs失效的问题排查

项目中使用swagger来自动生成接口文档，为了防止接口文档地址在外网被访问，需要对swagger的静态资源链接以及动态接口请求根据host属性做一些处理，使得外网域名不能访问接口文档地址。一个容易想到的办法就是通过Spring的Interceptor来实现，在preHandle方法中对swagger的请求路径做拦截。

二拾三
2023-05-30 16:56:31

 4977

 5

#java #spring #开发语言
如何避免爬虫因Cookie过期导致登录失效

通过合理管理Cookie，爬虫可以长期稳定运行，避免因登录失效导致的数据抓取中断。可自动管理Cookie，但需结合存储机制（如文件、数据库）实现长期有效。Cookie是服务器发送到用户浏览器并保存在本地的一小段数据，用于。当检测到Cookie失效时，自动调用登录接口更新Cookie。爬虫在模拟登录后，通常需要携带Cookie访问后续页面。持久Cookie（Persistent Cookie）：可采

 Z_suger7
2025-04-27 16:25:30

 1773

 8

#爬虫 #python #开发语言 +1
有了这个库(GoPUP)，这些爬虫都不用亲自写了

这个库的名字叫 GoPUP，GitHub 主页是：https://github.com/justinzm/gopup这其实是一个基于公开 API 的数据接口库，这个库封装了各种各样的方法，比如通过 wx_hot_list 这个方法我们就可以获取实时的微信热门文章榜单。

JMzz
2022-11-21 13:55:53

 639

 1

#python #开发语言
构建智能投资视野：用Python打造个性化股票分析系统

Python凭借丰富的数据分析库，成为构建智能股票分析系统的利器。本文详细介绍了从环境搭建、数据获取，到技术指标计算、策略回测的完整流程，并深入探讨了基本面分析和量化建模方法，最终强调技术分析需与风险管理和金融知识相结合，为理性投资提供全面指导。

高峰君主
2025-09-26 20:12:50

 1072

 8

#python #开发语言
api接口如何对接？

对于很多产品小白或求职者而言，API接口是一个产品和研发领域的专业术语，大家可能在文章或者PRD中都已经有接触过API接口的概念。实际上，接口的应用已经非常广泛和成熟，这个概念主要活跃在公司内部的各系统之间的衔接和对接以及公司间合作的场景。如果你可以认真看完这篇文章，我相信你们对API接口的认识会更深入，甚至超过90%的小白和求职者。

分享干货的猫
2023-03-15 13:54:50

 2455

 1

#服务器 #运维 #java +2
Rust : 从事量化的生态现状与前景

尽管做适不适合的评价，有点不太靠谱的。就象“黑神话：悟空”，你在设计之前，不同的技术选型，也一定是结合自身的特点和工具、平台自身的优劣来得出来的，可能有一些无奈，可能也有一些经验。回到最初的问题上：在策略开发上，是否适合，这个取决个人的水平，出活快就适合，出活快就算了；即使是一件确定的事呢，也会有不同的答案，因此不同的人，自然有不同的看法。角色和场景不同：有人做策略开发，有人做策略部署，有人做全栈

 songroom
2024-09-06 16:36:07

 2393

 3

#rust #开发语言 #后端
【网络爬虫】(3) 案例小结，文本内容爬取，附Python代码(2)

结果展示，电影信息以CSV文件保存。结果展示，小说文本以txt格式保存。

2401_84009488
2024-04-22 03:19:37

 244

 3

#爬虫 #python #开发语言
高德地图js api 添加自定义点标记，标记显示未加载

在插入html 时，解析assets 路径下的文件出现问题。使用自定义点标记：覆盖物图片未加载。3，或者直接在组件内引入。1，把图片换成网络地址。2，或者base64。

轻重711
2024-10-21 17:42:40

 587

 4

#javascript #开发语言
这些不用编程的爬虫工具，你一定要知道

初期的互联网，写爬虫是门技术活，往大的方向说，爬虫技术是搜索引擎的组成部分。随着互联网技术的发展，写爬虫的门槛一降再降，一些编程语言甚至直接提供爬虫框架，例如python的Scrapy框架，它们让写爬虫走入“寻常百姓家”。我们已经发现，写爬虫是一件炫酷的事情，但即使是这样，学习爬虫仍然有一定的技术门槛。当前的主流爬虫手段是用Python编程，Python的强大毋庸置疑，但初学者学习Python还是

 爱编程的小辞
2023-09-27 19:30:00

 1136

#爬虫 #python #职场和发展 +4
Python爬虫多线程并发时的503错误处理最佳实践

摘要 HTTP 503错误表示服务器暂时无法处理请求，多线程爬虫中常见原因包括服务器负载过高、请求频率过快、服务器防护机制或网络问题。处理503错误的最佳实践包括：合理控制并发线程数量，设置请求间隔（如time.sleep），使用代理服务器隐藏IP地址并降低单个IP请求频率，以及随机切换用户代理（User-Agent）以避免被识别为爬虫。此外，可通过重试机制（如Retry）增强请求稳定性。这些方法

 Z_suger7
2025-06-26 16:33:19

 1446

 41

#python #爬虫 #开发语言
【分布鲁棒优化】一种新颖的基于矩的分布鲁棒优化（DRO）模型，该模型结合了条件风险价值(CVaR)，用于应对电力价格不确定性下的自调度问题【IEEE6、IEEE30、IEEE118节点】MATLAB

本研究提出了一种新颖的基于矩的分布鲁棒优化（DRO）模型，该模型结合了条件风险价值（CVaR），用于应对电力价格不确定性下的自调度问题。该模型综合考虑了电力价格波动、机组参数以及负荷需求，并且可以通过调整模糊集的大小来进行调节，从而为发电厂提供了一种合适且可调节的自调度策略。决策者可以根据实际场景调整该策略，使其被独立系统运营商（ISOs）接受，同时最大化发电利润。通常，此类DRO模型会被转化为半

 yyds_2201
2025-07-11 18:29:08

 589

 5

#matlab #人工智能 #开发语言 +1
【分布鲁棒优化】一种新颖的基于矩的分布鲁棒优化（DRO）模型，该模型结合了条件风险价值(CVaR)，用于应对电力价格不确定性下的自调度问题【IEEE6、IEEE30、IEEE118节点】MATLAB

本研究提出了一种新颖的基于矩的分布鲁棒优化（DRO）模型，该模型结合了条件风险价值（CVaR），用于应对电力价格不确定性下的自调度问题。该模型综合考虑了电力价格波动、机组参数以及负荷需求，并且可以通过调整模糊集的大小来进行调节，从而为发电厂提供了一种合适且可调节的自调度策略。决策者可以根据实际场景调整该策略，使其被独立系统运营商（ISOs）接受，同时最大化发电利润。通常，此类DRO模型会被转化为半

 qq408157250
2025-07-07 10:43:07

 773

 21

#matlab #人工智能 #开发语言 +1
Python网络爬虫开发：从入门到精通

网络爬虫（Web Crawler），也称为网络蜘蛛（Web Spider），是一种自动抓取互联网信息的程序或脚本。它通过模拟浏览器行为，按照一定的规则自动访问网页并提取所需数据。通过本文的学习，您应该已经掌握了Python网络爬虫从基础到高级的开发技能。记住，爬虫技术是把双刃剑，

图的图图
2025-04-28 18:07:56

 1634

 11

#python #爬虫 #开发语言
教你用Python爬虫轻松抓取全国天气数据（附可视化技巧）

最近帮某奶茶店分析客流量与天气关系时（想不到吧！），发现下雨天订单量增加23%（配送费立功了）。所以天气数据真的超有用！但切记：爬虫虽好，不要贪杯哦～（合法合规永远是第一位的！小贴士：本文案例仅用于学习交流，实际使用请遵守相关网站规定。如果网站改版导致代码失效，记得自己调试CSS选择器哦～（别打我，这就是爬虫的日常！

progalchemist
2025-05-15 16:53:11

 1171

 5

#python #爬虫 #开发语言 +1
原来这就是大家学Python爬虫的原因——真的赚钱

不少人学习Python，除了是希望能提高自己的工作效率和竞争力之外，更多是想要通过这门技术赚一些外快，改善自己的生活。接下来小编就给大家总结一下几种常见的用爬虫挣钱的方式。

Python蛋挞
2023-05-14 08:00:00

 361

#python #爬虫 #开发语言
[031量化交易] python互交式显示 bokeh绘制K线图

【代码】[031量化交易] python互交式显示 bokeh绘制K线图。

weixin_33595571
2022-09-10 09:56:53

 517

#python #开发语言
Spring Cloud Netflix 与 Alibaba 区别

Spring Cloud Netflix 与 Alibaba 区别

 Full Stack Developme
2024-06-03 10:20:21

 412

 1

#java #开发语言
【Python技术】使用akshare、scikit-learn预测股票涨跌简单例子

备注：随机森林(Random Forest)是一种基于集成学习的机器学习算法，其目的是通过组合多个决策树模型来进行预测。随机森林通过对训练数据进行随机采样，以及在构建每个决策树节点时对特征进行随机选择，来增加模型的多样性和鲁棒性。，有同学私信我，怎么实现预测股票涨跌。说实话，之前我没细想过，本能的回答用大数据机器学习就可以搞。实际的股票市场预测要复杂得多,受到许多这个简单模型没有考虑到的因素影响

 xiaoliouc
2024-09-19 19:51:15

 2209

 8

#python #scikit-learn #开发语言
如何使用Python爬虫抓取数据？

Python爬虫应用十分广泛，无论是各类搜索引擎，还是日常数据采集，都需要爬虫的参与。其实爬虫的基本原理很简单，今天小编就教大家如何使用Python爬虫抓取数据，感兴趣的小伙伴赶紧看下去吧！首先需要安装Python的requests和BeautifulSoup库。我们用Requests库用抓取网页的内容，使用BeautifulSoup库来从网页中提取数据。运行pip install request

程序员二飞
2022-12-23 10:28:11

 9980

 8

#python #爬虫 #开发语言 +2
VS2022 C# 项目无法选择.netframework 4.0 的问题解决

由于客户端可能需要兼容XP系统，.netframework 最高能用到4.0，新电脑安装了VS2022 ，突然发现已不再支持 .netframework 4.0路径如下C:\Program Files (x86)\Reference Assemblies\Microsoft\Framework\.NETFramework重启VS2022 ，可以选择了 .netframework 2019 依赖包

 jdbcaaa
2022-06-09 09:11:06

 1.1w

 6

#开发语言
站酷图片壁纸-爬虫获取（python）

登录站酷网址下载所有图片并保存在工程目录下，使用pycharm。

-chu_kuang-
2024-10-18 23:35:21

 549

 8

#爬虫 #python #开发语言
Python量化交易实战全攻略

本文详细介绍了Python量化交易的核心要素，包括：1）量化交易优势（自动化执行、高效回测等）和典型应用场景（股票、期货等市场）；2）关键Python工具链（pandas数据处理、yfinance数据获取、backtrader回测）；3）完整交易流程（数据获取清洗→策略开发→风险管理→绩效分析）；4）进阶方向（高频交易实现、机器学习应用）和学习路径建议。文章特别强调实盘注意事项，包括过渡流程、常见

 The_weeknd__
2025-09-28 22:46:56

 1549

 18

#python #开发语言
Python爬虫基础与应用

网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据简单的说：就是用代码模拟人的行为，去各各网站溜达、点点按钮、查查数据。或者把看到的数据拿下来。Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为

 方得始终cy
2025-09-21 22:47:06

 4248

 69

#python #爬虫 #开发语言
vue3+vite解决[legacy-js-api]: The legacy JS API is deprecated and will be removed in Dart Sass 2.0.0.

项目通过 npm update 升级依赖后，启动项目，报警如下：你在 Vue3 + Vite3 项目中使用npm update后遇到的这个警告，是弃用旧版 JavaScript API 的提示。这表明项目中的某些依赖仍在调用旧的 API，但好消息是这通常只是一个警告，目前不会影响项目的正常运行，不过在未来 Dart Sass 2.0.0 中可能会被移除。别担心，这个问题通常可以通过一些配置来解决。

BillKu
2025-09-21 11:56:10

 1398

 7

#javascript #sass #开发语言
Python爬虫自学 | 思维导图汇总

之前有分享过Python爬虫新手学习教程，有部分小白还是觉得有点迷糊。所以今天做一次Python爬虫思维导图的汇总，让大家能够对整个Python爬虫知识框架更清楚。先放一张完整的Python爬虫学习知识框架导图：Python爬虫的工作流程无非就是获取数据——解析提取数据——存储数据这三步。所以要想上手爬虫，这三步得先搞懂了。爬虫通过编程向网络服务器请求数据后，再对HTML解析，然后提取所需数据。所

 中年猿人
2024-04-01 18:05:38

 2165

 34

#python #爬虫 #开发语言
fastapi将sqlalchemy结果转为dict

fastapi sqlalchemy查询结果转为BaseModel，Base转为BaseModel

传说中胖子
2024-12-15 01:17:08

 586

 2

#fastapi #python #开发语言
一款懒人必备的Python爬虫神器

今天把最近的一个应用做好了,测试了一下运行没有问题,剩下的就是检验一下结果如何.从光谱到Lab值通常使用matlab中的roo2lab(),不过经过我最近的测试发现转换的结果并不理想,而且这个转化的代码也不是我写的所以另寻他法,找到了下面这个网页。

Rocky006
2023-03-29 17:25:07

 177

#python #开发语言
A股股票行情交易接口Python实战-获取股票代码信息

1. 获取 DLL 文件：选择对应的行情接口的EXE演示版文件（例如：下载普通行情的EXE演示版文件），下载解压后获取。• 原因是：.dll 文件是 32 位编译的 C++ ，Python 与 DLL 的位数必须一致，否则会报错。在开始之前，需要特别注意环境配置，否则可能会出现 DLL 加载失败或崩溃问题。参数 0 表示深圳市场，1 表示上海市场，结果存放在 Count.value。使用 ctyp

2501_93020006
2025-08-28 14:18:48

 738

 5

#python #开发语言
Python 爬虫的高级玩法

Python 爬虫的高级用法涵盖了并发处理、动态网页抓取、数据存储技巧以及反爬虫策略等多个方面。通过掌握这些高级技巧，你可以更加高效、稳定地进行网络数据采集工作，为数据分析、机器学习等后续工作提供丰富的数据资源。当然，在进行爬虫操作时，也要遵守法律法规和网站的使用规定，确保爬虫行为的合法性和道德性。

三带俩王
2024-09-19 14:29:50

 1731

 12

#python #爬虫 #开发语言
Java爬虫获取省市县区等行政区划数据并存储

使用jsoup爬取省市县区镇村街道的数据，通过pinyin4j将地名转成拼音，采用springboot3+mybats-plus进行数据存储

 geekyous
2024-07-18 00:57:55

 2708

 26

#java #爬虫 #开发语言
实现Python接入coze平台api小函数

不占用大家的时间，所以先把代码附上了，接下来我会简单讲解下，复制完代码后需要进行怎样的修改。

李福临
2025-01-24 18:40:54

 3653

 22

#python #数据库 #开发语言
【Python入门】网络探索者：用Python urllib库开启爬虫之旅

在这篇文章中，我们学习了urllib库的基础知识，并通过实际的例子来演示了如何使用urllib构建一个简单的网络爬虫。📋urllib是Python编程中的一项基本技能，它让你能够轻松地从网站获取数据。

墨夶
2024-11-23 06:45:00

 661

 8

#python #爬虫 #开发语言
RAG文档问答与向量化匹配-JAVA

本文介绍了一个基于Java实现的RAG(检索增强生成)系统，该系统结合bge-m3模型完成文档向量化和相似度匹配功能。系统包含文档读取、文本分片、向量化、相似度计算和结果整合五大模块，支持TXT、DOCX、DOC和PDF等多种格式文档处理。通过多线程优化和合理文本分片策略，系统能高效完成文档向量化与相似度检索。实现代码展示了与Ollama服务的交互、余弦相似度计算等核心功能，可应用于智能客服、知识

 王者鳜錸
2025-07-16 16:02:30

 904

 6

#python #windows #开发语言
Python网络爬虫技术详解与实践案例

本文详细介绍了Python网络爬虫的基础知识、进阶技巧，并通过爬取豆瓣电影Top250的案例展示了其应用。希望读者能够通过本文的学习，掌握Python爬虫技术，并在实际项目中灵活运用。同时，也提醒开发者在使用爬虫技术时，要遵守相关法律法规和网站政策，尊重数据版权和隐私保护。

我的运维人生
2024-12-09 10:10:56

 1693

 15

#python #爬虫 #开发语言 +1
python爬虫爬取懂车帝车价汽车信息爬虫程序代码csv版QZQ

【代码】python爬虫爬取懂车帝车价汽车信息爬虫程序代码csv版QZQ。

自然111111
2025-09-13 10:25:31

 431

 1

#python #爬虫 #开发语言
算法分析：最大公约数

算法分析：最大公约数

 创界毕设论文辅导营
2024-08-09 20:08:00

 308

 3

#python #开发语言 #算法
利用Java爬虫技术获取淘宝店铺详情

通过上述Java爬虫技术，您可以快速获取淘宝店铺的详细信息。这不仅是一个技术上的挑战，更是一个数据获取和分析的机遇。希望本文能够帮助您在淘宝店铺数据分析中取得成功。如遇任何疑问或有进一步的需求，请随时与我私信或者评论联系。

数据小爬虫@
2024-12-16 14:26:46

 941

 30

#java #爬虫 #开发语言
纳米体育数据足球数据接口：指数数据包接口文档API示例①

纳米体育数据的数据接口通过JSON拉流方式获取200多个国家的体育赛事实时数据或历史数据的编程接口，无请求次数限制，可按需购买，接口稳定高效；覆盖项目包括足球、篮球、网球、电子竞技、奥运等专题、数据内容。纳米数据API2.0版本包含http协议以及websocket协议，主要通过http获取数据，实时数据通过websocket获取。http协议支持http和https，每个接口都需要传递用户名和密

 NamiData
2024-04-18 11:49:13

 1553

 5

#python #开发语言 #websocket +2
爬虫stream数据解析方法

爬虫stream数据解析方法

 伪善！
2022-11-06 15:50:11

 1447

#爬虫 #python #开发语言
mock.js和apifox模拟接口的能力

mock.js和Apifox在模拟接口方面各有优势。mock.js更侧重于数据的模拟和生成，而Apifox则提供了更完整的接口模拟和测试功能。在实际开发中，可以根据需要选择合适的工具来提高开发效率和质量。

前端小臻
2024-05-21 10:14:21

 842

 4

#javascript #开发语言 #ecmascript
跟我学Tekla open api(1)-tekla命名空间-Tekla.Structures Namespace

今天学习Tekla.Structures Namespace的主要的类，主要与tekla的选项设置与获取的相关类

 VIYAVIYA
2024-05-08 14:33:05

 1102

 8

#c##开发语言
python爬虫(三) ---- 分页抓取数据

【代码】python爬虫(三) ---- 分页抓取数据。

qq_40260565
2025-10-06 14:50:26

 1027

 5

#python #爬虫 #开发语言
Python爬虫实战入门：手把手教你抓取网页数据（零基础必看）

遇到403错误：说明被网站识别为爬虫 → 检查请求头是否设置数据抓取为空：网页结构可能有变化 → 用开发者工具重新分析页面突然无法连接：可能IP被封 → 切换网络/使用代理中文乱码问题：记得设置正确的编码 →爬虫就像互联网世界的"数据矿工"，但记住：技术是把双刃剑！咱们既要享受数据抓取的乐趣，更要遵守网络世界的游戏规则。现在打开你的Python编辑器，开启你的第一个爬虫项目吧！（记得先从简单的网站

 周雨棠
2025-05-15 16:14:59

 3640

 29

#python #爬虫 #开发语言 +1
【经验分享】电商api接口——各类商品数据一键获取

而根据上述所说，由于品牌的商品种类繁多且销售平台多样化，所以人工核算商品到手价是比较麻烦的，再加之，各平台很可能会有平台隐藏优惠券等，人工难以识别，所以需要借助一些大数据系统来智能化获取商品的到手价等数据。但是，如果不能准确把握商品的到手价，当出现商品优惠设置过高等问题时，商家方很有可能会被薅羊毛，并且，如今“黑产羊毛党”也非常多，如果对此不加以提防，很可能会为商家带来大笔损失。大促期间，消费者常

 Tinalee-电商API接口呀
2024-09-23 16:20:11

 462

 6

#大数据 #python #开发语言 +4
Python 爬虫教程

python爬虫框架：Scrapyd，Feapder，Gerapy。scrapy/scrapyd Git库。feapder Git 库。

山塘小鱼儿
2023-12-28 11:03:09

 2966

 10

#python #爬虫 #开发语言
资源推荐 | 九种最好用的开源爬虫软件

Crawley 是一种 Python 爬取和采集框架，意在简化开发人员从 Web 网页抽取数据到数据库等结构化存储中。

程序汪小陈
2023-09-22 21:18:17

 6004

 1

#开源 #爬虫 #python +4
【股票数据API接口15】如何获取涨停股池数据之Python、Java等多种主流语言实例代码演示通过股票数据接口获取数据

dm代表：代码，mc 代表：名称，p 代表：价格（元），zf 代表：涨幅（%），cje 代表：成交额（元），lt 代表：流通市值（元），zsz 代表：总市值（元），hs 代表：换手率（%），lbc 代表：连板数，fbt 代表：首次封板时间（HH:mm:ss），lbt 代表：最后封板时间（HH:mm:ss），zj 代表：封板资金（元），zbc 代表：炸板次数，tj 代表：涨停

 Zhᴗangᥫᩣ
2025-08-08 08:00:00

 626

 4

#python #java #开发语言 +1
个人利用Python爬虫技术怎么挣钱

写了5，6年Python，期间写了各种奇葩爬虫，挣各种奇葩的钱，写这篇文章总结下几种爬虫挣钱的方式。

中年猿人
2024-04-05 11:00:00

 1975

 20

#python #爬虫 #开发语言
用C#爬虫小说网站

主要实现逻辑：“套娃”通过MyWebClient获取小说网站页面内所有小说的网络地址，然后通过网络地址找到每本小说的单独的网络地址，然后再通过每本小说的网络地址找到小说章节正文的网络地址，最后通过章节地址获取到章节内容，最最后将章节内容整合起来的到整本小说。2、分析bookPageHtml_Default中获取到的网站页面源代码文本，从而用正则表达式获取所有小说的url、小说名。最近学习爬虫，做

 觉悟的中年男人
2023-02-13 14:17:09

 895

#爬虫 #c##开发语言
【Python爬虫实战入门】：笔趣阁小说爬取，一篇教你爬虫入门

requests简介requests模块官方文档requests 是 Python 编程语言中一个常用的第三方库，它可以帮助我们向 HTTP 服务器发送各种类型的请求，并处理响应。向 Web 服务器发送 GET、POST 等请求方法；在请求中添加自定义标头（headers）、URL 参数、请求体等；自动处理 cookies；返回响应内容，并对其进行解码；处理重定向和跳转等操作；检查响应状态码以及请

 弓.长.
2024-07-16 18:59:25

 7659

 313

#python #开发语言 #爬虫

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号