爬虫入门简单，深入很难。爬虫工程师的尽头是逆向安全工程师。很多搞易语言的对于逆向很拿手，可以逛逛易语言的一些论坛，重要的是思路，实现的语言无所谓。推荐多逛一下各大论坛：

看雪安全论坛：https://bbs.kanxue.com/
吾爱破解：https://www.52pojie.cn/forum.php
精易逆向安全：https://bbs.125.la/forum-206-1.html
夜幕爬虫论坛：https://github.com/NightTeam
穿甲兵技术社区：https://github.com/asyncins

爬虫工程师在线工具库 spidertools：https://spidertools.cn/
K哥爬虫工具：https://www.kgtools.cn/compression/dict
自动解码工具神器：https://github.com/Ciphey/Ciphey

JS逆向工具清单 ( js 反调试 插件 )

spidertools：https://spidertools.cn/#/
在线加解密：http://tool.chacuo.net/cryptdes
AST混淆工具：https://astexplorer.net/
tampermonkey：https://www.tampermonkey.net/
v_jstools：https://github.com/cilame/v_jstools
ReRes：https://github.com/annnhan/ReRes
chrome-wasm-debugger：https://github.com/itszn/chrome-wasm-debugger
XPath Helper：https://chromewebstore.google.com/search/XPath%20Helper
Trace：https://github.com/L018/Trace
js-hook-framework：https://github.com/JSREI/crawler-js-hook-framework-public

爬虫是一个很蛋疼的东西, 可能今天的案例. 明天就失效了. 所以, 不要死盯着一个网站干. 要学会见招拆招(爬虫的灵魂) 爬虫程序如果编写的不够完善. 访问频率过高. 很有可能会对服务器造成毁灭性打击, 所以, 不要死盯着一个网站干. 请放慢你爬取的速度. 为你好, 也为网站好.

腾讯, 阿里, 字节的网站, 反爬手段很残忍. 新手不要去挑战这种大厂. 等你有实力了. 慢慢研究(哪一个都要需要研究很久....)

gov的网站, 非必要, 不爬取. 非要爬取. 请一定降低访问频率. 为你好....

不要以为gov的网站好欺负. 那是地方性的网站. 中央的很多重要网站都有非常强力的防护措施(瑞数等...) 这种. 愿意搞的. 自己研究。

网站防护很强. 但是服务器很垃圾.

爬虫只能爬 你看得见的东西！！！！

个人信息不能碰.

不要妨碍人家网站服务器的正常运营.

网站的多变性: 这个是爬虫的魅力. 我们要全方位的去思考. 就像找漏洞一样. 思维逻辑不可能是固定的. 达到目的即可. 不要死磕牛角尖. 要不然会死的很惨.... 要学会见招拆招.

关于憋代码这个事. 要憋. 一定要憋. 让你憋主要有两个原因.
简单的语法使用错误. 不憋记不住
复杂的程序逻辑. 不憋培养不出来独立思考能力.
一定要有独立解决问题的能力.

1、教程、路线

相关教程

From：https://www.zhihu.com/question/417653202

• 爬虫入门阶段：《Python3 网络爬虫开发实战》第一版、第二版，作者崔庆才

《Python3 网络爬虫开发实战（第二版）》

• 配置、案例：https://scrape.center/
• 代码：https://github.com/Python3WebSpider

• 爬虫逆向进阶：《反爬虫AST原理与还原混淆实战》，《安卓Frida逆向与抓包实战》
• 反爬套路总结：《Python3 反爬虫原理与绕过实战》
• 数据产品+数据产品思维：《爬虫实战：从数据到产品》

视频方面，进阶，也就是逆向相关的视频：

免费：

• JS 逆向：《K 哥爬虫》 K 哥的小助理带你由易到难学习逆向
• JS 逆向：《志远2021全新js逆向教程，学完这套就够了！（全套开源）》
• APP 逆向：《小肩膀 app逆向百集(105集)》

收费：

• 夜幕出品 JS 逆向：《JavaScript 逆向系列课》 《JavaScript 逆向高阶课》
• 猿人学：《爬虫高阶课程》
• 志远和小肩膀 2022 最新的 JS 逆向和 APP 逆向课程，自己在 B 站找购买方式

爬虫代理推荐：快代理（国内HTTP代理）、bright data（海外HTTP代理）

相关大佬博文

奋飞安全

• ：http://91fans.com.cn/
• ：https://blog.csdn.net/fenfei331
• ：https://www.jianshu.com/u/01dab7278c9f
• ：https://juejin.cn/user/3148642844684638

K哥

• K 哥爬虫代码分享：https://github.com/kgepachong/crawler/
• K 哥爬虫
• ：https://blog.csdn.net/kdl_csdn
• ：https://www.cnblogs.com/ikdl/
• ：https://mp.weixin.qq.com/s/Yezf-ueRi7PxggZtah8K5g
• ：https://mp.sohu.com/profile?xpt=ZWUyODM3YWEtNzNiZi00YmQ1LTgzYTUtMjliNTk0ZTM0Yzhh
• ：https://www.zhihu.com/people/wan-feng-zzz-5
• ：https://www2.jianshu.com/u/d6d773394f99
• ：https://juejin.cn/user/950457502012974/posts
• ：https://space.bilibili.com/1622879192
• K哥：js 逆向百例：https://blog.csdn.net/kdl_csdn/category_11233178.html
• K哥：app 逆向百例：
• 人均瑞数系列，瑞数 5 代 JS 逆向分析：https://blog.csdn.net/kdl_csdn/article/details/126648686
• ​极验三代、四代点选类验证码逆向分析
  • ：https://blog.csdn.net/kdl_csdn/article/details/129859001
  • ：https://blog.csdn.net/kdl_csdn/article/details/129281652

也可以关注 K 哥爬虫公众号，会分享一些 JS 逆向知识，比较适合新手。

路飞 爬虫

• ：https://maomier.com/6082/
• 路飞-爬虫开发+APP逆向：https://www.itwangzi.cn/4739.html

搜索 大佬相关站点、博客、技术论坛，查看系列文章

github Python 爬虫 项目

Github Python 爬虫：https://github.com/search?q=python+%E7%88%AC%E8%99%AB

learn_python3_spider：https://github.com/wistbean/learn_python3_spider

学习路线

：https://www.cnblogs.com/Eeyhan/p/14148832.html

看不清图时，可以把图片保存到本地在打开查看。。。

2、Python3 网络爬虫

：https://cuiqingcai.com/17777.html

 《Python3 网络爬虫开发实战（第二版）》

• ：https://item.jd.com/13527222.html
• 配置、案例：https://scrape.center/
• 代码：https://github.com/Python3WebSpider

3、在线工具库 spidertools

http://spidertools.cn是专为爬虫工程师打造的在线工具库，集合了爬虫工程师常用的工具，例如JSON格式化、Header格式化、Cookie格式化、Dict格式化、JS格式化、curl转python、url参数提取、url转义与反转义、html渲染、文本解码、文本对比、时间转换等工具，致力于提升爬虫开发效率
网站地址：http://spidertools.cn
知识星球 https://t.zsxq.com/eEmAeae

spidertools：https://spidertools.cn/#/article

知识宝库板块，大家都可以提交自己认为有价值的文章，spidertools会备份文章内容，以防止原内容不可访问

4、安卓逆向系列

教我兄弟学安卓逆向系列

From：https://www.52pojie.cn/thread-742703-1-1.html

课程导航:

《教我兄弟学Android逆向01 编写第一个Android程序》
《教我兄弟学Android逆向02 破解第一个Android程序 》
《教我兄弟学Android逆向03 破解第一个Android游戏 》
《教我兄弟学Android逆向04 动态调试smali代码》
《教我兄弟学Android逆向05 在smali代码中插入Log》
《教我兄弟学Android逆向06 用AndroidStudio编写第一个so》
《教我兄弟学Android逆向07 IDA破解第一个so》
《教我兄弟学Android逆向08 IDA爆破签名验证》
《教我兄弟学Android逆向09 IDA动态破解登陆验证》
《教我兄弟学Android逆向10 静态分析反调试apk》
《教我兄弟学Android逆向11 动态调试init_array》
《教我兄弟学Android逆向12 编写xpose模块》

  番外篇导航:

《教我兄弟学Android逆向番外01 apktool的使用》
《教我兄弟学Android逆向番外02 jeb工具的使用》
《教我兄弟学Android逆向番外03 Android逆向必会命令》
《教我兄弟学Android逆向番外04 OLLVM混淆环境搭建》

  教程附件
  链接：https://pan.baidu.com/s/1x0pNcso7TCWMFDZr8AcsIA 密码：ndd0

android 逆向奇技淫巧

：https://www.cnblogs.com/theseventhson/category/2185718.html

android逆向奇技淫巧一：去掉开屏广告&跳过app的某些activity
android逆向奇技淫巧二：uiautomatorviewer&method profiling定位x音java层的关键代码和方法
android逆向奇技淫巧三：MT管理器替代android killer修改和重新编译smail代码/frida hook 更改so层代码
android逆向奇技淫巧四：模拟器检测和反检测
android逆向奇技淫巧五：x音fiddler抓包分析协议字段
android逆向奇技淫巧六：x音关键加密字段算法逆向分析（一）
android逆向奇技淫巧七：apk加壳（一代）和脱壳分析
android逆向奇技淫巧八：apk加壳（二代）和通用脱壳分析
android逆向奇技淫巧九：frida常见java层的加密/hash算法自吐
android逆向奇技淫巧十：OLLVM原理、常见破解思路和hook代码
android逆向奇技淫巧十一：unidbg调用so层函数
android逆向奇技淫巧十二：dexVMP解释器原理及简易模拟实现
android逆向奇技淫巧十三：定制art内核（一）：跟踪jni函数注册和调用，绕过反调试
android逆向奇技淫巧十四：定制art内核（二）：VMP逆向----仿method profiling跟踪jni函数执行
android逆向奇技淫巧十五：x音关键加密字段算法逆向分析（二）
android逆向奇技淫巧十六：frida hook java和so层函数常用脚本
android逆向奇技淫巧十七：android客户端自动x红包（一）：代码原理分析
android逆向奇技淫巧十八：x音so层代码花指令防护分析（三）
android逆向奇技淫巧十九：unidbg模拟执行和trace x音so代码（四）
android逆向奇技淫巧二十：findcrypt和findhash查找疑似加密函数（五）
android逆向奇技淫巧二十一：ida反反调试&加密算法跟踪(未完待续)（六）
android逆向奇技淫巧二十二：ida栈回溯加密算法跟踪(未完待续)（七）
android逆向奇技淫巧二十三：自己写app调用x音关键so(未完待续)（八）
android逆向奇技淫巧二十四：frida rpc调用生成加密字段（九）
android逆向奇技淫巧二十五：x音另类抓包（十）
android逆向奇技淫巧二十六：基础库的hook&x音检测frida方式之一（十一）
android逆向奇技淫巧二十七：AOSP改源码制作沙箱实现“无痕”hook和避开server端风控
android逆向奇技淫巧二十八：x音MD5使用分析
android逆向奇技淫巧二十九：x音AES使用分析
android逆向奇技淫巧三十：so加壳&加固原理简述
android逆向奇技淫巧三十一：unidbg常见功能代码

安卓逆向这档事

《安卓逆向这档事》：https://github.com/ZJ595/AndroidReverse

安卓逆向入门教程《安卓逆向这档事》：https://www.bilibili.com/video/BV1wT411N7sV

• 模拟器环境搭建：https://www.52pojie.cn/thread-1695141-1-1.html
• APK 结构、双开、汉化、基础修改：https://www.52pojie.cn/thread-1695796-1-1.html
• 初识 smali，vip终结者：https://www.52pojie.cn/thread-1701353-1-1.html
• 恭喜你获得广告&弹窗静默卡：https://www.52pojie.cn/thread-1706691-1-1.html
• 动态调试&Log插桩：https://www.52pojie.cn/thread-1714727-1-1.html
• 签名校验对抗、PM代理、IO重定向：https://www.52pojie.cn/thread-1731181-1-1.html
• xposed快速上手(上)：https://www.52pojie.cn/thread-1740944-1-1.html
• xposed快速上手(下)：https://www.52pojie.cn/thread-1748081-1-1.html
• 密码学基础、算法自吐、非标准加密对抗：https://www.52pojie.cn/thread-1762225-1-1.html
• IDA 使用：https://www.52pojie.cn/thread-1787667-1-1.html
• 大佬分析：https://www.52pojie.cn/thread-1809646-1-1.html
• 某电影视全家桶：https://www.52pojie.cn/thread-1814917-1-1.html
• Frida一把梭(上)：https://www.52pojie.cn/thread-1823118-1-1.html
• Frida一把梭(中)：https://www.52pojie.cn/thread-1838539-1-1.html
• Frida一把梭(下)：https://www.52pojie.cn/thread-1840174-1-1.html
• Frida一把梭(终)：https://www.52pojie.cn/thread-1859820-1-1.html
• RPC：https://www.52pojie.cn/thread-1892127-1-1.html
• 番外实战篇：https://www.52pojie.cn/thread-1893708-1-1.html
• Frida 检测(上)：https://www.52pojie.cn/thread-1921073-1-1.html
• Frida 检测(下)：https://www.52pojie.cn/thread-1938862-1-1.html
• 抓包学得好，牢饭吃得饱(上)：https://www.52pojie.cn/thread-1945285-1-1.html
• 番外实战篇-拨云见日之浅谈Flutter逆向：https://www.52pojie.cn/thread-1951619-1-1.html
• 抓包学得好，牢饭吃得饱(中)：https://www.52pojie.cn/thread-1967845-1-1.html
• 一饭三吃(抓包版)：https://www.52pojie.cn/thread-1982444-1-1.html

100 天精通 Android 逆向工程

：https://github.com/Evil0ctal/AndroidReverse101