avatar
文章
533
标签
122
分类
88
首页
时间轴
标签
分类
List
  • 音乐
  • 照片
  • 电影
友链
关于
晚上十一点睡觉のBlog33-反爬虫手段及各种现象的处理 返回首页
搜索
首页
时间轴
标签
分类
List
  • 音乐
  • 照片
  • 电影
友链
关于

33-反爬虫手段及各种现象的处理

发表于2023-04-19|更新于2026-10-03|PythonPython爬虫和JS逆向
|总字数:9|阅读时长:1分钟|浏览量:|评论数:
文章作者: 晚上十一点睡觉
文章链接: https://11pmsleep.gungnir.top/posts/53346/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 晚上十一点睡觉のBlog！
PythonJS逆向爬虫私密笔记
cover of previous post
上一篇
Python爬虫练习(JS逆向)
JS 逆向练习项目清单与案例资源：待攻克目标（拼多多 anti-content 等）的参考资料链接，附 Scrape Center 爬虫案例库与 Python 爬虫100例等练习资源索引。
cover of next post
下一篇
分布式爬虫及Scrapy-Redis
分布式爬虫与 Scrapy-Redis 详解：调度器、去重过滤器、管道、RedisSpider 四大组件原理与核心配置，聚美优品实战演示 RedisSpider 改写、mongo 入库与 lpush 分发任务。
相关推荐
cover
2023-03-23
25-补环境技术3-自动吐环境脚本和补环境工具
自动吐环境脚本详解：Proxy+Reflect 拦截 window/document/navigator 的读取与原型检测，两版完整脚本（批量代理版与深度递归版）原理，先吐环境再补环境的标准工作流。
cover
2023-04-06
25-验证码专题-极验
滑块验证码逆向大全：签名认证本质与缺口识别三法（ddddocr、超级鹰、opencv），selenium 与协议分析两条路线，极验三代完整案例——轨迹加密、w 参数 AES+RSA 加密与 validate 校验，附各厂商特征速查。
cover
2025-12-15
25-补环境技术2-jsvmp解法及补环境逆向头条
jsvmp 补环境实战：JS 虚拟机保护原理与三种解法，头条 _signature 案例——定位 byted_acrawler.sign 并抠文件，用日志断点逐个补齐 window、document、navigator 等环境。
cover
2023-04-14
Python爬虫练习(JS逆向)
JS 逆向练习项目清单与案例资源：待攻克目标（拼多多 anti-content 等）的参考资料链接，附 Scrape Center 爬虫案例库与 Python 爬虫100例等练习资源索引。
cover
2023-05-09
文本混淆专题
字体反爬专题：@font-face 自定义字体的混淆原理与 font 标记识别，fontTools 解析 woff/ttf 的 cmap 映射与 glyf 字形坐标，实习僧薪酬、人人车标题两个还原案例。
cover
2025-08-25
20-WASM逆向
WASM 逆向入门：WebAssembly 加载原理与 node、pywasm 双端调用，scrape 练习、webpack 联动、base64 内嵌 wasm 三个案例的定位复现，附补 window/location 环境跑通 wasm 的技巧。
评论
avatar
晚上十一点睡觉
个人学习日志，学习领域：网络安全和Python爬虫。近一年blog更新至语雀，等有时间再推送至此，后续blog会以全新版本进行发布
文章
533
标签
122
分类
88
Follow Me
公告
stay passionate and never say die
目录
  1. 1. 反爬虫概述
  2. 2. 一些低级简陋的反爬虫
    1. 2.1. 用户请求方式和输入的控制
    2. 2.2. 基于面包屑的访问逻辑检测
  3. 3. 设置头部 Headers 部分的检测和加密
    1. 3.1. 1. 通过 Headers 反爬虫
      1. 3.1.1. 第三方库随机
      2. 3.1.2. 手动构造
    2. 3.2. 2. 通过头部签名验证
  4. 4. 基于用户行为反爬虫
    1. 4.1.
    2. 4.2. IP和账号频率限制
      1. 4.2.1. 解决方法
    3. 4.3. 恶意IP共享
    4. 4.4. 高频次相似行为的限制
    5. 4.5. 不在特定时间内的高频次访问
    6. 4.6. 爬虫风险设备识别
    7. 4.7. 同设备关联的IP数异常
    8. 4.8. 绕过请求频率限制
      1. 4.8.1. crawler的角度——砸钱
      2. 4.8.2. hacker的角度——绕过
  5. 5. 设置动态页面的反爬虫
    1. 5.1. 前端的反调试
  6. 6. 运行环境监测
    1. 6.1. 检测手段
    2. 6.2. 应对手段
    3. 6.3. 格式化检测：
  7. 7. 浏览器环境检测
    1. 7.1. 一、Navigator对象检测与绕过
      1. 7.1.1. 1. WebDriver标识
      2. 7.1.2. 2. 插件与MIME类型
      3. 7.1.3. 3. UserAgent一致性
    2. 7.2. 二、Window对象深度检测
      1. 7.2.1. 1. Chrome运行时特征
      2. 7.2.2. 2. DOM原型链校验
      3. 7.2.3. 3. instanceof
    3. 7.3. 三、硬件指纹对抗策略
      1. 7.3.1. 1. Canvas指纹
      2. 7.3.2. 2. WebGL渲染器指纹
      3. 7.3.3. 3. 屏幕属性
    4. 7.4. 四、行为特征模拟
      1. 7.4.1. 1. 鼠标轨迹模型
      2. 7.4.2. 2. 定时器抖动
    5. 7.5. 五、高级环境补全框架
      1. 7.5.1. 1. Proxy监听补环境
      2. 7.5.2. 2. 原型链精确模拟
    6. 7.6. 六、检测防御与验证工具
      1. 7.6.1. 1. 环境自检平台
      2. 7.6.2. 2. 动态调试技巧
    7. 7.7. 七、终极防御矩阵
    8. 7.8. 八、工具链推荐
  8. 8. 内容加密和处理
    1. 8.1. 1. 载荷部分(也就是传递的参数).某些时候也是会有加密
    2. 8.2. 2. 请求内容和响应数据进行前端加密
    3. 8.3. 3. webpack将js打包成模块
    4. 8.4. 4. JSVMP将js译为字节码
    5. 8.5. 5. 混淆技术
      1. 8.5.1. 字体反爬处理步骤
    6. 8.6. 6. 投毒
  9. 9. cookie反爬虫
    1. 9.1. cookie反爬虫大概分以下两种方式
  10. 10. 验证码
  11. 11. 补充
    1. 11.1. cookie 过期的处理问题
    2. 11.2. tls指纹检测
    3. 11.3. 关于网站接口版本的更新
  12. 12. h5侧对抗
  13. 13. refer
最新文章
集团流量链路
集团流量链路2026-10-04
6-小红书环境一致性风控与逐项排查实战
6-小红书环境一致性风控与逐项排查实战2026-10-04
4-小红书签名体系与风控实战
4-小红书签名体系与风控实战2026-10-04
Linux-Shell脚本学习
Linux-Shell脚本学习2026-10-04
Linux-Kali配置与使用
Linux-Kali配置与使用2026-10-04
© 2022 - 2026 By 晚上十一点睡觉
Welcome to 11pmsleep's blog ~~~ Blog仅供个人记录笔记学习所用，若有侵权，联系我删除~若有错误，也望诸君不吝指正
搜索
数据加载中