avatar
文章
533
标签
122
分类
88
首页
时间轴
标签
分类
List
  • 音乐
  • 照片
  • 电影
友链
关于
晚上十一点睡觉のBlog05-高性能爬虫 返回首页
搜索
首页
时间轴
标签
分类
List
  • 音乐
  • 照片
  • 电影
友链
关于

05-高性能爬虫

发表于2023-01-20|更新于2026-10-04|PythonPython爬虫和JS逆向
|总字数:9|阅读时长:1分钟|浏览量:|评论数:
文章作者: 晚上十一点睡觉
文章链接: https://11pmsleep.gungnir.top/posts/30186/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 晚上十一点睡觉のBlog!
Python爬虫私密笔记
cover of previous post
上一篇
04-数据存储
爬虫数据存储:TXT/JSON/CSV 存储,PyMySQL 入 MySQL、PyMongo 入 MongoDB 实战,哈希、布隆过滤器、Redis 集合等去重方案,附 Bloom Filter + Redis 两级分布式去重架构。
cover of next post
下一篇
06-selenium自动化测试框架
selenium 自动化爬虫完整教程:浏览器初始化配置(无头、代理、隐藏驱动特征),find_element 八种定位与节点交互,iframe 切换、动作链、显式等待与绕过 webdriver 检测,附义乌购、唯品会实战。
相关推荐
cover
2024-10-13
06-其他的自动化测试框架
Pyppeteer 自动化框架入门:相比 selenium 免驱动配置、原生支持 asyncio,涵盖 launch 启动配置、截图与 headless 开关,及覆写 navigator.webdriver 绕过驱动检测。
cover
2023-03-25
26-Cookie反爬虫
Cookie 反爬虫逆向三种类型:后端 set-cookie 直接携带、前端 JS 二次加密、环境自动生成,案例覆盖 CSRF token、阿里系 acw_sc__v2 的 unsbox+hexXor、加速乐三次请求,附厂商特征速查。
cover
2022-12-29
01-爬虫的基本知识
爬虫入门第一课:爬虫概念与分类、四步工作流程,HTTP 请求响应结构与常见状态码,Session 与 Cookies 机制详解,及用 socket 手动构造 HTTP 请求下载图片的实战。
cover
2023-03-07
16-对称加密算法与逆向
对称加密逆向实战合集:DES/AES 在 ECB/CBC 模式下的特征识别与双端实现,五个案例——艺恩响应解密、建筑市场 AES、数位观察、魔改算法与企知道密钥轮换,附密钥扣错等报错排查。
cover
2023-02-28
11-hook调试总结
JS 逆向 hook 脚本库:Object.defineProperty 监听属性赋值,hook cookie、XHR 参数与请求头的现成脚本,注入时机与油猴/Fiddler 方案,附过无限 debugger 与 webpack 半自动扣码脚本。
cover
2022-12-30
02-爬虫请求的发送方法
requests 发送请求一站式教程:GET/POST 与 headers、params 用法,data/json/二进制请求体区别,Cookie 三种处理与 Session 会话保持,超时重试与文件上传,附 httpx 异步扩展。

评论
avatar
晚上十一点睡觉
个人学习日志,学习领域:网络安全和Python爬虫。近一年blog更新至语雀,等有时间再推送至此,后续blog会以全新版本进行发布
文章
533
标签
122
分类
88
Follow Me
公告
stay passionate and never say die
目录
  1. 1. 单线程爬虫实现
  2. 2. 多线程爬虫实现
    1. 2.1. 回顾多线程的方法使用
    2. 2.2. 回顾队列模块的使用
    3. 2.3. 多线程实现思路剖析
    4. 2.4. 具体代码实现
  3. 3. 线程池实现爬虫
    1. 3.1. 线程池使用方法介绍
    2. 3.2. 使用线程池实现爬虫的具体实现
  4. 4. 多进程爬虫
    1. 4.1. 回顾多进程程的方法使用
    2. 4.2. 多进程中队列的使用
    3. 4.3. 具体实现
  5. 5. 异步协程爬虫
    1. 5.1. 基本概念
      1. 5.1.1. 异步
      2. 5.1.2. 同步
      3. 5.1.3. 阻塞
      4. 5.1.4. 非阻塞
    2. 5.2. 协程异步实现方法
    3. 5.3. aiohttp的使用
    4. 5.4. 同步异步对比
      1. 5.4.1. 同步
      2. 5.4.2. 异步
    5. 5.5. 异步爬虫实战
      1. 5.5.1. 分析过程
      2. 5.5.2. 代码
    6. 5.6. aiomysql使用
      1. 5.6.1. 安装:
      2. 5.6.2. 案例:
  6. 6. 案例练习
    1. 6.1. 多线程队列爬虫
    2. 6.2. 异步爬虫
      1. 6.2.1. 分析
      2. 6.2.2. 代码
  7. 7. 小结
  8. 8. refer
最新文章
集团流量链路
集团流量链路2026-10-04
6-小红书环境一致性风控与逐项排查实战
6-小红书环境一致性风控与逐项排查实战2026-10-04
4-小红书签名体系与风控实战
4-小红书签名体系与风控实战2026-10-04
Linux-Shell脚本学习
Linux-Shell脚本学习2026-10-04
Linux-Kali配置与使用
Linux-Kali配置与使用2026-10-04
© 2022 - 2026 By 晚上十一点睡觉
Welcome to 11pmsleep's blog ~~~ Blog仅供个人记录笔记学习所用,若有侵权,联系我删除~若有错误,也望诸君不吝指正
搜索
数据加载中