avatar
文章
533
标签
122
分类
88
首页
时间轴
标签
分类
List
  • 音乐
  • 照片
  • 电影
友链
关于
晚上十一点睡觉のBlog02-爬虫请求的发送方法 返回首页
搜索
首页
时间轴
标签
分类
List
  • 音乐
  • 照片
  • 电影
友链
关于

02-爬虫请求的发送方法

发表于2022-12-30|更新于2026-10-04|PythonPython爬虫和JS逆向
|总字数:9|阅读时长:1分钟|浏览量:|评论数:
文章作者: 晚上十一点睡觉
文章链接: https://11pmsleep.gungnir.top/posts/60898/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 晚上十一点睡觉のBlog！
Python爬虫私密笔记
cover of previous post
上一篇
01-爬虫的基本知识
爬虫入门第一课：爬虫概念与分类、四步工作流程，HTTP 请求响应结构与常见状态码，Session 与 Cookies 机制详解，及用 socket 手动构造 HTTP 请求下载图片的实战。
cover of next post
下一篇
utools：超好用的工具箱
uTools 工具箱笔记：集成轻巧工具的效率启动器介绍，程序员手册插件添加 Linux/PHP/Python/JS 手册与 devdocs 文档搜索等用法推荐。
相关推荐
cover
2023-06-08
03. 数据提取方法-xpath
xpath 数据提取详解：路径表达式与节点定位语法、position/last() 索引、contains 等常用函数，lxml 解析与 tostring 排错，「先分组再提取」实战模式，附豆瓣 Top250 练习。
cover
2023-03-22
feapder框架
feapder 爬虫框架教程：AirSpider/Spider/BatchSpider 三种爬虫的场景与架构，数据入库 item 与 download_midware，内置浏览器渲染与 XHR 接口拦截免逆向取数，京东自动化实战演示滚动翻页采集。
cover
2023-02-07
代理-基础知识
代理基础知识笔记：使用 IP 代理的原因与作用、代理分类与正反向代理区别，隧道和代理的差异，及 PAC 文件的结构与使用方法，搭建代理池的前置知识。
cover
2022-11-29
Python爬虫学习规划及杂项知识
Python 爬虫学习规划与杂项：核心语法学习重点清单，爬虫接单的市场、定价与成交经验，简历项目写法与面试禁忌，及 spidertools、ECharts 等工具推荐和导包、打包等小知识点。
cover
2025-12-15
25-补环境技术2-jsvmp解法及补环境逆向头条
jsvmp 补环境实战：JS 虚拟机保护原理与三种解法，头条 _signature 案例——定位 byted_acrawler.sign 并抠文件，用日志断点逐个补齐 window、document、navigator 等环境。
cover
2023-04-14
Python爬虫练习(JS逆向)
JS 逆向练习项目清单与案例资源：待攻克目标（拼多多 anti-content 等）的参考资料链接，附 Scrape Center 爬虫案例库与 Python 爬虫100例等练习资源索引。
评论
avatar
晚上十一点睡觉
个人学习日志，学习领域：网络安全和Python爬虫。近一年blog更新至语雀，等有时间再推送至此，后续blog会以全新版本进行发布
文章
533
标签
122
分类
88
Follow Me
公告
stay passionate and never say die
目录
  1. 1. requests基本使用
    1. 1.1. requests的作用
    2. 1.2. requests模块get请求
      1. 1.2.1. 基本语法
      2. 1.2.2. response的常用属性：
      3. 1.2.3. response.text 和response.content的区别
      4. 1.2.4. 实战练习：获取到百度的图标
    3. 1.3. 带头部header的请求
      1. 1.3.1. 我们先写一个获取百度首页的代码
      2. 1.3.2. 为什么请求需要带上header？
      3. 1.3.3. 用法：header的形式——字典
      4. 1.3.4. 完整的代码
    4. 1.4. 带参数params的请求
      1. 1.4.1. 什么叫做请求参数：
      2. 1.4.2. 用法：请求参数的形式——字典
      3. 1.4.3. 关于参数的注意点
      4. 1.4.4. 两种方式：发送带参数的请求
    5. 1.5. requests模块POST请求
      1. 1.5.1. 哪些地方我们会用到POST请求?
      2. 1.5.2. requests发送post请求语法：
      3. 1.5.3. 关于请求体中data = data 和 json = data
        1. 1.5.3.1. 1. data=data——传递data表单数据
        2. 1.5.3.2. 2. json=data——传递json载荷数据
        3. 1.5.3.3. 3. data=二进制——传递流数据
        4. 1.5.3.4. 4. 关键区别总结
        5. 1.5.3.5. 5. 常见错误场景
      4. 1.5.4. POST请求练习
      5. 1.5.5. 思路分析
      6. 1.5.6. 完整代码案列
  2. 2. requests模块处理cookie相关的请求
    1. 2.1. 爬虫中使用cookie
      1. 2.1.1. 爬虫中使用cookie的利弊
      2. 2.1.2. requests处理cookie的方法
    2. 2.2. cookie添加在heades中
      1. 2.2.1. headers中cookie的位置
      2. 2.2.2. cookie的具体组成的字段
      3. 2.2.3. 在headers中使用cookie
    3. 2.3. 使用cookies参数接收字典形式的cookie
    4. 2.4. 使用session处理cookie
      1. 2.4.1. 使用方法
      2. 2.4.2. 动手练习：
      3. 2.4.3. 思路分析
      4. 2.4.4. 代码实战：
  3. 3. requests模块的补充用法
    1. 3.1. requests中cookieJar的处理方法
      1. 3.1.1. 方法介绍
      2. 3.1.2. 方法展示
      3. 3.1.3. 其他方法（推荐）
    2. 3.2. requests处理证书错误
      1. 3.2.1. 代码中发起请求的效果
      2. 3.2.2. 解决方案
    3. 3.3. 超时参数的使用
      1. 3.3.1. 超时参数使用方法如下：
    4. 3.4. retrying模块的使用
      1. 3.4.1. retrying模块的使用
      2. 3.4.2. retrying和requests的简单封装
  4. 4. 请求媒体文件
    1. 4.1. 保存视频
    2. 4.2. 图片、视频爬取怎么绕过防盗连接，怎么获取正确的链接地址？
  5. 5. 上传文件
  6. 6. 案例
  7. 7. 补充
    1. 7.1. httpx模块怎么用
      1. 7.1.1. 正常用法和requests类似
      2. 7.1.2. 异步请求
    2. 7.2. httpx和requests的区别
    3. 7.3. chardet库：response.content无法解码响应的时候
  8. 8. refer
最新文章
集团流量链路
集团流量链路2026-10-04
6-小红书环境一致性风控与逐项排查实战
6-小红书环境一致性风控与逐项排查实战2026-10-04
4-小红书签名体系与风控实战
4-小红书签名体系与风控实战2026-10-04
Linux-Shell脚本学习
Linux-Shell脚本学习2026-10-04
Linux-Kali配置与使用
Linux-Kali配置与使用2026-10-04
© 2022 - 2026 By 晚上十一点睡觉
Welcome to 11pmsleep's blog ~~~ Blog仅供个人记录笔记学习所用，若有侵权，联系我删除~若有错误，也望诸君不吝指正
搜索
数据加载中