avatar
文章
533
标签
122
分类
88
首页
时间轴
标签
分类
List
  • 音乐
  • 照片
  • 电影
友链
关于
晚上十一点睡觉のBlog10. 爬虫-网站信息入库 返回首页
搜索
首页
时间轴
标签
分类
List
  • 音乐
  • 照片
  • 电影
友链
关于

10. 爬虫-网站信息入库

发表于2023-05-29|更新于2026-10-04|渗透测试SRC自动化SRC
|总字数:9|阅读时长:1分钟|浏览量:|评论数:
文章作者: 晚上十一点睡觉
文章链接: https://11pmsleep.gungnir.top/posts/19801/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 晚上十一点睡觉のBlog!
私密笔记自动化SRC漏洞扫描
cover of previous post
上一篇
8. 漏扫-端口指纹识别脚本
自动化 SRC 之端口指纹识别:多线程获取端口 banner 后按规则匹配指纹的脚本实现,基于 socket 的指纹库编写思路。
cover of next post
下一篇
03. 数据提取方法-xml和json数据
json 与 xml 数据提取:json 模块四方法与 ensure_ascii 中文处理,从杂乱响应中定位数据字段的思路,xml.etree 解析与 XPath 表达式查询的常用 API。
相关推荐
cover
2023-05-28
7. 漏扫-解析ip并做端口扫描
自动化 SRC 之端口扫描:域名解析 IP 与去重的数据格式约定,socket 与 dns.resolver 双方案解析、masscan/naabu 批量端口扫描并组合网站链接。
cover
2023-05-29
8. 漏扫-端口指纹识别脚本
自动化 SRC 之端口指纹识别:多线程获取端口 banner 后按规则匹配指纹的脚本实现,基于 socket 的指纹库编写思路。
cover
2023-05-28
6. 爬虫-借助第三方工具实现子域名枚举
自动化 SRC 之子域名枚举:第三方平台查询、DNS 字典暴力枚举等主流子域名收集方法,含 rapiddns 与 OneForAll 集成平台的利用思路。
cover
2023-05-29
9. 爬虫-测试点及验证网站是否存活并获取网站指纹
自动化 SRC 之存活验证:整理域名-IP-端口对应关系输出网站列表,通过 header 信息判断存活并计算网站特征去重,附非 HTTP 服务端口的测试点分析。
cover
2023-05-28
爬虫-补天注册厂商域名获取
自动化 SRC 系列开篇:补天漏洞平台的收录标准与注册厂商列表获取思路,注册厂商不限权重、证明归属即可收录,为后续批量收集域名资产打基础。
cover
2023-05-28
3. 爬虫-获取高权重网站
自动化 SRC 之高权重网站获取:以爱站百度/谷歌权重为收录依据,从网站排行榜与爱企查企业信息两条途径批量抓取高权重站点的爬虫实现。

评论
avatar
晚上十一点睡觉
个人学习日志,学习领域:网络安全和Python爬虫。近一年blog更新至语雀,等有时间再推送至此,后续blog会以全新版本进行发布
文章
533
标签
122
分类
88
Follow Me
公告
stay passionate and never say die
目录
  1. 1. srcinfo表结构
    1. 1.1. Spider 值的意义
    2. 1.2. 不同类型识别方法
      1. 1.2.1. 2、已知系统
      2. 1.2.2. 3、403 页面
      3. 1.2.3. 4、404 页面
      4. 1.2.4. 5、401 认证
      5. 1.2.5. 6、其他非正常相应网站
      6. 1.2.6. 7、其他非正常网站
      7. 1.2.7. 8、无标题,非网页内容
  2. 2. urlinfo表结构
  3. 3. postinfo表结构
  4. 4. refer
最新文章
集团流量链路
集团流量链路2026-10-04
6-小红书环境一致性风控与逐项排查实战
6-小红书环境一致性风控与逐项排查实战2026-10-04
4-小红书签名体系与风控实战
4-小红书签名体系与风控实战2026-10-04
Linux-Shell脚本学习
Linux-Shell脚本学习2026-10-04
Linux-Kali配置与使用
Linux-Kali配置与使用2026-10-04
© 2022 - 2026 By 晚上十一点睡觉
Welcome to 11pmsleep's blog ~~~ Blog仅供个人记录笔记学习所用,若有侵权,联系我删除~若有错误,也望诸君不吝指正
搜索
数据加载中