简介
数据采集步骤很简单,第一步抓取数据(上一篇《实战总结:抓包工具Fiddler安装及使用-微信小程序数据采集》已讲解怎么抓取数据);第二步分析接口;第三步仿造请求;第四步数据处理保存入库。分析接口是最关键的一步,接口分析清楚了就一片坦途,接口分析不清楚那就只有心塞胸闷了。话不多说直接上干货。
分析要点
抓包具体一点就是抓取的URL请求链接(下文会叫他请求接口或者API)、请求和响应数据。URL请求链接由【http协议或者https协议】://【域名或者ip】(:【端口】)/【请求路径】四部分组成,请求数据包含请求头和请求参数,响应数据包含响应头和响应数据。数据采集首先要找到对应的接口,比如我们采集招聘信息,那么招聘列表对应哪个接口?招聘详情对应哪个接口?然后再分析请求发送了哪些关键数据,这些数据往往在以下几个地方出现:1、路径参数;2、查询参数;3、请求头信息;4、post参数。找到关键数据后,就要分析这些关键数据怎么来的、是否固定的、是否有时长限制,比如头信息中的token是怎么来的,是否每次请求token都一样,隔一段时间token是否会过期,这些问题直接影响后面的脚步逻辑,所以我们很有必要弄明白这些问题。总结分析为以下几点:
- 分析出要采集的内容对应哪个请求接口
- 分析接口发送了哪些关键数据
- 分析关键数据来源,是否固定,是有时间限制
微信小程序抓包实战
我们以《吉工家》微信小程序作为演示示例(郑重提示:如果侵犯吉工家平台权益,请联系本猿,网站下方有联系方式哦),最新版微信支持pc端微信小程序的,搜索并打开吉工家微信小程序。
启动fiddler,触发吉工家小程序接口,如有下图中接口标识我们抓取到了吉工家的接口了。如没有抓到接口,请看本猿另一篇文章《Fiddler无法抓包微信小程序》