TG 爬虫技术怎样抓取网站中加密的 JSON 数据?
1 个回答
抓加密JSON数据,关键在解密。
第一步,看数据从哪来,用浏览器开发者工具查接口。第二步,分析加密方式,有参数签名、token,或AES加密。第三步,模拟登录或获取有效cookies,让爬虫带上身份访问。第四步,写代码解析返回数据结构,密文转明文JSON。
推荐Python的requests、selenium,配合Charles抓包分析。强加密要逆向,找JS加密函数,用PyExecJS执行。
注意网站反爬,别封IP。合理设置间隔,用代理池轮换访问。