相关问题
TG 爬虫技术怎样处理网页中动态加载的地图数据?
TG爬虫遇到地图动态加载的情况很常见,因为这种数据一般都靠js异步获取。先确定地图数据是通过哪个接口加载的,打开浏览器开发者工具(F12),切换到network标签,点击地图区域看看有没有新的请求。
11 个点赞 1 回答 748 浏览TG 爬虫技术如何应对网站的反爬虫封锁策略?
TG爬虫经常被封,说明目标网站的反爬确实挺硬的。常见的反爬方式有:IP封禁、行为识别、验证码拦截、设备指纹等。想稳定抓取数据,可以从以下几点入手。一、使用代理池。
10 个点赞 1 回答 814 浏览TG 爬虫技术怎么处理动态加载的页面?
你是不是遇到这种动态加载页面,数据拿不到的问题?这种页面是JS渲染的,用普通请求是拿不到数据的。你可以试试下面这些方法:一、看接口源。现在很多动态页面虽然前端是用JS加载的,但后端是有接口的,直接调用接口就可以拿到数据了。
6 个点赞 1 回答 247 浏览