爬虫稳定性

濮芸提问于09月18日

TG 爬虫技术怎么应对网站结构变化？

做TG的，网站结构调整，爬虫就容易崩，这太正常了。第一，不要死磕固定选择器，用动态定位，比如XPath模糊匹配，CSS类名组合。第二，爬虫跑完自动保存页面快照，方便对比变化，也方便后续调试。