火车头有没有办法采集这类网站,求解

https://www.xuexila.com/fwn/ziwojieshaomianshi/
列表页只有1页,第二页就做了隐藏,

只能在https://www.xuexila.com/fwn/ziwojieshaomianshi/c528661.html文章中的“下一篇”能够找到url

这种模式怎么用火车头爬到所有文章URL呢,有大佬指点一下吗?

解决方法:内容页循环提取分页URL,然后导出来再操作。
沙比网站,还设置了反采集时间间隔,老子非要日穿它

辽宁省网友说:循环采 下一页 试试

山西省网友说:好像是可以这样搞,我试试

江西省网友说:要是我就全部抓取html。为什么一定要按顺序来。入库不就好了。

海南省网友说:问题是怎么抓,没有索引页给你抓啊,而且这是分专题的,很难搞。

四川省网友说:直接循环抓取所有html啊。

台湾省网友说:必须可以

未经允许不得转载:黄老湿网 » 火车头有没有办法采集这类网站,求解