求一个工具可以快速备份某个豆瓣小组(包括索引页和组里帖子)

想问问有没有什么工具可以快速备份某个豆瓣小组下面的帖子?

小组索引页还算好办,按照规则生成批量网址之后导入到迅雷等下载软件里批量下载,刚开始是可以的,但是没多久就404错误了,豆瓣把我家整个IP都封了,说我疑似机器人~好吧这个总能解决,大不了外面去蹭网,或者用手机流量切IP~

还有每一页里面的帖子怎么快速备份?难道要靠全部访问一遍,再ctrl+s吗?我安装了一个叫做Linkclump的chrome插件,但是我怕时间来不及了~

在论坛里搜过和豆瓣相关的帖子,没发现可以没有备份豆瓣小组的。

还有,可能各路神仙都在各显神通尝试用各种工具扒帖子,所以豆瓣这几天加大了机器抓取的审核力度,动不动就说你的IP疑似机器人~真的很难

站在一家超市外面蹭网的我,感到刺骨的寒意

任何一个稍微靠谱的建议都可以提,谢谢!

没别的办法,只有建立 IP 池,然后用爬虫爬

小组都要备份么

你这不是被怀疑为机器人,而是本质就在用机器人,然后被抓现行犯了.
这得限制连接速度啊,比如5秒连接一次,如果发生服务器拒绝就再减慢连接速度,过一会儿再恢复. 你直接用迅雷肯定是不行的.

1 个赞

这几天豆瓣发生了什么事么?为什么这几天都在扒帖子

混账太多将被整治?