专用爬虫：AppInn-Watcher/1.0 (Multi-Category) 是什么？

讨论分享
1

发现一个叫 AppInn-Watcher/1.0 (Multi-Category) 的爬虫，IPv6 地址。

它每天大约请求 1.5 万次，主要轮询 6 个 RSS：

  • Windows / macOS / Chrome / Android 标签 RSS

  • 发现频道 RSS

  • 发现分类 RSS

频率非常固定，约 每 34 秒抓一次每个 Feed。

因为这些 RSS 会经过 Discourse 动态生成，所以会持续占用 Pitchfork / CPU。现在已经给它加了限速：同一 RSS 最快 1 分钟抓一次，超限返回 429 Too Many Requests。

并且提示：

[!警告]return 429
“请求频率过高，请降低抓取频次。\n建议每个 RSS Feed 至少间隔 1 分钟再次请求。\n\nToo many requests. Please reduce your polling frequency.\nPlease wait at least 1 minute before requesting the same RSS feed again.\n”;

等几天看看吧。