您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

避免重复爬网

避免重复爬网

我相信你正在寻找的是“持久性支持”,以暂停和恢复爬网。

要启用它,你可以执行以下操作:

scrapy crawl somespider -s JOBDIR=crawls/somespider-1
其他 2022/1/1 18:15:48 有444人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶