您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

从json中的脚本输出中抓取

从json中的脚本输出中抓取

您需要手动设置FEED_FORMATFEED_URI设置:

settings.overrides['Feed_FORMAT'] = 'json'
settings.overrides['Feed_URI'] = 'result.json'

如果要将结果放入变量中,可以定义一个Pipeline将项目收集到列表中的类。使用spider_closed信号处理程序查看结果:

import json

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from scrapy.utils.project import get_project_settings


class MyPipeline(object):
    def process_item(self, item, spider):
        results.append(dict(item))

results = []
def spider_closed(spider):
    print results

# set up spider    
spider = TestSpider(domain='mydomain.org')

# set up settings
settings = get_project_settings()
settings.overrides['ITEM_PIPELINES'] = {'__main__.MyPipeline': 1}

# set up crawler
crawler = Crawler(settings)
crawler.signals.connect(spider_closed, signal=signals.spider_closed)
crawler.configure()
crawler.crawl(spider)

# start crawling
crawler.start()
log.start()
reactor.run()

仅供参考,看看Scrapy如何解析命令行参数

其他 2022/1/1 18:15:42 有348人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶