Scrapy如何处理XML和JSON数据

Scrapy提供了内置的XML和JSON解析器，可以方便地处理XML和JSON数据。

1. 处理XML数据： 使用Scrapy的Selector模块可以轻松地处理XML数据。可以使用XPath表达式来选择和提取需要的数据。例如：

from scrapy.selector import Selector

xml_data = """
bookstore>
    
  book category="cooking">
    
    title lang="en">
    Everyday Italian/title>
    
    author>
    Giada De Laurentiis/author>
    
    year>
    2005/year>
    
    price>
    30.00/price>
    
  /book>
    
  book category="children">
    
    title lang="en">
    Harry Potter/title>
    
    author>
    J.K. Rowling/author>
    
    year>
    2005/year>
    
    price>
    29.99/price>
    
  /book>
    
/bookstore>

"""

selector = Selector(text=xml_data)
titles = selector.xpath('//book/title/text()').extract()
authors = selector.xpath('//book/author/text()').extract()

for title, author in zip(titles, authors):
    print(f"Title: {
title}
, Author: {
author}
")

1. 处理JSON数据： Scrapy提供了内置的JsonResponse类来处理JSON数据。可以使用json()方法将Response对象转换为Python字典，然后直接操作字典获取需要的数据。例如：

import json

json_data = """
{

  "bookstore": {

    "books": [
      {

        "title": "Everyday Italian",
        "author": "Giada De Laurentiis",
        "year": 2005,
        "price": 30.00
      }
,
      {

        "title": "Harry Potter",
        "author": "J.K. Rowling",
        "year": 2005,
        "price": 29.99
      }

    ]
  }

}

"""

response_dict = json.loads(json_data)

for book in response_dict['bookstore']['books']:
    print(f"Title: {
book['title']}
, Author: {
book['author']}
    ")

通过以上方法，可以方便地处理XML和JSON数据，并提取需要的信息。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！