Scrapy如何处理相对路径和绝对路径
导读:在Scrapy中处理相对路径和绝对路径可以通过在提取数据时使用相应的方法来实现。 对于相对路径,可以使用response.urljoin( 方法来将相对路径转换为绝对路径。例如: from scrapy.http import HtmlRe...
在Scrapy中处理相对路径和绝对路径可以通过在提取数据时使用相应的方法来实现。
对于相对路径,可以使用response.urljoin()方法来将相对路径转换为绝对路径。例如:
from scrapy.http import HtmlResponse
response = HtmlResponse(url='http://example.com/page1', body=b'a href="/page2">
Page 2/a>
')
relative_url = response.css('a::attr(href)').extract_first()
absolute_url = response.urljoin(relative_url)
print(absolute_url)
# Output: http://example.com/page2
这样可以确保提取到的链接始终是绝对路径。
另外,如果要在Spider中处理相对路径和绝对路径,也可以直接使用response.urljoin()方法。例如:
from scrapy.spiders import Spider
class MySpider(Spider):
name = 'my_spider'
start_urls = ['http://example.com/page1']
def parse(self, response):
relative_url = response.css('a::attr(href)').extract_first()
absolute_url = response.urljoin(relative_url)
yield {
'url': absolute_url
}
这样可以在Spider中直接处理相对路径和绝对路径。
声明:本文内容由网友自发贡献,本站不承担相应法律责任。对本内容有异议或投诉,请联系2913721942#qq.com核实处理,我们将尽快回复您,谢谢合作!
若转载请注明出处: Scrapy如何处理相对路径和绝对路径
本文地址: https://pptw.com/jishu/674928.html