关于Ajax爬虫的方法(全站数据爬取)

关于Ajax爬虫的方法(全站数据爬取)

1.Ajax是什么?

AJAX简单来说是一种在无需重新加载整个网页的情况下,能够更新部分网页的技术。

常见的比如淘宝或者微博滑到底部会出现"点击加载更多",或者滑到底部会自动出现更多的内容。此类网站皆是Ajax网站

2.Ajax类型网站爬虫的特点

Ajax网站跟普通网站爬虫不同点在于Ajax是一种渲染的方式使数据呈现在页面之上,因此网页看到的内容跟我们requests请求网页的内容是不一样的

例如本次案例采用的网站:https://spa1.scrape.center/

import requests

response = requests.get(url = 'https://spa1.scrape.center/')

print(response.text)

这是最最基础的爬虫步骤,但请求结果与我们想要的结果明显不符。

3.查找Ajax接口

我们进入开发者模式--点击Network,这里看见所有的请求数据,而Ajax请求的类型是XHR的,因此我们点击Fetch/XHR接口类型,而下面status200的即为我们想要的数据

4.分析请求数据格式

得到Ajax接口数据之后,我们可

相关推荐