使用Python爬取分析腾讯新冠疫情数据，并对json格式进行校验

news/2024/9/22 11:28:00

写这篇博客源于博友的提问

由于禁止反爬，所以返回的json格式是错误的，因此没法直接转换。

可以观察规律进行json串格式校正。json格式需要 [], {} [{}] 成对存在。

1. 效果图

简单看一下，格式是否正确；可以看到返回值中 {} [] 并不是成对存在的观察结构对齐进行校正。
在这里插入图片描述

2. 源码

import json
import re  # 正则匹配import requests  # 网络请求库def catch_data():url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'# 发送请求response = requests.get(url=url).json()a = [m.start() for m in re.finditer("\{", response["data"])]b = [m.start() for m in re.finditer("}", response["data"])]c = [m.start() for m in re.finditer("\[", response["data"])]d = [m.start() for m in re.finditer("]", response["data"])]e = [m.start() for m in re.finditer("\[\{", response["data"])]f = [m.start() for m in re.finditer("}]", response["data"])]print("------------------------")list = []for i in b:try:dataStr = response['data'][:i] + "}}"# print(dataStr)data = json.loads(dataStr)print(i, data['lastUpdateTime'])# print(dataStr)# breakexcept:print('\t', i, 'error', dataStr[-100:])try:dataStr = response['data'][:i] + "}}]}"# print(dataStr)data = json.loads(dataStr)list.append(data)print(i, data['lastUpdateTime'])except:print('\t\t', i, 'error', dataStr[-100:])print(len(response["data"]), a)exp1 = lambda x: x[-1] if len(a) > 0 else Nonereturn exp1(list)data = catch_data()
print(data.keys())
lastUpdateTime = data["lastUpdateTime"]
print(lastUpdateTime)