Python爬虫中的数据类型与正则表达式应用
网页数据的分类与处理策略
在进行网络爬虫开发时，理解网页中不同类型的数据结构是高效提取信息的前提。通常，网页数据可分为以下几类：
- 文本内容：包括标题、正文、链接文本、标签等可读性内容。
- 媒体资源：如图片、音频、视频文件，常通过URL引用。
- 结构化格式：如JSON、XML和HTML本身，具有明确的层级或键值对结构。
- 动态加载数据：由JavaScript运行后从AJAX接口获取的内容，不直接存在于初始HTML中。
- 元信息：包含页面描述、关键词、编码方式等，多位于<meta>标签内，对SEO分析至关重要。
根据数据是否具备固定模式，还可进一步划分为结构化与非结构化两类：
结构化数据
这类数据遵循标准格式，字段清晰，易于解析。常见形式有：
- JSON：轻量级数据交换格式，广泛用于API响应。
- XML：标记语言，支持复杂嵌套结构。
处理工具推荐使用jsonpath库进行路径式查询。
非结构化数据
主要指HTML文档或纯文本，缺乏统一布局规则，需借助特定方法提取目标内容。典型处理手段包括：
- XPath：基于节点路径的语言，适用于XML/HTML解析。
- 正则表达式（Regular Expression）：灵活匹配字符模式，适合提取简单且位置固定的字符串。
正则表达式基础语法详解
Python内置的re模块提供了完整的正则功能，可用于字符串搜索、替换和分割。其核心语法元素如下：
| 元字符 | 说明 |
|---|---|
| . | 匹配除换行符外的任意单个字符 |
| \w | 匹配字母、数字或下划线 |
| \d | 匹配一个数字字符 |
| \s | 匹配空白符（空格、制表符、换行等） |
| ^ | 匹配字符串起始位置 |
| $ | 匹配字符串结束位置 |
| * | 前一项出现0次或多次 |
| + | 前一项出现1次或多次 |
| ? | 前一项出现0次或1次 |
| {n} | 前一项恰好重复n次 |
| [abc] | 匹配括号内的任一字符 |
| [^abc] | 匹配不在括号内的字符 |
| a|b | 匹配a或b |
| (...) | 分组捕获，便于后续提取 |
常用正则函数及其用途
在实际开发中，常用的匹配函数包括：
re.search(pattern, string)：在整个字符串中查找第一个匹配项，返回Match对象。re.match(pattern, string)：仅从字符串开头尝试匹配，失败则返回None。re.findall(pattern, string)：返回所有匹配结果组成的列表，最常用于数据抽取。
附加标志参数flags可增强匹配能力，例如re.IGNORECASE忽略大小写。
实例1：验证手机号格式
中国大陆手机号为11位数字，以1开头。
import re
phone = "15812345678"
pattern = r"^1\d{10}$"
if re.match(pattern, phone):
print("有效手机号")
else:
print("无效格式")
实例2：校验电子邮件地址
邮箱由用户名@域名组成，支持常见符号。
email = "user_name.2023@example-site.com"
pattern = r"^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$"
if re.match(pattern, email):
print("邮箱格式正确")
else:
print("格式错误")
实战案例：提取虎牙直播封面图
目标：从分类页抓取主播头像及昵称，并批量下载保存。
import requests
import re
import os
import time
# 设置请求头模拟浏览器行为
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
url = "https://www.huya.com/g/2168"
response = requests.get(url, headers=headers)
html_content = response.text
# 提取图片原始链接（去除CDN参数）
img_url_pattern = r'<img class="pic".*?data-original="(.*?)"'
raw_urls = re.findall(img_url_pattern, html_content)
cleaned_urls = [link.split('?')[0] for link in raw_urls]
# 补全HTTPS协议头
full_urls = ['https:' + url if url.startswith('//') else url for url in cleaned_urls]
# 提取主播名称
title_pattern = r'title="(.*?)"/>'
titles = re.findall(title_pattern, html_content)
# 创建存储目录
if not os.path.exists('images'):
os.mkdir('images')
# 下载并保存图片
for img_url, name in zip(full_urls, titles):
try:
img_data = requests.get(img_url, headers=headers).content
with open(f'./images/{name}.jpg', 'wb') as f:
f.write(img_data)
print(f"{name} 下载完成")
time.sleep(1) # 控制请求频率
except Exception as e:
print(f"下载失败: {name}, 错误: {e}")
该脚本实现了从HTML中精准定位并提取关键信息的功能，展示了正则表达式在处理非结构化网页内容时的强大能力。
