如果你赶时间,只需记住 Python 爬取网页的核心三板斧:
-
找接口比解析网页更重要:F12 抓包看 Network,能直接拿到 JSON 接口的,绝不去死磕 HTML DOM。
-
静态网页组合:使用
requests获取源码,配合BeautifulSoup或lxml(XPath)提取数据。 -
动态/强反爬网页:直接上
Playwright进行浏览器自动化渲染,配合无头模式(Headless)降维打击。 -
核心防封防线:随机 User-Agent 是最低配,现阶段必须配置代理 IP 池并解决 TLS 指纹(JA3)特征。

很多新手加我微信的第一句话就是:“老哥,我想爬某某网站的数据,Python 代码该怎么写?”
每次听到这个问题,我都得深吸一口气。因为在2026年的今天,网页前端技术和 Web 应用防火墙(WAF)早就进化得连亲妈都不认识了。你如果在网上随便搜一篇几年前的教程,用着最基础的 urllib 或者连个 Headers 都不加的 requests 去硬闯,大概率不到一秒钟,你的 IP 就进黑名单了。
今天咱们不讲那些虚头巴脑的理论。我把我们团队这几年做数据采集的底层逻辑、踩过的血坑、以及现在还在用的压箱底代码,全部揉碎了摊在桌面上讲。看完这篇,你不仅能明白 Python 怎么爬取网页数据,还能建立起一套工业级的数据抓取思维。
一、动手前的“军火库”储备
干活之前得先有趁手的工具。Python 的生态极其繁荣,但这不代表你要把所有库都学一遍。
首先,请确保你的系统里安装了 Python 3.10 或以上版本。如果你的环境还是一团糟,建议先搞定干净稳定的 Python下载。
在库的选择上,抛弃那些老旧的组件,你的 requirements.txt 里只需要这几个绝对核心:
-
请求层:
requests(处理 HTTP 请求的绝对王牌)、httpx(支持异步,处理 HTTP/2.0 的利器)。 -
解析层:
BeautifulSoup4(容错率极高,适合小白)、lxml(基于 C 语言,解析速度极快,强烈推荐用它的 XPath)。 -
浏览器自动化层:
Playwright(直接把 Selenium 扫进历史垃圾堆的现代自动化神器)。 -
数据落地层:
pandas(清洗和导出 CSV/Excel 一行代码搞定)。
[此处插入图片:Python爬虫核心技术栈架构图 | Alt: Python爬虫从网络请求、DOM解析到自动化渲染及数据落地的技术栈完整架构图]
二、第一阶段:老实人的抓取(静态网页解析)
什么是静态网页?说白了,就是你在浏览器里右键点击“查看网页源代码”,里面包含了你想要的所有文本数据。这种网站现在不多了,但作为入门练手最合适。
1. 伪装自己:永远不要“裸奔”
如果你直接用 requests.get('url'),服务器后台看到的 User-Agent 是 python-requests/2.31.0。这就好比你戴着写着“我是小偷”的面具去抢银行,不封你封谁?
你必须伪装成一个正常的浏览器。
Python
import requests
from bs4 import BeautifulSoup
# 目标URL(假设是一个不需要登录的博客文章列表)
url = "https://example-blog.com/articles"
# 伪装请求头(字典格式)
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
"Referer": "https://google.com" # 伪装是从谷歌搜索跳过来的
}
try:
response = requests.get(url, headers=headers, timeout=10)
# 检查状态码是否为200
response.raise_for_status()
# 获取网页HTML纯文本
html_content = response.text
print("网页抓取成功,开始解析...")
except requests.exceptions.RequestException as e:
print(f"老天爷,请求炸了: {e}")
2. 庖丁解牛:XPath 与 CSS 选择器的对决
拿到 HTML 后,怎么把标题、价格、作者提取出来?这里有两个流派。
| 对比维度 | BeautifulSoup (CSS 选择器) | lxml (XPath) | 适用场景推荐 |
| 上手难度 | 极低,像英语语法 | 存在学习曲线,类似文件路径查找 | 新手入门、结构混乱的烂HTML |
| 执行速度 | 较慢(纯 Python 实现) | 极快(C底层驱动) | 大规模数据抓取、追求效率 |
| 定位精准度 | 一般,按 Class/ID 找容易冲突 | 极高,可以按层级、文本内容过滤 | 层级嵌套极深的复杂网页 |
我个人强烈建议死磕 XPath。比如你想提取所有 div 标签中 class 包含 post-title 的 a 标签里面的文字,一段非常优雅的 lxml 代码如下:
Python
from lxml import etree
# 接着上面的 html_content
tree = etree.HTML(html_content)
# 用 XPath 提取所有标题文本
# 这里的逻辑是:找所有div -> class是post-title -> 下面的a标签 -> 提取内部文本
titles = tree.xpath('//div[@class="post-title"]/a/text()')
for title in titles:
print(f"提取到标题: {title.strip()}")
三、踩坑实录:我是怎么被封了 300 个 IP 的?
上面这套组合拳,对付小网站够用了。但我必须得泼盆冷水。
去年初,我们团队接了一个 B2B 平台的企业名录抓取需求。我看网页是静态的,就让新来的实习生拿 requests 去跑,挂了 10 个免费代理 IP。结果不到 3 分钟,爬虫全线崩溃,返回的全是 403 Forbidden。
我排查了一下午才发现,对方上了高级的 WAF(Web 应用防火墙),不仅检测 IP 频率,还在检测 TLS 指纹 (JA3) 和 HTTP/2 伪头部顺序。普通 Python 发出的请求,在底层协议报文的排列组合上,跟真实的 Chrome 浏览器完全不一样。人家根本不需要分析你的 User-Agent,在网络握手阶段就把你踢出去了。
这就是为什么很多人抱怨“我明明换了IP,加了Headers,怎么还是被封?”。如果你想系统地搞明白这个问题背后的对抗机制,我强烈建议你去补补课,仔细研读一下这篇关于 Python爬虫为什么总被封IP以及底层反爬逻辑的深度解析。搞懂了机制,你才能知道怎么破局。
[此处插入图片:TLS指纹抓包对比图 | Alt: Python Requests请求与真实Chrome浏览器的TLS JA3指纹底层报文差异对比图]
四、第二阶段:进阶黑客操作(API 抓包与 XHR 截流)
现在的网页大部分是 Vue 或 React 写的,也就是 前后端分离 和 动态渲染。你右键看源代码,里面可能只有一个 <div id="app"></div>,数据全是空的。
这时候新手最容易犯的错,就是立刻去学怎么模拟浏览器操作。千万别这么干!效率太低了!
正确的姿势是:打开浏览器的开发者工具 (F12) -> 切到 Network (网络) 面板 -> 过滤 Fetch/XHR 请求 -> 刷新网页。
你会惊奇地发现,网页上的数据其实是浏览器向服务器请求了一个 API 接口拿到的。这通常是一个干净完整的 JSON 文件。
提取纯净 JSON 数据的爽感
只要找到了这个接口(Endpoint),你连 BeautifulSoup 都省了,直接用 requests 请求接口,然后用 Python 自带的 JSON 解析,简直是降维打击。
Python
import requests
# 这是从F12抓包分析出来的隐藏API接口
api_url = "https://example-shop.com/api/v1/products?category=laptops&page=1"
headers = {
"User-Agent": "Mozilla/5.0...",
"Authorization": "Bearer xxxxx", # 很多接口需要附带Token
}
response = requests.get(api_url, headers=headers).json()
# 数据就像剥光了壳的鸡蛋,极其规整
for item in response['data']['items']:
product_name = item['name']
price = item['current_price']
print(f"商品: {product_name}, 价格: ¥{price}")
五、第三阶段:无头浏览器 Playwright 的暴力美学
但现实是残酷的。有的时候,那个 API 接口带着极其复杂的加密签名(比如包含了 JS 混淆过的 X-Sign 参数),你作为一个搞数据的,去硬解前端老哥花了一个月写的 Webpack 混淆代码,无疑是浪费生命。
这时候,我们需要请出终极杀器:Playwright。
它的逻辑非常霸道:我不去分析你的接口加密了,我直接启动一个真实的 Chromium 浏览器进程。等你的 JS 全部运行完,页面彻底渲染好,我直接从浏览器内存里把 DOM 树给“抢”过来。

隐藏参数:如何不被认出是机器人?
使用 Playwright 的一大痛点是被识别为自动化工具(网站检测到 navigator.webdriver == true)。这里交给大家一个实战中必备的隐藏参数注入法:
Python
from playwright.sync_api import sync_playwright
def scrape_dynamic_page():
with sync_playwright() as p:
# 启动真实浏览器,headless=True为无头模式(后台运行)
# 添加 args 抹除自动化特征
browser = p.chromium.launch(headless=True, args=[
"--disable-blink-features=AutomationControlled"
])
context = browser.new_context(
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
)
# 注入神仙级 JS 脚本,彻底干掉 WebDriver 标记
context.add_init_script("""
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
""")
page = context.new_page()
page.goto("https://target-dynamic-site.com")
# 强迫程序等待某个特定元素加载完毕
page.wait_for_selector(".product-list-container")
# 此时页面已经完全渲染好,直接提取
html = page.content()
# 然后你就可以用 BeautifulSoup 继续解析了...
browser.close()
if __name__ == "__main__":
scrape_dynamic_page()
这种做法虽然牺牲了性能(抓取速度远慢于直接发请求),但可见即可爬,能搞定目前市面上 90% 以上的顽固网页。
六、数据落地的最佳实践
数据爬下来打印在控制台上没有任何意义。不要用原始的 open('file.txt', 'w') 去拼接逗号,万一爬取的内容里自带逗号,你的 CSV 就全乱套了。
直接用 pandas,这是行业标配。
Python
import pandas as pd
# 假设你已经把数据收集到了一个列表中
data_pool = [
{"title": "Python入门", "price": 45.0},
{"title": "爬虫进阶", "price": 68.5}
]
# 两行代码搞定清洗与存储
df = pd.DataFrame(data_pool)
# 去除重复项,处理缺失值
df = df.drop_duplicates().fillna('未知')
# 导出为标准的CSV或Excel
df.to_csv("crawled_data.csv", index=False, encoding='utf-8-sig')
print("数据落地完成!")
七、工业级爬虫 SOP 检查清单 (Checklist)
在我们公司,无论是写几行代码的临时脚本,还是日抓取量百万级的分布式系统,上线前都必须过一遍这个清单:
-
[ ] 目标确认:是否 F12 检查了有无可以直接调用的 API 接口?(不要盲目爬 DOM)
-
[ ] 请求头伪装:是否包含了随机化的
User-Agent,以及必要的Referer、Accept等? -
[ ] 限速与礼貌:是否在请求之间加入了
time.sleep(random.uniform(1, 3))避免打挂对方服务器? -
[ ] 代理池配置:抓取频率超过单 IP 限制时,是否接入了高匿代理 IP 池?
-
[ ] 异常捕获:是否对网络超时、502 错误、数据字段缺失写了
try-except和重试机制(Retries)? -
[ ] 数据去重:爬取链接队列和结果数据,是否使用了 Redis 或 Pandas 进行了去重处理?
-
[ ] 合规性自查:是否查看了目标网站的
robots.txt?抓取的数据是否涉及用户个人隐私或商业核心机密?
常见问题解答 (FAQ)
Q1:我现在写 Python 爬虫,会不会一不小心进局子?边界到底在哪?
这是个极度关键的问题。爬虫技术本身无罪,但使用方式有界限。底线是:公开可见的数据可以合理抓取,但绝不能破坏目标系统可用性(DDoS),绝不能碰绕过账号权限的未公开接口,绝不能抓取包含个人隐私、国家机密的数据并用于非法牟利。 爬取前看一下该网站根目录下的 robots.txt 文件,保持合理的访问频率(“礼貌爬取”),不要去抢夺甚至瘫痪正常用户的资源。
Q2:遇到那种弹出拼图、点选文字的验证码(CAPTCHA),Python 怎么处理?
对于低级别的图片验证码,可以接入开源的 OCR 库(如 ddddocr)自动识别。但目前主流的如 Cloudflare Turnstile、极验、谷歌 reCAPTCHA V3,纯靠机器视觉极难攻破。业界通用的解决方案是接入打码平台 API,或者利用 Playwright 的生态库(如 playwright-stealth)去模拟真实的鼠标轨迹和点击延迟。
Q3:遇到无限往下滚动的网页(瀑布流),怎么把数据全爬下来?
瀑布流网页的核心是前端在监听滚动条事件。如果是用 Playwright,可以通过执行一段 JS 代码强制浏览器不断滚动到底部:page.evaluate("window.scrollTo(0, document.body.scrollHeight)"),并配合 time.sleep 等待新内容加载。但我还是那句话:回到 F12 抓包。这种网页往往对应着一个带有分页参数(如 ?page=2 或 ?offset=20)的 API 接口。直接去请求接口并写个 while 循环递增页码,才是效率最高的神仙做法。
权威参考来源: