Python爬虫：curl‑cffi 指纹伪装反爬的高性能 HTTP 客户端-马育民老师

# 介绍
curl‑cffi 是 Python 的 HTTP 客户端库，底层基于 **libcurl + curl‑impersonate**，通过 **CFFI（C外部函数接口）** 把C语言的curl能力封装成Python接口，核心卖点是**模拟真实浏览器TLS/JA3、HTTP/2、HTTP3指纹**，解决 requests、httpx 这类纯Python客户端很容易被TLS指纹反爬拦截的问题。

> 注意：包安装名字是 `curl‑cffi`（横杠），Python导入名字是 `curl_cffi`（下划线），版本0.14起最低Python版本为3.10。

# 底层原理
1. curl‑impersonate：修改原生libcurl源码，让curl握手时完整复刻Chrome、Firefox、Safari的TLS握手细节：密码套件顺序、TLS扩展、报文分片、HTTP/2帧行为，输出和真实浏览器完全一致的JA3/JA3N指纹。
2. CFFI：不是ctypes，是C外部函数接口，直接调用编译好的libcurl动态库，不做Python层的TLS实现；发布时自带多平台预编译二进制包，用户不需要本地编译C代码，开箱即用。
3. 对外提供两套API：
   - 高层API：模仿requests的接口风格，Session、AsyncSession，上手几乎无学习成本；
   - 底层原生curl API：可以直接使用libcurl全部配置项，对网络行为做极细粒度控制。

# 能力
1. **指纹伪装（最核心）**
可以直接指定模拟某一个版本Chrome/Firefox/Safari，TLS握手、JA3、HTTP/2的帧行为和真实浏览器一致；新版本支持HTTP/3指纹模拟，也支持自定义指纹参数。
> 重点：只是网络层指纹，**不会运行JS，不渲染页面**，无法绕过JS挑战、Turnstile这类需要浏览器执行脚本的验证，只能解决传输层TLS指纹封禁。

2. **协议支持**
完整支持 HTTP/1.1、HTTP/2、HTTP/3；原生WebSocket客户端；各类代理（http、socks5，新版本支持UDP socks5），支持每次请求轮换代理、连接池、cookie持久会话、重定向控制、流式大文件下载上传。

3. **同步+原生异步**
同步Session和requests用法接近；异步基于libcurl多句柄实现，不是基于aiohttp的纯PythonIO，并发性能高、内存占用低；异步会话一个实例只能绑定一种浏览器指纹，多指纹需要创建多个会话实例。

4. **性能**
底层C实现，吞吐量高于requests、httpx，性能对标aiohttp/pycurl，比启动完整浏览器（Playwright/Selenium）资源消耗小非常多，不需要启动浏览器进程，适合大规模采集场景。

5. **其他特性**
自带命令行调试工具；支持自定义curl底层参数；可和Scrapy集成；支持gevent/eventlet协程环境；支持打包PyInstaller发布二进制程序；完整cookie管理，会话对象自动维护cookie链。

# 和同类工具对比
### requests / httpx
纯Python实现，简单易用，但是TLS握手指纹是Python库固定特征，很多WAF直接识别拦截；即使手动改请求头，也改不了底层TLS握手指纹。curl‑cffi解决的就是这个传输层指纹问题，但requests的代码可以少量改动迁移到curl‑cffi。

### Playwright / Selenium
启动真实浏览器，完整JS渲染、页面交互，指纹完全真实，但是开销巨大、启动慢，资源占用高。curl‑cffi是**轻量级网络客户端，没有DOM、没有JS引擎**；如果网站需要JS渲染、滑块、人机验证，curl‑cffi做不到，必须上浏览器自动化工具。

### pycurl
也是libcurl绑定，但是没有curl‑impersonate的指纹补丁，无法模拟浏览器TLS指纹，API也更原始。

# 优点
1. 轻量，无浏览器进程，CPU内存开销远低于无头浏览器；
2. 传输层指纹高度还原，专门对付基于JA3/TLS指纹的反爬拦截；
3. API贴近requests，迁移成本低，同步异步一体；
4. 预编译二进制，Windows/macOS/Linux开箱即用，不用编译环境；
5. 可以访问全部libcurl底层选项，高度可控；
6. 支持HTTP2、HTTP3、WebSocket。

# 局限与坑点

1. **不能执行JavaScript**，JS渲染页面、JS校验、人机验证码无法绕过，只能拿到原始HTTP响应；
2. 一个异步会话只能绑定一种浏览器指纹，并发多种指纹要多建会话；
3. libcurl句柄池有上限，不能无限制开并发，高并发需要做信号量限流，否则会大量超时排队；
4. HTTP/2调试抓包会比较麻烦，部分抓包工具对libcurl的HTTP2帧解析会出现异常；
5. 不同操作系统自带的证书库存在差异，会出现证书校验报错；
6. 浏览器版本迭代快，库需要跟随更新内置指纹，旧版本库无法模拟新版浏览器指纹。

# 适用场景

1. 普通接口、静态网页爬虫，被WAF因为TLS/JA3指纹直接拦截，但是不需要JS渲染；
2. 需要高并发采集，不想承担浏览器的巨大资源开销；
3. 需要模拟浏览器完整握手特征，但是不需要页面交互；
4. 替换原有requests项目，解决莫名其妙403、直接连接被拒绝，headers改遍也无效的情况。

# 不适合场景
1. 页面重度依赖JS渲染、SPA页面；
2. 需要执行页面JS、点击、滑块、验证码；
3. 需要DOM操作、页面渲染后的结果。

# 总结

curl‑cffi定位是**“带浏览器指纹的高性能HTTP客户端”，介于普通requests和完整浏览器之间**，解决传输层指纹反爬，但不解决JS层反爬。

原文出处：http://www.malaoshi.top/show_1GW3nz12noCO.html