1. URL结构解析理解网页地址的密码当你每天在浏览器地址栏输入网址时有没有想过那一串字符背后的秘密URL就像互联网世界的GPS坐标精确指引着每个资源的所在位置。以B站视频链接为例https://www.bilibili.com/video/BV1t7411z7ko?p1spm_id_from333.851.b_62696c695f7265706f72745f646f756761.1这个看似复杂的字符串其实暗藏玄机。协议部分就像交通工具的选择HTTPS是加密的专车HTTP是普通公交FTP则是货运卡车。现代网站基本都采用HTTPS协议就像我们案例中的B站链接开头的https://不仅保证数据传输安全还能避免被中间人窃听。域名系统是互联网的通讯录。www.bilibili.com这个域名会被DNS服务器翻译成IP地址就像把北京市海淀区转换成具体的经纬度坐标。有趣的是有些网站会采用api.bilibili.com这样的子域名专门处理数据请求比如B站的弹幕接口就藏在https://api.bilibili.com/x/v1/dm/list.so?oid122426590这样的API地址里。路径参数透露了网站的内容结构。/video/BV1t7411z7ko这段路径就像图书馆的书架编号BV开头的视频ID是B站特有的标识符。而问号后面的p1表示第一分集spm_id_from则是B站用于流量统计的追踪参数这类参数往往可以安全删除而不影响核心功能。提示在分析URL时可以先用Chrome开发者工具的Network面板观察页面加载过程中的所有请求重点关注XHR类型的请求这些往往是真正的数据接口。2. 实战URL规律挖掘以B站和网易云为例去年我帮朋友抓取B站UP主数据时发现用户主页URLhttps://space.bilibili.com/123456中的数字ID看似随机实则暗藏规律。通过批量测试发现从1开始递增的数字ID大多对应真实用户这为遍历抓取提供了可能。但要注意三个关键陷阱频率限制是第一个拦路虎。B站对未登录请求会返回缓存数据但对登录账号有严格的QPS限制。我的实测数据显示单IP连续请求超过30次/分钟就会触发429状态码。解决方案很简单——在代码中加入随机延时import time import random for user_id in range(1, 1000): time.sleep(random.uniform(0.5, 1.5)) # 随机延时0.5-1.5秒 url fhttps://api.bilibili.com/x/space/acc/info?mid{user_id} # 发送请求代码...数据验证同样重要。B站的API返回中code0表示用户存在code-404则是幽灵账号。我曾因为没处理这个状态码导致数据库存了大量无效记录。完整的响应处理应该这样写response requests.get(url, headersheaders) data response.json() if data[code] 0: user_info data[data] # 存储有效数据 elif data[code] -404: print(f用户{user_id}不存在)网易云音乐则玩起了参数加密的把戏。它的歌曲接口https://music.163.com/weapi/song/enhance/player/url/v1需要两个加密参数params和encSecKey。通过逆向分析发现网易云用AES和RSA双重加密保护请求参数这对新手来说简直是噩梦。不过别怕我有两个破解方案方案一是用Python直接调用JavaScript引擎。安装PyExecJS库后可以把网易云的加密代码原封不动地拿来用import execjs with open(netease_encrypt.js) as f: ctx execjs.compile(f.read()) enc_params ctx.call(encrypt, {ids: [123456]})方案二更简单——直接使用现成的第三方库如NeteaseCloudMusicApi。但要注意这类方案可能随时失效自己掌握原理才是王道。3. 反爬虫攻防战从请求头到验证码某次抓取网易云评论时我的脚本突然返回418状态码——原来遇到了著名的我是茶壶反爬。现代网站的反爬策略大致分三个层级基础防御层包括User-Agent检查和Referer验证。有些网站甚至会检测Accept-Language头缺少这些基础信息直接返回403。一个合格的请求头应该像这样headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://www.bilibili.com/, Accept-Language: zh-CN,zh;q0.9 }中级防御层开始玩花样。B站会在Cookie中设置buvid3这个指纹标识网易云则要求携带__csrf令牌。更棘手的是滑动验证码比如B站的geetest验证。遇到这种情况可以考虑使用selenium模拟真人操作购买商业打码平台服务寻找绕过验证码的备用接口很多APP接口验证较松高级防御层包括TLS指纹识别和流量特征分析。一些银行网站会检测JA3指纹发现Python的TLS特征直接封杀。解决方案是使用curl_cffi这类库模拟浏览器指纹或者通过中间人工具捕获合法流量进行回放。注意最近发现B站新增了b_nut参数需要先访问首页获取这个动态参数才能调用API否则返回412状态码。这类动态令牌的有效期通常只有几分钟。4. 数据清洗与存储从混乱到有序抓取到的原始数据往往像一团乱麻。以B站弹幕接口为例返回的XML数据需要先用lxml解析from lxml import etree xml_data requests.get(danmaku_url).content tree etree.fromstring(xml_data) danmus [d.text for d in tree.xpath(//d)]更复杂的是藏在HTML里的JSON数据。B站视频页会把核心数据放在script标签的window.__INITIAL_STATE__变量中提取时需要正则表达式配合import re import json pattern re.compile(rwindow.__INITIAL_STATE__({.*?});) match pattern.search(html_text) if match: data json.loads(match.group(1)) video_info data[videoData]数据存储方案要根据量级选择小规模数据10万条SQLite或MySQL足够中等规模百万级MongoDB更适合非结构化数据海量数据考虑Elasticsearch做全文检索我曾用MySQL存储100万条用户数据表结构这样设计CREATE TABLE bilibili_users ( mid BIGINT PRIMARY KEY, name VARCHAR(100), sex VARCHAR(10), sign TEXT, level TINYINT, follower_count INT, INDEX idx_level (level) );对于弹幕这种高频写入数据最好采用分表策略比如按视频ID哈希分表避免单表过大影响性能。
