Python爬虫 bilibili视频弹幕提取过程详解
人气:0两个重要点
1.获取弹幕的url是以 .xml 结尾
2.弹幕url的所需参数在视频url响应的 javascript 中
先看代码
import requests from lxml import etree import re # 使用手机UA headers = { "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1" } # 视频url video_url = "https://m.bilibili.com/video/av37834086.html" html = requests.get(url=video_url, headers=headers).content.decode('utf-8') # 获取弹幕url的参数 cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html) url = "https://comment.bilibili.com/" + cid[0] + ".xml" print(url) response = requests.get(url, headers=headers) html = response.content xml = etree.HTML(html) # 提取数据 str_list = xml.xpath("//d/text()") # 写入文件 with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f: for line in str_list: f.write(line) f.write('\n')
先找到弹幕的url,以.xml结尾,所以先找到这串数字所在的位置,并获取这串数字发起第二次请求
而这串数字就在 第一次请求的响应的JavaScript中,可以通过 re 正则表达式进行提取
接下来的工作就是获取弹幕url返回的所有弹幕数据,然后对响应进行数据处理。
代码示例中使用的是 lxml 进行获取。接着就是保存到个人本地文件中了
您可能感兴趣的文章:
- python协程gevent案例 爬取斗鱼图片过程解析
- python selenium爬取斗鱼所有直播房间信息过程详解
- Python使用Selenium模块模拟浏览器抓取斗鱼直播间信息示例
- 利用python爬取斗鱼app中照片方法实例
- python实现b站直播自动发送弹幕功能
- 使用python tkinter开发一个爬取B站直播弹幕工具的实现代码
- Python爬虫自动化爬取b站实时弹幕实例方法
- 使用Python获取爱奇艺电视剧弹幕数据的示例代码
- 详解python爬取弹幕与数据分析
- Python脚本如何在bilibili中查找弹幕发送者
- Python爬虫爬取Bilibili弹幕过程解析
- python3写爬取B站视频弹幕功能
- python基于selenium爬取斗鱼弹幕
加载全部内容