仿飞瓜B站数据监控平台 提供基于多维度的B站账号监控,包括账号维度和单个视频维度下的点赞总数、投币总数、收藏总数、评论总数、收藏总数、转发总数、作品总数、弹幕总数以及平均数和中位数;账号与单个视频下的评论与弹幕中出现最多的热点词云,以及点赞量最多的单条评论甚至追溯到评论的具体用户
--
--
--
可以通过"添加账户"按钮添加新的监控账号,只需要填入账号uid即可
--
--
里面分为 "核心一览"、"作品列表" 和 "舆情分析"三大模块,核心一览可以查看账号的各项基本数据,但前提是至少每天启动一次服务器并收集足够的天数,若中途有一天少了可以自动线性补全
--
里面的可以查看指定的周期内UP的各项指标,以及指标下的增量数据和存量数据
--
--
--
还可以根据关键词搜索符合条件的视频,还有分页加载功能不方便演示
--
--
--
--
--
舆情分析模块,可以统计该账号下的所有评论和弹幕中出现最多的关键词并显示出现的次数
--
按点赞数对评论进行排序并显示每个评论的视频来源和评论者的ID
需要预先安装ES 7.10.1 ,对应版本的ik分词器和 mysql,然后从项目的 resources/db 中拿到bilibili.sql文件并执行mysql脚本,ES索引会在每次项目启动时自动创建,故不需要自己手动创建 线程池大小需要在配置文件中根据自己监控Up的数量进行调配 然后去RequestFactory类把Cookie换成自己B站上的Cookie,浏览器上登陆B站然后考下来就行
直接克隆客户端Bilibili-monitoring-system-client和服务端Bilibili-monitoring-system-server到本地开发工具运行
建议监控的Up流量不要太大,否则会被B站反爬虫屏蔽导致缺少弹幕或评论,线程池按需设置
查询模块接口在Win7+ide环境下吞吐量基本可达1000-1500qps,监控模块虽然使用了多线程爬虫,但由于线程之间还是需要依赖关系(例如需要先爬去视频信息然后才能遍历视频的评论和弹幕,因此做不到每次访问都单独开辟一个线程)的原因最终吞吐量只有10-12qps,实测B站接口反爬虫策略在单个IP地址下500次左右会触发,建议爬取Up的视频不要有太多互动,或者自己购买商用或免费IP池做负载均衡