欢迎访问智唯网络!专业H5响应式营销型网站建设、百度seo优化、网络推广服务!
营销之道 干货分享
了解企业新动态,分享前沿的营销推广干货,成长路上,我们携手同行
网站建设News

如何快速爬取B站全站视频信息

发布时间:2017:11:20 12:31:27 | 已阅: | 作者:智唯小编 | 来源:智唯网络 | 共 0 条评论

扫一扫
手机访问

本文共有954个文字,预计阅读时间3分钟
导语
B 站我想大家都熟悉吧,其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅,绝知此事要躬行,我码故我在。最终爬取到数据总量为 760万 条。

  如何快速爬取B站全站视频信息

  B 站我想大家都熟悉吧,其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅,绝知此事要躬行,我码故我在。最终爬取到数据总量为 760万 条。

  作者:chenjiandongx来源:知乎|2017-11-17 19:56 移动端 收藏 分享Tech Neo技术沙龙 | 11月25号,九州云/ZStack与您一起探讨云时代网络边界管理实践

  B 站我想大家都熟悉吧,其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅,绝知此事要躬行,我码故我在。最终爬取到数据总量为 760万 条。

  准备工作

  首先打开 B 站,随便在首页找一个视频点击进去。常规操作,打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息,不去解析网页,解析网页的速度太慢了而且容易被封 ip。

  勾选 JS 选项,F5 刷新

  

如何快速爬取B站全站视频信息

 

  找到了 api 的地址

  

如何快速爬取B站全站视频信息

 

  复制下来,去除没必要的内容,,得到 http://api.bilibili.com/x/web-interface/archive/stat?aid=15906633 ,用浏览器打开,会得到如下的 json 数据

  

如何快速爬取B站全站视频信息

 

  动手写码

  好了,到这里代码就可以码起来了,通过 request 不断的迭代获取数据,为了让爬虫更高效,可以利用多线程。

  核心代码

  result = [] req = requests.get(url, headers=headers, timeout=6).json() time.sleep(0.6) # 延迟,避免太快 ip 被封 try: data = req['data'] video = Video( data['aid'], # 视频编号 data['view'], # 播放量 data['danmaku'], # 弹幕数 data['reply'], # 评论数 data['favorite'], # 收藏数 data['coin'], # 硬币数 data['share'] # 分享数 ) with lock: result.append(video) except: pass

  迭代爬取

  urls = ["http://api.bilibili.com/archive_stat/stat?aid={}".format(i) for i in range(10000)] with futures.ThreadPoolExecutor(32) as executor: # 多线程 executor.map(run, urls)

  不要一次性爬取全部链接,我是利用两个进程,这样就是多进程+多线程了。一个进程一次大概爬取 50w 条数据。100w 条数据的话大概一个多小时吧。分多次爬取,分别将数据保存为不同的文件名,最后再汇总。

  

如何快速爬取B站全站视频信息

 

  运行的效果大概是这样的,数字是已经已经爬取了多少条链接,其实完全可以在一天或者两天内就把全站信息爬完的。

  至于爬取后要怎么处理就看自己爱好了,我是先保存为 csv 文件,然后再汇总插入到数据库。

  汇总的 csv 文件

  

如何快速爬取B站全站视频信息

 

  数据库表

  

如何快速爬取B站全站视频信息

 

  由于这些内容是我在几个月前爬取的,所以数据其实有些滞后了。

  数据总量

  

如何快速爬取B站全站视频信息

 

  查询播放量前十的视频

  

如何快速爬取B站全站视频信息

 

  查询回复量前十的视频

  

如何快速爬取B站全站视频信息

 

  各种花样查询任君选择!!视频的链接为 /video/av + v_aid

  详细代码请移步至 bili.py

  对数据感兴趣的话可以邮箱联系我,可以打包赠与。

  项目地址:chenjiandongx/bili-spider 欢迎围观 vfghjklp;]\78+

如何建站:
建网站需要准备哪些资料 如何购买域名空间 协助备案 成功案例 真实见证 建站类型有哪些 收费标准 建站流程 制作周期 改版美化 提升有户体验 [建站必看]源码内容交付 联系客服 专业建站

看了这篇文章的人还看了

专业建站 免费排名(有什么疑问的请留言或咨询在线客服)
  • 全部评论(0
    还没有评论,快来抢沙发吧!

上一篇:浅谈佛山建站运营管理架构与如何判别网站是否具有价值

下一篇:三个环节齐发力让网站运行轻松做到又快又稳

  • 同行价格

    统一报价,无隐形消费

  • 金牌服务

    一对一专属顾问,7*24小时金牌服务

  • 售后无忧

    完善售后,客服经理全程跟进

建站优化二维码
建站优化二维码

截屏,微信识别二维码

微信号:13825575516

(点击微信号复制,添加好友)

优化二维码打开微信