
八爪鱼如何进行问题和回答采集
你知道嘛?平时想整理B站上一堆喜欢的视频数据,比如标题啊、播放量啊,还有啥弹幕数啊点赞啊啥的,手动复制粘贴根本搞不过来对吧?这不,我就用八爪鱼搞定了!而且特别简单,哪怕是像我这种懒人,也能轻松上手。所以今天啊,我就来跟大家聊聊,怎么用八爪鱼批量采集B站视频的数据,像标题、时长、发布时间、播放量、弹幕数、发布者这些,全都一网打尽,最后还能一键导出成Excel,真的很香!
八爪鱼采集器官方链接:https://affiliate.bazhuayu.com/7hypDr
开始之前的小提醒
这篇教程是基于2022年6月8日的版本,也就是八爪鱼V8.5.2。要是你后面发现步骤跟你软件界面不一样,很有可能是因为网页或者软件更新了。遇到这种情况呢,别急,找八爪鱼的官方客服,他们一般都会很快帮你修正的。
正式开搞!步骤真的不复杂~
步骤一、打开网页
首先啊,打开八爪鱼软件,左上角直接点【新建】然后选【自定义任务】。在跳出来的网址输入界面,保持【手动输入】就行啦,把你准备好的一堆B站视频链接,直接全贴进去,点【保存网址】。八爪鱼自带的浏览器会自己去打开那些网页,省得咱们一条条点开了。
而且呢,保存后,软件流程里会自动生成【循环-打开网页】这个步骤,非常智能!比如我当时贴的是这几条链接:
- https://www.bilibili.com/video/BV1ai4y1x7bB
- https://www.bilibili.com/video/BV1Wv411172X
- https://www.bilibili.com/video/BV17k4y117BJ
特别注意哈:
- 手动输入的链接最多不能超过1万个,要是你的视频特别多,得用【从文件导入】的方式搞。
- 打开网页后有可能会弹出一个【自动识别】,这个记得点【取消识别】!因为我们这种自定义采集,不适合用自动识别模式。
- 要是想了解【自动识别】是干嘛的,可以去看看官方教程,但今天咱们用不上。
步骤二、设置页面滚动
B站的页面嘛,有些信息是得滚动才能加载全的,所以要给八爪鱼设置一下滚动。
在流程里选【打开网页】,打勾【页面加载后向下滚动】,然后设置成:
- 滚动到底部
- 滚动次数:3次
- 每次滚动间隔:1秒
然后点【应用】保存。
当然了,这个滚动次数和时间可以根据你采集的内容多少来调整哈,反正原则就是,能把页面需要的信息加载完整。
步骤三、提取需要的数据
这一步是重点哦!
咱们要提取的字段包括:
- 标题
- 时长
- 发布时间
- 总播放数
- 总弹幕数
- 发布者
- 硬币数
- 收藏量
- 点赞数
- 分享数
- 视频介绍
- 视频标签
八爪鱼会有个【当前数据预览】面板,里面一堆提取出来的内容,可以手动改下字段名字,让它们更直观一点,比如把系统默认的乱七八糟字段名改成"标题"、"播放量"啥的,看着舒服,后面导表格也清爽。
不过提醒一下,评论数量因为B站做了加密,目前直接抓不下来,要真要采评论的话,只能联系官方客服看看有没有新方案。
步骤四、优化一下规则
为了让采集更稳妥,咱们给【循环网址】、【打开循环网页】、【提取数据】这些步骤,分别设置个执行前等待时间,大概5到10秒这样。这样能避免网页没加载好就采数据导致出错。
设置好以后别忘了点【应用】保存啊!
步骤五、正式启动采集啦
都设置好以后,点【保存】然后直接【启动本地采集】就行了!看着八爪鱼自己哒哒哒开始翻网页采数据,真的特别有成就感哈哈。
如果你懒得开着电脑等采集,也可以用【云采集】,就是八爪鱼服务器帮你跑任务,不过这个要看你的账号权限啦。
最后数据采完以后,咱们可以选择导出格式,比如:
- Excel表格
- CSV文件
- HTML网页
- 直接存数据库
我一般都是直接导出Excel,整理起来最方便,还能直接拿来做统计表格啥的,倍儿爽!
我的感受是...
这套用八爪鱼采B站数据的方法,说实话,真的救了我一命。不然像我这种爱收集的人,靠手动复制的话,可能得干到天荒地老吧。而且八爪鱼的设置也没啥太多技术门槛,就是简单点点点,逻辑清楚点就行了。
所以啊,如果你也经常需要批量整理视频数据,真的强烈建议你试试看八爪鱼这个工具,效率嘎嘎提升,体验绝对不亏!
要不要也去试试呢?反正我自己已经离不开了哈哈~