
八爪鱼客户端本地采集介绍
如果你已经完成了八爪鱼软件的安装并注册了账号,那么接下来的步骤是如何使用八爪鱼客户端进行数据采集。
八爪鱼采集器官方链接:https://affiliate.bazhuayu.com/7hypDr
今天,我们将重点介绍八爪鱼客户端中的本地采集功能,这包括普通模式和加速模式两种不同的操作方式。在这里,我会详细讲解如何通过这两种模式进行数据采集,让你能根据自己的需求选择合适的方式。
一、普通模式
首先,你需要根据《自定义入门教程》来配置一个采集任务。配置好任务后,点击页面右上角的“采集”按钮,在弹出的启动选项中选择“普通模式”来启动采集。
默认页面布局
启动采集后,你会看到本地采集的界面。整体界面分为上半部分和下半部分:
- 上半部分:显示当前任务的状态信息,包括已采集到的数据量、重复数据量、采集用时、平均速度等。
- 下半部分:显示当前已采集到的具体数据。
界面右侧有【暂停】和【停止】按钮,分别用来暂停和停止当前运行的任务。
窗口的右上角还提供了【显示网页】选项,点击后可以显示出网页的实际加载和运行情况。
此外,上半部分和下半部分之间还有四个选项卡,分别是【任务概况】、【数据列表】、【任务日志】和【采集历史】。你可以随时切换到对应的内容,查看任务的详细信息。
各个选项卡的功能
- 任务概况:这个页面可以让你查看当前任务的详细信息,包括开始时间、结束时间、去重后的数据量、验证码使用情况、代理IP使用情况、异常链接数量以及任务的定时启动和定时导出情况。
- 任务日志:在这个页面,你可以看到任务的执行步骤。若你勾选右侧的“只显示错误日志”,则可以仅查看出现问题的步骤,方便你定位并解决问题。你还可以将日志导出为文本文件,以便日后查看。
- 采集历史:显示当前任务最近几次本地采集的记录。在这里,你可以将采集的数据按批次备份到云端,或者直接导出数据。你还可以设置自动将数据备份到云端。
- 显示网页:点击后,页面会分为两部分。上半部分为网页预览区域,展示网页的实际显示效果,下半部分为数据预览区域,展示采集到的数据。你仍然可以在此切换到其他选项卡查看任务的详细信息。
二、加速模式
如果你需要提升数据采集的效率,可以选择八爪鱼客户端的加速模式。在加速模式下,任务会被拆分为多个子任务并并行运行,从而加速整体采集过程。下面是加速模式下的主要特点和界面介绍。
默认页面布局
加速模式下的界面与普通模式基本相同,区别在于:
- 采集状态区域:除了显示普通模式中的采集状态外,加速模式下还会增加加速状态的提示。
- 停止加速按钮:加速模式下,右侧增加了一个【停止加速】按钮。点击后,当前运行中的所有子任务会依次完成后,后续的子任务就不再加速,恢复到普通模式运行。
任务日志与运行信息
在加速模式下,原本的“任务日志”选项变为了“任务运行信息”:
- 任务运行信息:这个页面显示了各个子任务的拆分情况。你可以看到每个子任务的运行记录,包括开始时间、结束时间、采集耗时、采集数据量和运行状态等。
- 暂停与查看详情:当鼠标移动到某个子任务时,右侧会显示“暂停”和“查看详情”按钮。点击“暂停”会暂停当前子任务的运行,而其他子任务会继续运行。点击“查看详情”则可以查看该子任务的采集详情,包括数据列表和任务日志等内容。
查看子任务的采集详情
查看运行中的子任务的采集详情还有另一个入口:点击采集窗口右上角的“显示网页”选项,你将看到正在运行的所有子任务。点击某个子任务后,你就可以进入该子任务的采集详情页面,查看具体的信息。
三、总结
通过八爪鱼客户端的本地采集功能,你可以灵活选择普通模式或加速模式来进行数据采集。在普通模式下,你可以查看任务的详细信息和采集的进度,而加速模式则通过拆分任务并行处理,加快了数据采集的速度。无论你选择哪种模式,都能高效完成数据采集任务,满足不同规模的需求。如果你需要进行任务调试或小规模采集,普通模式非常适合,而加速模式则适合需要大规模数据采集的场景。希望这篇文章能帮助你更好地理解并使用八爪鱼客户端的本地采集功能,提升你的工作效率。