八爪鱼采集,导出到Oracle数据库

大家平时用八爪鱼采集数据,是不是也遇到过这种情况?数据一大堆,但怎么快速导入Mysql数据库呢?一开始我也觉得头疼,后来熟悉了才发现,其实八爪鱼自带导出功能,手动导出也好,定时自动导出也好,流程都超简单。今天就来跟大家聊聊,怎么把八爪鱼采集到的数据,轻松搞定导入Mysql!

八爪鱼采集器官方链接:https://affiliate.bazhuayu.com/7hypDr

手动导出数据到Mysql数据库

适合那种需要自己控制导出时间,或者数据量不是很夸张的情况。云采集也行,本地采集也行,反正都可以手动导出。

Step1:先建好数据库和数据表

首先呢,去你的Mysql数据库里建一个数据库,然后在里面建好表,字段结构最好跟你采集回来的数据对应上。这个别偷懒,后面导出的时候就顺利多了。

Step2:进入任务查看数据

在八爪鱼【我的任务】里,把鼠标移到你的任务上,会看到右侧有一排按钮,点一下【全部】,可以查看所有采集到的数据。这边要注意哈,要点云采集右侧的【全部】,这样才是云端的数据列表。

Step3:点击导出数据

找到【导出数据】的按钮,点进去后,在弹出来的界面上选择【导出所有数据】(当然也可以只导未导出的数据啦,看需求)。然后选择【导出到数据库】里的【Mysql】,再点【确定】,接着就跳到数据库配置界面了。

rpa_tutorial_octoparse_guide_Export_MySQL_database_1

Step4:配置数据库连接信息

这个界面比较重要,每一项都得填对了才行:

  • 服务器名称:你Mysql服务器的IP或者域名
  • 端口:Mysql默认是3306,没改过的话就填3306
  • 用户名/密码:连接Mysql需要的账号密码
  • 数据编码:比如你的数据是中文,就一定要写utf8,不然导进去全是乱码可别怪我没提醒
  • 数据库名称:选你建好的那个数据库

填完之后可以点【测试连接】,测试一下能不能连上,能连上的话就没问题啦。

Step5:数据字段映射

这一步系统会尝试帮你自动匹配字段,如果源数据字段和目标表字段一模一样的话基本不用动。如果不一样,就要手动一个个对应起来了。

另外,可以设置某个字段为【唯一标识】,这样每次导入的时候,能智能判断是新增数据还是更新已有数据。

如果你以后还会导出类似的数据,建议把这套配置保存下来,比如取个名字叫“测试”,下次直接套用,超级省事。

rpa_tutorial_octoparse_guide_Export_MySQL_database_2

Step6:开始导出

配置好后直接点【导出】,稍微等一下,提示【导出完成】就OK啦!这时候可以去你的Mysql数据库查一下,看数据是不是乖乖地进来了。

自动导出数据到Mysql数据库

如果你的采集任务是长期运行的,数据源源不断,那手动导出显然太费劲了。这种时候,自动导出就是救星!不过要注意哈,只有云采集的数据才能搞自动导出,而且需要是团队版或者企业版才行。

Step1、Step2:和手动导出的一样

前两步跟手动导出一模一样,就是建好数据库、表,然后去【我的任务】里看数据。

Step3:配置自动导出

这时候在数据页面选择【配置自动导出】-【导出到数据库】-【Mysql】。没错,就是这么直白。

rpa_tutorial_octoparse_guide_Export_MySQL_database_3

Step4:数据库连接信息

连接Mysql数据库的配置,和手动导出时候一模一样,服务器、端口、用户名、密码、编码、数据库名称,全部要准确填写,然后测试一下连接。

Step5:字段映射+导出计划设置

到了字段映射界面,除了映射字段,这里多了一个【设置执行计划】的功能。

你需要设置:

  • 导出计划名称:比如叫“云采集到Mysql”
  • 每次间隔:最短是5分钟,也就是说每5分钟自动导一次新数据
  • rpa_tutorial_octoparse_guide_Export_MySQL_database_4

这功能真的香!边采集边入库,完全不用自己操心。

Step6:完成配置

点击【完成】,系统会弹出一个【定时入库工具】的小窗口。然后它会立刻执行一次导出,之后就按你设置的时间间隔定时执行啦。

如果想暂停或者启动定时导出,可以去【工具箱】里的【定时入库工具】找到相应的计划进行管理,简单明了。

rpa_tutorial_octoparse_guide_Export_MySQL_database_5

特别说明,超重要!

  • 版本问题:如果你用的是8.7.6以下的版本,那定时入库工具和采集器都不能关闭,不然定时导出会失效。
  • 8.7.6及以上版本:更人性化了,支持把定时入库工具托管到云端,哪怕你关了客户端,它也能继续自动导出(不过如果是本地采集,还是得开着导出窗口哦)。
  • 云端数据库IP白名单:如果是导出到云端数据库,别忘了加上以下IP到Mysql的白名单:
    
124.221.35.46
122.51.45.102
122.152.208.218
106.54.50.104
175.24.175.60

这些IP要加进去,不然数据库根本连不上,尴尬了就。

我的使用感受

感觉嘛,八爪鱼导出数据到Mysql是真的方便,手动导出的话照着步骤走,几分钟搞定;自动导出更香,特别是对于那种每天都有大量采集任务的人,简直是效率神器。而且配置一次之后基本不用管它了,省心又高效。如果你还在手动一个个地拷贝粘贴数据,那真的是太落伍了,赶紧上车试试看吧!

阅读全文
RPA
八爪鱼RPA
支持一键抓取公众号/小红书/抖音/淘宝数据
立即查看
流程自动化
付费
AI爆文训练营
图文变现友好赛道,低门槛、高上限,教你从0到1做个赚钱的公众号!
立即查看
躺着赚钱
¥149/年
何老师陪你做副业
这里聚焦AI副业、个人IP、自媒体运营、写作、赚钱案例。不哔哔,只分享有价值的副业项目。
立即查看
AI赚钱案例
限免
DeepSeek进阶教程
带你全面掌握DeepSeek应用技巧。提升工作、学习效率
立即查看
100万人学过
付费
网盘拉新实战教程
每周花费一小时,手把手教你赚网盘平台佣金
立即查看
500人学过
限时优惠
AiPPT
结合最新AI技术,为用户提供一键生成高质量PPT的解决方案。
立即查看
一键生成 PPT
免费
豆包MarsCode
一款免费的AI编程助手,全新支持DeepSeek R1/V3、豆包大模型1.5自由切换,免部署、更准确、更强大!
立即查看
AI编程助手
免费
Monica AI
Monica AI满血复活DeepSeek【免费】,提升您的聊天、搜索、写作和编程体验。
立即查看
一站式 AI 助手
云服务
腾讯云
综合性的云计算服务平台,现已接入DeepSeek,提供多样化的云解决方案
立即查看
高效可靠
云服务
阿里云
全球领先的云计算与数据服务平台,提供云服务器、存储、数据库、安全等多种服务
立即查看
多样化
DeepSeek企业微信码
免费领取DeepSeek资料