
八爪鱼采集,导出到Oracle数据库
你平时在用八爪鱼采集数据的时候,是不是也经常会想,数据采完了怎么快速直接导入到Oracle数据库里?其实啊,八爪鱼本身就自带了这个功能,不仅可以手动导出,还可以设置定时计划自动导出,真的蛮方便的!今天我就按照自己的理解,给大家聊聊整个操作流程,顺便告诉你一些注意事项,确保一次就能搞定。
八爪鱼采集器官方链接:https://affiliate.bazhuayu.com/7hypDr
准备工作:安装Oracle依赖组件
首先呢,不管你是打算手动导出还是自动导出,在动手之前,都得先把Oracle依赖组件安装好,不然点击【导出到Oracle】的时候,它会直接弹个框提醒你“缺少依赖组件”,怪尴尬的对吧。
具体操作步骤也不难:
Step1:先去官网下载Oracle依赖组件的ZIP文件,记得选对版本哈,64位系统的话可以直接戳这个链接下载:Oracle Instant Client 64位下载地址
Step2:下载下来之后,别偷懒,解压到本地某个固定位置,比如 D:\instantclient_19_6,这个路径一会儿要用到。
Step3:设置一下环境变量。
右键【此电脑】→【属性】→【高级系统配置】→【环境变量】→找到【Path】→点击【新建】,把刚才的文件夹路径复制进去(比如 D:\instantclient_19_6),然后一路点确定保存就行了。
特别说明一下,如果你配置完环境变量了,还是提示缺组件,那就重启一下八爪鱼客户端,很可能就正常了。
搞定这步之后,接下来就可以开始愉快地把数据倒到Oracle数据库了。
手动导出到Oracle数据库的具体步骤
如果你喜欢自己手动掌控导出过程,那么就继续往下看啦。
Step1:首先呢,要确保Oracle数据库里已经建好你要导入的数据表,没有的话要提前准备好。
Step2:打开八爪鱼,在【我的任务】里,把鼠标移到你想导出数据的任务上,右边会出现个【全部】按钮,点进去就能看到采集到的数据了。
Step3:在数据页面选择【导出数据】,选择【导出所有数据】或者【未导出数据】都可以,然后选【导出到数据库】-【Oracle】,点击【确定】进入下一步配置。
Step4:到了数据库配置界面,老老实实填好这些信息哈:
- 服务器名称:Oracle服务器地址
- 端口:Oracle实例的端口
- 用户名&密码:你登录Oracle用的账户密码
- 表所属用户:数据表归属的用户
- 数据库名称:选已有的数据库名称
填完后记得点【测试连接】看看能不能连通。如果连不上,八成是信息填错了,检查一下就好。
Step5:接着就进入到字段映射界面了,这里让源数据和目标数据表字段对一下。如果字段名字一样,它会自动匹配;如果不一样,就手动选一下吧。
而且你还可以勾选某个字段为【唯一标识】,这样的话以后导入的时候能判断是新增记录还是更新原有记录。
如果你怕麻烦,每次都要重新配置,可以把这套配置保存下来,起个名字,以后直接用现成的。
Step6:最后点击【导出】,耐心等等,系统提示【导出完成】就代表搞定啦!
这时候你就可以去Oracle数据库里查查数据,是不是已经整整齐齐地躺在那儿了,超有成就感有木有~
自动导出到Oracle数据库的具体步骤
如果你懒得每次都手动操作,其实八爪鱼也支持自动导出,特别是对于云采集数据来说,特别香!
步骤其实跟手动导出差不多,就是在一些地方多了点小操作:
Step1&Step2:和手动导出一样,先准备好Oracle数据库和数据表。
Step3:在八爪鱼里选择【配置自动导出】-【导出到数据库】-【Oracle】,点进去设置。
Step4:填数据库连接信息,跟手动导出那一套一模一样,不重复啰嗦了。
Step5:到了字段映射界面后,会多出来一个【设置执行计划】的小选项。
这里可以设置一个导出计划名称,设置每次导出的间隔时间(最短5分钟一次)。
Step6:配置完成后点击【完成】,系统会弹出一个【定时入库工具】窗口,启动它之后,系统就会马上跑一次导出,以后就按照设定好的时间间隔,自动帮你导数据啦。
如果你要管理这些计划,可以去【工具箱】-【定时入库工具】里找到它们,随时启动、暂停都可以,操作起来特别自由。
不过呢,如果你在用的是8.7.6以下版本,那得记得客户端和定时入库工具都要开着,不然定时导出功能就废了;8.7.6及以上的新版本就更方便了,支持云端托管,即使关掉客户端,也能自动导数据,但需要加几个IP到你的Oracle服务器白名单里(这些IP我帮你列好啦):
- 124.221.35.46
- 122.51.45.102
- 122.152.208.218
- 106.54.50.104
- 175.24.175.60
如果遇到导出失败,比如提示“Cannot read property 'xxxx' of undefined”或者“Cannot locate a 64-bit Oracle Client”,可以参考这篇解决方案:出错日志解决办法
我的感觉是
整体用下来,八爪鱼的导出到Oracle功能其实挺顺手的,只要第一次配置对了,后面不管是手动还是自动,都基本不用操心,而且导出的速度也挺快,稳定性也不错。尤其是定时导出功能,真的很适合需要持续更新数据的小伙伴们,省事又高效。
如果你也在用八爪鱼采数据,又正好需要把数据倒到Oracle数据库里,那真的可以试试看,不难,而且很实用!