
八爪鱼采集,导出到Oracle数据库
大家平时用八爪鱼采集数据,是不是也遇到过这种情况?数据一大堆,但怎么快速导入Mysql数据库呢?一开始我也觉得头疼,后来熟悉了才发现,其实八爪鱼自带导出功能,手动导出也好,定时自动导出也好,流程都超简单。今天就来跟大家聊聊,怎么把八爪鱼采集到的数据,轻松搞定导入Mysql!
八爪鱼采集器官方链接:https://affiliate.bazhuayu.com/7hypDr
手动导出数据到Mysql数据库
适合那种需要自己控制导出时间,或者数据量不是很夸张的情况。云采集也行,本地采集也行,反正都可以手动导出。
Step1:先建好数据库和数据表
首先呢,去你的Mysql数据库里建一个数据库,然后在里面建好表,字段结构最好跟你采集回来的数据对应上。这个别偷懒,后面导出的时候就顺利多了。
Step2:进入任务查看数据
在八爪鱼【我的任务】里,把鼠标移到你的任务上,会看到右侧有一排按钮,点一下【全部】,可以查看所有采集到的数据。这边要注意哈,要点云采集右侧的【全部】,这样才是云端的数据列表。
Step3:点击导出数据
找到【导出数据】的按钮,点进去后,在弹出来的界面上选择【导出所有数据】(当然也可以只导未导出的数据啦,看需求)。然后选择【导出到数据库】里的【Mysql】,再点【确定】,接着就跳到数据库配置界面了。
Step4:配置数据库连接信息
这个界面比较重要,每一项都得填对了才行:
- 服务器名称:你Mysql服务器的IP或者域名
- 端口:Mysql默认是3306,没改过的话就填3306
- 用户名/密码:连接Mysql需要的账号密码
- 数据编码:比如你的数据是中文,就一定要写
utf8
,不然导进去全是乱码可别怪我没提醒 - 数据库名称:选你建好的那个数据库
填完之后可以点【测试连接】,测试一下能不能连上,能连上的话就没问题啦。
Step5:数据字段映射
这一步系统会尝试帮你自动匹配字段,如果源数据字段和目标表字段一模一样的话基本不用动。如果不一样,就要手动一个个对应起来了。
另外,可以设置某个字段为【唯一标识】,这样每次导入的时候,能智能判断是新增数据还是更新已有数据。
如果你以后还会导出类似的数据,建议把这套配置保存下来,比如取个名字叫“测试”,下次直接套用,超级省事。
Step6:开始导出
配置好后直接点【导出】,稍微等一下,提示【导出完成】就OK啦!这时候可以去你的Mysql数据库查一下,看数据是不是乖乖地进来了。
自动导出数据到Mysql数据库
如果你的采集任务是长期运行的,数据源源不断,那手动导出显然太费劲了。这种时候,自动导出就是救星!不过要注意哈,只有云采集的数据才能搞自动导出,而且需要是团队版或者企业版才行。
Step1、Step2:和手动导出的一样
前两步跟手动导出一模一样,就是建好数据库、表,然后去【我的任务】里看数据。
Step3:配置自动导出
这时候在数据页面选择【配置自动导出】-【导出到数据库】-【Mysql】。没错,就是这么直白。
Step4:数据库连接信息
连接Mysql数据库的配置,和手动导出时候一模一样,服务器、端口、用户名、密码、编码、数据库名称,全部要准确填写,然后测试一下连接。
Step5:字段映射+导出计划设置
到了字段映射界面,除了映射字段,这里多了一个【设置执行计划】的功能。
你需要设置:
- 导出计划名称:比如叫“云采集到Mysql”
- 每次间隔:最短是5分钟,也就是说每5分钟自动导一次新数据
这功能真的香!边采集边入库,完全不用自己操心。
Step6:完成配置
点击【完成】,系统会弹出一个【定时入库工具】的小窗口。然后它会立刻执行一次导出,之后就按你设置的时间间隔定时执行啦。
如果想暂停或者启动定时导出,可以去【工具箱】里的【定时入库工具】找到相应的计划进行管理,简单明了。
特别说明,超重要!
- 版本问题:如果你用的是8.7.6以下的版本,那定时入库工具和采集器都不能关闭,不然定时导出会失效。
- 8.7.6及以上版本:更人性化了,支持把定时入库工具托管到云端,哪怕你关了客户端,它也能继续自动导出(不过如果是本地采集,还是得开着导出窗口哦)。
- 云端数据库IP白名单:如果是导出到云端数据库,别忘了加上以下IP到Mysql的白名单:
124.221.35.46
122.51.45.102
122.152.208.218
106.54.50.104
175.24.175.60
这些IP要加进去,不然数据库根本连不上,尴尬了就。
我的使用感受
感觉嘛,八爪鱼导出数据到Mysql是真的方便,手动导出的话照着步骤走,几分钟搞定;自动导出更香,特别是对于那种每天都有大量采集任务的人,简直是效率神器。而且配置一次之后基本不用管它了,省心又高效。如果你还在手动一个个地拷贝粘贴数据,那真的是太落伍了,赶紧上车试试看吧!