八爪鱼采集循环下拉框

在数据采集过程中,很多网站都使用下拉框来进行筛选和条件选择,特别是当一个网页包含多个下拉框时,采集过程可能会变得更加复杂。今天,我要分享的是如何使用八爪鱼采集工具,处理这种需要切换多个下拉框的网页,轻松实现条件筛选后的数据采集。

八爪鱼采集器官方链接:https://affiliate.bazhuayu.com/7hypDr

一、创建一个循环下拉框

假设我们要采集的网址是:http://deal.ggzy.gov.cn/ds/deal/dealList.jsp。这个网页有一个包含多个选项的下拉框,用于筛选不同的省份。我们来看看如何用八爪鱼处理这个下拉框。

步骤一:输入网址

首先,我们需要在八爪鱼采集工具的首页输入目标网址,点击【保存网址】。八爪鱼会自动打开网页并加载相应内容。

rpa_tutorial_octoparse_guide_drop_down_box_1

步骤二:建立【循环-切换下拉选项】

接着,选中网页中的【省份】下拉框,在弹出的操作提示框中选择【循环切换下拉列表选项】。在【循环列表】的设置页面中,你会看到下拉框中的33个选项(例如,北京、上海、广州等)都已经列出。此时,你可以选择是否对所有选项进行采集,或者仅选择其中几个进行采集。

rpa_tutorial_octoparse_guide_drop_down_box_2

步骤三:手动验证并搜索

在【循环列表】中,选择【北京】选项,并点击【切换下拉选项】按钮。你会看到浏览器中的【省份】下拉框会被自动切换为【北京】。此时,点击页面上的【搜索】按钮,等待页面显示相应的搜索结果。这样,你就完成了下拉框筛选和数据展示的过程。

rpa_tutorial_octoparse_guide_drop_down_box_3

步骤四:提取数据

完成筛选后,你可以选择提取下拉框中的当前文本(例如“北京”)和相应的搜索记录数。根据需求,你还可以选择提取页面上的其他数据,如搜索结果列表、日期等字段。完成配置后,八爪鱼会自动采集这些数据。

rpa_tutorial_octoparse_guide_drop_down_box_4

步骤五:再次手动验证

为了确保流程正常运行,选择【天津】或【山西】作为筛选条件,进行手动验证。你会发现,每个省份的下拉选项都会对应相应的搜索结果,整个流程正常运行。

rpa_tutorial_octoparse_guide_drop_down_box_5

步骤六:优化采集规则

如果网页使用AJAX加载搜索结果,八爪鱼默认的AJAX超时时间为1秒。由于某些网页的加载速度较慢,可能需要将超时时间调整为更长的时间,例如10秒。你可以根据实际情况,调整超时设置,以确保采集的数据准确无误。

rpa_tutorial_octoparse_guide_drop_down_box_6

步骤七:启动采集

一切准备好后,点击启动采集任务。八爪鱼会按照你设置的规则,自动切换下拉框选项并采集相应数据。你可以轻松查看采集结果,确保每个下拉选项都能正确获取对应的数据。

rpa_tutorial_octoparse_guide_drop_down_box_7

二、创建多个循环下拉框

有时候,网页上会包含多个下拉框,如何在八爪鱼中处理多个下拉框的循环呢?下面,我们来看一下如何操作。

步骤一:创建多个循环下拉框

打开目标网页后,选中第一个下拉框【省份】,在操作提示框中点击【循环切换下拉列表选项】生成【循环列表】。接着,选择第二个下拉框【来源平台】同样进行设置,生成【循环列表2】。这样,你就创建了两个下拉框的循环操作。

rpa_tutorial_octoparse_guide_drop_down_box_8

步骤二:手动验证

手动执行规则时,两个【循环-切换下拉选项】之间能够联动,保证流程正常运行。即便网页中存在多个下拉框,八爪鱼的循环下拉框功能也能够顺利处理。

rpa_tutorial_octoparse_guide_drop_down_box_9

步骤三:配置规则

配置好下拉框循环后,根据需要设置字段提取规则,确保采集到你需要的所有数据。每个下拉框的选项会在循环操作中逐一切换,确保每种条件下的数据都能被采集到。

rpa_tutorial_octoparse_guide_drop_down_box_10

小贴士:定制XPath以选择特定下拉选项

如果你只想采集某些特定的选项,例如只想采集【北京】和【河北】的下拉框内容,可以手动修改XPath。八爪鱼默认生成的XPath会覆盖所有下拉选项,但你可以通过修改XPath,定位到单独的选项,如:

  • 北京://SELECT[@id="provinceId"]/OPTION[text()='北京']
  • 河北://SELECT[@id="provinceId"]/OPTION[text()='河北']

将修改后的XPath复制到八爪鱼中,进行相应调整,就能只采集指定的选项。

使用感受

使用八爪鱼采集工具处理下拉框数据,给我带来了非常高效的体验。对于包含多个筛选条件的网页,通过循环下拉框的设置,能够快速切换各个选项并准确获取数据。尤其是在需要处理大量数据时,八爪鱼的云采集和AJAX超时调整功能,让整个过程更加顺畅和高效。

如果你也需要处理类似的下拉框筛选任务,八爪鱼绝对是一个值得推荐的工具。它不仅操作简单,而且功能非常强大,能够帮助你轻松完成各种数据采集工作。

阅读全文
RPA
八爪鱼RPA
支持一键抓取公众号/小红书/抖音/淘宝数据
立即查看
流程自动化
付费
AI爆文训练营
图文变现友好赛道,低门槛、高上限,教你从0到1做个赚钱的公众号!
立即查看
躺着赚钱
¥149/年
何老师陪你做副业
这里聚焦AI副业、个人IP、自媒体运营、写作、赚钱案例。不哔哔,只分享有价值的副业项目。
立即查看
AI赚钱案例
限免
DeepSeek进阶教程
带你全面掌握DeepSeek应用技巧。提升工作、学习效率
立即查看
100万人学过
付费
网盘拉新实战教程
每周花费一小时,手把手教你赚网盘平台佣金
立即查看
500人学过
限时优惠
AiPPT
结合最新AI技术,为用户提供一键生成高质量PPT的解决方案。
立即查看
一键生成 PPT
免费
豆包MarsCode
一款免费的AI编程助手,全新支持DeepSeek R1/V3、豆包大模型1.5自由切换,免部署、更准确、更强大!
立即查看
AI编程助手
免费
Monica AI
Monica AI满血复活DeepSeek【免费】,提升您的聊天、搜索、写作和编程体验。
立即查看
一站式 AI 助手
云服务
腾讯云
综合性的云计算服务平台,现已接入DeepSeek,提供多样化的云解决方案
立即查看
高效可靠
云服务
阿里云
全球领先的云计算与数据服务平台,提供云服务器、存储、数据库、安全等多种服务
立即查看
多样化
DeepSeek企业微信码
免费领取DeepSeek资料