八爪鱼如何进行京东商品列表采集

如果你在寻找一种高效的方法来采集京东商品数据,八爪鱼客户端提供了一种便捷的方式,帮助你轻松获取京东平台上的商品列表信息。无论是商品名称、价格、评论数还是店铺信息,八爪鱼都能快速抓取,满足你的数据需求。在这篇教程中,我们将详细讲解如何使用八爪鱼采集京东商品列表数据的操作步骤。

八爪鱼采集器官方链接:https://affiliate.bazhuayu.com/7hypDr

采集场景

假设你需要从京东的搜索页面(例如:https://search.jd.com/Search)中提取多个商品列表的数据,包括商品名称、价格、评论数、店铺名称和店铺链接等。八爪鱼能帮助你实现这些需求。

rpa_tutorial_octoparse_case_JD_list_collection_1

采集字段

在京东商品列表采集中,常见的采集字段有:

  • 商品名称
  • 价格
  • 评论数
  • 店铺名称
  • 店铺链接

这些数据可以导出为Excel、CSV、HTML或数据库格式,便于后续的数据分析和处理。

采集步骤

下面是具体的采集步骤,帮助你快速完成京东商品列表的采集:

步骤一:打开网页

在八爪鱼客户端的首页输入框中,输入目标网址(如:https://search.jd.com/Search?keyword=%E9%9E%8B%E5%AD%90)并点击【开始采集】。八爪鱼会自动打开网页。如果该页面需要登录才能查看数据,你需要在网页加载后手动登录,或者在采集流程中设置自动登录步骤。

rpa_tutorial_octoparse_case_JD_list_collection_2

步骤二:批量输入多个并搜索关键词

在京东搜索页面中,你可以通过以下步骤批量输入多个关键词并进行搜索:

  1. 选中京东搜索框,在操作提示框中选择【输入文本】。
  2. rpa_tutorial_octoparse_case_JD_list_collection_3
  3. 点击【批量输入文本】并输入所有要搜索的关键词,如【李宁】、【特步】、【安踏】等。点击确定,八爪鱼会生成一个循环输入文本的步骤。
  4. rpa_tutorial_octoparse_case_JD_list_collection_4
  5. 选中【搜索】按钮,点击【点击一次】来执行搜索操作。
  6. rpa_tutorial_octoparse_case_JD_list_collection_5

请注意,输入的关键词可以根据需要进行替换。一次最多可以输入2万个关键词,建议将多个关键词整理成文档并复制粘贴到八爪鱼中。

步骤三:创建【循环列表】

要从商品列表中提取数据,你需要创建一个【循环列表】。具体操作如下:

  1. 选中页面中的一个商品列表(确保选中整个商品条目,包含所有需要的字段)。
  2. rpa_tutorial_octoparse_case_JD_list_collection_6
  3. 在操作提示框中选择【选中全部子元素】。
  4. rpa_tutorial_octoparse_case_JD_list_collection_7
  5. 点击【选择全部相似组】。
  6. rpa_tutorial_octoparse_case_JD_list_collection_8
  7. 点击【元素中数据内容】,完成【循环-提取数据】的创建。
  8. rpa_tutorial_octoparse_case_JD_list_collection_9

通过上述步骤,你已经创建了一个【循环列表】,八爪鱼会按照循环中的顺序逐个提取每个商品列表中的数据字段。

步骤四:编辑字段

在【数据预览】页面,你可以对字段进行编辑,如删除多余字段、修改字段名称或调整字段顺序等。确保你所需要的数据字段正确无误。

rpa_tutorial_octoparse_case_JD_list_collection_10

步骤五:创建【多页翻页】

如果你需要采集多页商品数据,点击页面中的【下一页】按钮,在操作提示框中选择【循环点击下一页】来创建【循环翻页】。

rpa_tutorial_octoparse_case_JD_list_collection_11

rpa_tutorial_octoparse_case_JD_list_collection_12

这样,八爪鱼会自动点击【下一页】按钮,直到采集完所有页面的数据。

如果只需要采集特定页的数据,可以在八爪鱼中设置翻页的次数,具体操作可以参考【翻页以采集多页数据】教程。

步骤六:设置滚动和修改翻页XPath

京东页面默认只显示前30个商品列表,后续的数据需要滚动加载。你需要设置页面的滚动方式:

  1. 在【点击元素】和【点击翻页】设置页面中,进入【高级设置】。
  2. rpa_tutorial_octoparse_case_JD_list_collection_13
  3. 勾选【页面】,设置滚动方式为【滚动一屏】。
  4. rpa_tutorial_octoparse_case_JD_list_collection_14
  5. 设置【滚动次数】为6次,每次间隔2秒。保存设置后,滚动加载所有商品数据。
  6. rpa_tutorial_octoparse_case_JD_list_collection_15

另外,修改【循环翻页】XPath,确保翻页过程顺利进行。在设置页面中,将XPath修改为://a[@class="pn-next"]/EM[text()="下一页"],这样可以避免翻页时出现问题。

rpa_tutorial_octoparse_case_JD_list_collection_16

步骤七:优化规则

为确保采集顺利进行,可以为【循环列表】和【提取列表数据】设置执行前等待2-4秒,避免请求过于频繁导致页面加载问题。

rpa_tutorial_octoparse_case_JD_list_collection_17

完成后,点击【应用】保存设置。

步骤八:启动采集

最后,点击【采集】并【开始采集】按钮,八爪鱼将自动开始采集数据。

rpa_tutorial_octoparse_case_JD_list_collection_18

采集完成后,你可以选择合适的导出格式,如Excel、CSV、HTML等。

导出数据

在采集完成后,八爪鱼会提供多个数据导出选项。你可以选择将数据导出为Excel文件,便于后续分析或使用。例如,你可以在Excel中查看每个商品的详细信息,如名称、价格、评论数、店铺链接等。

rpa_tutorial_octoparse_case_JD_list_collection_19

特别说明

  • 登录验证:京东平台需要登录才能查看商品详情。采集时,请确保先登录网站,或者在采集过程中设置自动登录步骤。
  • 滚动加载:由于京东页面采用滚动加载,确保设置正确的滚动参数,避免采集不完整。
  • XPath修改:为避免翻页时发生错误,正确设置XPath是必需的。

总结

通过八爪鱼客户端,你可以高效地采集京东商品列表数据,轻松获取商品名称、价格、评论数等信息。只需按照步骤配置并启动采集,八爪鱼会自动帮你完成数据抓取和导出任务。希望本教程能帮助你顺利完成京东商品数据的采集任务,提升工作效率。如果你有任何问题,欢迎随时联系官方客服获取帮助。

阅读全文
RPA
八爪鱼RPA
支持一键抓取公众号/小红书/抖音/淘宝数据
立即查看
流程自动化
付费
AI爆文训练营
图文变现友好赛道,低门槛、高上限,教你从0到1做个赚钱的公众号!
立即查看
躺着赚钱
¥149/年
何老师陪你做副业
这里聚焦AI副业、个人IP、自媒体运营、写作、赚钱案例。不哔哔,只分享有价值的副业项目。
立即查看
AI赚钱案例
限免
DeepSeek进阶教程
带你全面掌握DeepSeek应用技巧。提升工作、学习效率
立即查看
100万人学过
付费
网盘拉新实战教程
每周花费一小时,手把手教你赚网盘平台佣金
立即查看
500人学过
限时优惠
AiPPT
结合最新AI技术,为用户提供一键生成高质量PPT的解决方案。
立即查看
一键生成 PPT
免费
豆包MarsCode
一款免费的AI编程助手,全新支持DeepSeek R1/V3、豆包大模型1.5自由切换,免部署、更准确、更强大!
立即查看
AI编程助手
免费
Monica AI
Monica AI满血复活DeepSeek【免费】,提升您的聊天、搜索、写作和编程体验。
立即查看
一站式 AI 助手
云服务
腾讯云
综合性的云计算服务平台,现已接入DeepSeek,提供多样化的云解决方案
立即查看
高效可靠
云服务
阿里云
全球领先的云计算与数据服务平台,提供云服务器、存储、数据库、安全等多种服务
立即查看
多样化
DeepSeek企业微信码
免费领取DeepSeek资料