EasySpider教程：EasySpider不定长，字段名不同的列表如何采集

在网络爬虫中，我们时常遇到这样的问题：列表中的字段名不同、数量不定，如何能有效采集这些不规则的数据呢？如果你也有类似的困惑，那这篇教程可以帮你解决问题。今天我们将使用EasySpider，通过灵活定义变量字段名和循环条件判断来采集不定长且字段名不同的列表数据。

1. 场景描述

假设你要采集一些网页中的数据，字段名和数量在不同的列表中各不相同。比如：

列表1有3个字段：品牌、厂商、价格。
列表2有4个字段：品牌、代工厂、价格、券后价。
列表3有5个字段：品牌、代工厂、价格、特点、活动。

我们希望把每个字段名（如“品牌”、“价格”）作为字段名，值作为该字段的内容输出，并且每个列表输出为一条数据。

2. 解决方案

为了解决这种字段名和字段数量不定的问题，我们可以采用EasySpider中的循环和条件判断来灵活处理。具体步骤如下：

3. 操作步骤

确定不定长的字段数量

首先，你需要确定在所有列表中，最多可能会有多少个字段。假设最多有5个字段，那么我们可以预先定义这5个字段名：品牌、代工厂、价格、特点、活动。

添加循环操作

在EasySpider的任务流程图中，添加一个循环，循环的类型设置为“不固定元素列表”，其XPath值为//div，表示会遍历所有的<div>元素。

添加条件判断

在循环内部，为每一个可能的字段添加条件判断。每个条件分支根据字段名进行条件判断，判断当前循环项是否包含特定的字段名（如“品牌”、“价格”）。

提取数据

在每个条件分支中，添加一个提取数据的操作。字段名称设置为相应的字段名（如“品牌”、“代工厂”）。在提取数据的XPath中，勾选“使用相对循环内的XPATH”，具体的XPath值设置为//span[2]，用于提取第二个<span>中的数据。

取消生成新数据行

为了确保每个列表输出为一条完整的数据，在所有的提取数据操作中，取消勾选“此提取数据操作后生成新数据行”的选项。

添加自定义操作

在循环的最后，添加一个自定义操作，类型为eval，值为"页面已完成采集"。勾选“是否将执行后的输出/返回值作为字段记录”，以便将所有之前提取的字段值合并输出为一条数据。

4. 代码示例

以下是整个实现的伪代码逻辑：

    python
    # 遍历每个div元素
for div in div_elements:
    if '品牌' in div:
        brand = div.find_element_by_xpath('//span[2]').text
    elif '代工厂' in div:
        factory = div.find_element_by_xpath('//span[2]').text
    elif '价格' in div:
        price = div.find_element_by_xpath('//span[2]').text
    elif '特点' in div:
        features = div.find_element_by_xpath('//span[2]').text
    elif '活动' in div:
        promotions = div.find_element_by_xpath('//span[2]').text

# 最终将这些字段整合为一条完整的数据记录