📍 WDQWDWQD987AAAAA:216.73.216.136
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /099a326be430.html
📄

火车头采集规则资源有限先处理哪些问题-先保字段与唯一键，再谈翻页

资源有限时，火车头采集规则不要平均用力。判断顺序只有一个：哪一处出错会让整批数据无法交付。通常先处理列表页与内容页的字段对应、唯一键和去重，再处理翻页与增量；最后才调清洗、替换和发布映射。因为字段错会导致整批作废，翻页少几页只是数量不足，返工成本完全不同。

从交付结果倒推规则必须覆盖的环节

先写下最终要交付什么：标题、正文、发布时间、来源地址、分类，还是包含附件地址。每一项都对应一条采集规则和一个验收检查。假设要交付一张可导入的内容表，那么必需资料是列表页链接、内容页字段、唯一标识；必需任务是抓列表、进详情、抽字段、去重、导出；责任是规则维护者与验收者；验收标准是字段非空率、重复率和抽样准确率。资源不足时，任何不参与交付的装饰性字段都可以先删掉。

优先处理字段对应与唯一键

字段对应错，后面所有优化都没有意义。检查时打开一条真实内容页，逐项确认标题、正文、时间是否落在正确的采集标签上，并确认列表页与内容页之间没有串位。唯一键优先选详情页地址；如果没有稳定地址，再用“标题+发布时间”组合，但要接受标题重复带来的误判。判断结果很直接：抽样十条，若标题与正文不对应，先修字段；若字段正确但重复多，先修唯一键与去重。

翻页与增量采集的取舍

翻页规则决定能拿多少条，增量决定以后还要不要重跑。资源有限时，先确认第一页能稳定抓取，再补翻页；如果目标站点内容更新频繁，再考虑按时间或按地址去重做增量。对比依据是返工成本：翻页失败通常只影响数量，可以补抓；唯一键缺失会让新旧数据混在一起，清理成本更高。适用条件是数据量小、更新慢时，可以先全量抓取再人工去重；数据量大、更新快时，必须先把唯一键和增量判断做对。

可以执行的最小检查清单

1. 取一条列表页记录，确认能进入对应内容页。
2. 在内容页标记标题、正文、时间三个字段的采集位置。
3. 导出十条数据，检查字段是否错位、是否为空。
4. 用详情页地址做唯一键，统计重复条数。
5. 只在这五项通过后，再补翻页、替换和发布映射。

如果时间只够做一件事，就做第三步的十条抽样。它同时暴露字段错位、编码异常和空值问题，比盲目调翻页更快定位交付风险。

发布映射与清洗放到最后

清洗规则、HTML标签处理和发布映射属于交付前的适配层。它们重要，但前提是原始字段已经正确。若原始正文里混入导航文字，先修采集范围，而不是写更多替换规则；若发布后格式错乱，先核对字段与目标字段的对应关系，再考虑过滤标签。把清洗放在字段与唯一键之后，可以避免在错误数据上反复调整规则。

下一步：拿十条已抓取数据做一次字段与唯一键核对，把不通过的项目排在翻页和清洗之前处理。