淘宝搜索词分析，怎样判断采集是否遗漏
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /62ede396a094.html
📄
淘宝搜索词分析，怎样判断采集是否遗漏
判断采集是否遗漏，不能只看总数够不够，而要把最终交付的搜索词表与来源页、采集时间、分页规则、筛选条件和去重逻辑逐项对照。只要有一项对不上，就可能存在遗漏；能复现的对照结果才算证据。
从交付结果倒推需要保留哪些资料
交付物通常是一张搜索词表，字段包括词、出现位置、采集时间、来源页或入口、备注。要判断遗漏，至少保留四类资料：原始页面或接口返回、采集任务配置、去重与清洗记录、最终词表。缺少原始返回，只能怀疑，无法定位。
- 原始返回：每个来源页的完整内容或响应，能核对词是否真的出现过。
- 任务配置：关键词、时间范围、类目、排序方式、翻页上限。
- 清洗记录：去重规则、停用词、大小写与空格处理。
- 最终词表：字段完整，能反向查到每个词的来源。
如果最终词表没有来源字段，先补这一项，再谈遗漏。没有来源，任何差异都无法归因。
用分层抽样核对，而不是只比总数
把来源按时间、类目、页面类型分层，每层抽若干页，逐页人工核对词是否出现在最终表里。抽样要覆盖首屏、深翻页、筛选后结果和不同入口。
- 选一层，例如某类目下按销量排序的前三页。
- 记录该层来源页中实际出现的搜索词。
- 在最终词表中检索这些词，标记命中与缺失。
- 对缺失词回查原始返回，确认是采集没拿到，还是清洗时被删。
判断结果：若缺失集中在深翻页，可能是翻页上限或加载方式问题；若集中在筛选后页面，可能是参数未带上；若原始返回里有、最终表没有，问题在清洗或去重。
检查分页、筛选与去重三个高发环节
遗漏常发生在三个环节。分页方面，确认翻页是否到末页，是否依赖滚动加载，是否因请求间隔被限制。筛选方面，确认类目、价格、地区、排序参数是否与任务目标一致。去重方面，确认是否把不同来源的同名词误合并，是否把带空格或符号的词当成重复删除。
可以用一个小例子核对：假设某来源页有“连衣裙 夏”和“连衣裙夏”两个词，去重规则若忽略空格，就会只剩一个。这时最终表少一个词，但原始返回里两个都在，说明是去重口径造成的遗漏，不是采集没抓到。
适用条件：该方法适合有原始返回或可复现页面的情况。若来源页已变化且无存档，只能记录为无法核验，不能直接判定遗漏。
把结论写成可验收的检查项
验收时逐项打勾：来源页是否覆盖任务范围；翻页是否到边界；筛选参数是否记录；原始返回是否留存；去重规则是否可解释；缺失词是否能回溯到具体环节。每项给出通过或不通过，并附证据位置。
只有证据链完整，才能说“已定位遗漏原因”；否则只能写“疑似遗漏，待补采验证”。下一步是选一个缺失最集中的分层，补采该层并重新对照，确认修复后缺失是否消失。
