SEO友好域名：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /185fc451b00c.html
📄
SEO友好域名：批量页面只有一部分被发现时怎样划分对照组
先把“被发现”拆成两个可分别观察的层次：一是抓取，二是进入索引。批量页面只出现一部分时，不要急着改域名结构，而要先按URL分组做对照，把“未被发现”的范围缩到某个目录、某类模板或某批外链来源上。划分对照组的核心不是随机抽样，而是让两组之间只差一个变量，例如只差内链入口、只差站点地图提交、或只差robots.txt允许范围。
两种条件决定对照组怎么分
如果页面来自同一套模板、同一批上线时间，只是入口位置不同，对照组应按“是否从可抓取的内链到达”来分。把有站内链接指向的页面列为A组，把只能靠站点地图或外部链接到达的页面列为B组。这个分法能直接回答：是抓取预算没走到，还是页面本身被判定为低价值。
如果页面来自不同目录或不同旧系统，且模板、语言、参数规则都不同，对照组就不能只按入口分。此时先按“URL规则是否一致”分：规则一致的目录内部对比，规则不一致的目录单独成组。否则模板差异会掩盖入口差异，得出的结论无法指导下一步。
两种条件都成立时，优先做入口对照，因为入口是你能直接改的动作；URL规则差异属于结构性原因，改动成本高，适合在入口对照排除后再处理。
用可区分的原因证据缩小范围
划分完组后，分别记录四类证据：抓取日志中该组URL的响应码与抓取频次、站点地图中该组URL的提交与读取情况、内链中指向该组URL的数量与位置、以及外部链接中指向该组URL的域名数。这四类证据的作用是区分原因，而不是证明结果。
- 若A组被抓取而B组从未被抓取，且B组内链数为零，优先怀疑入口不足，而不是页面质量。
- 若两组都被抓取，但只有A组进入索引，优先检查B组是否被robots.txt限制、是否有noindex、或内容是否高度重复。
- 若两组抓取频次接近，但B组集中在某一目录，优先检查该目录是否被参数、分页或会话ID稀释。
- 若站点地图显示B组已提交但抓取日志中没有对应记录，说明提交不等于被抓取，需要另找入口或外链。
这里要明确：robots.txt的抓取限制不等于可靠的索引移除，它只约束抓取行为；站点地图不保证收录；HTTPS也不保证安全无漏洞或排名。这些现象只能作为线索，不能单独作为判断依据。
一个假设例子：按内链入口分组并做一次动作
假设某旧内容目录有500个页面，其中约80个被索引。先按“是否有至少一条来自栏目页的站内链接”分成两组：有链接的约60个，无链接的约440个。检查抓取日志后发现，有链接组近30天被抓取过，无链接组几乎没有抓取记录。
此时只做一个动作：在仍然有价值的旧页面中，挑选与现有栏目主题相关的部分，从栏目页或相关文章正文中加入一条上下文内链，不批量堆砌页脚链接。动作后观察两件事：该组URL是否在后续抓取日志中出现，以及出现后是否进入索引。如果抓取出现但索引仍未出现，下一步转向内容重复或模板问题；如果抓取仍未出现，下一步检查该目录是否被robots.txt或参数规则挡住。这个顺序能避免在入口问题未排除前就大改URL结构。
实施动作与例外
实施时按组记录改动前后的抓取与索引状态，不要只记录总数。每组至少保留一个未改动的对照子集，否则无法区分是改动起作用还是整体波动。对照子集应满足：与实验组同模板、同目录、同上线时间，仅入口不同。
例外有三种。第一，若该批页面本身需要退出，不应再为它们建入口，直接按退出流程处理，保留仍然有价值的部分单独分组。第二，若页面涉及多语言或多地区，同一URL规则下不同语言版本应各自成组，不能混在一起比较。第三，若页面依赖外部合作方链接，外部链接不可控，应把外部链接作为单独变量，不与内链改动混在同一组里评估。
最后，不同搜索引擎对站点地图、robots.txt和索引处理的支持情况不同，须分别核查。对照组的结论只在对应搜索引擎和对应目录范围内成立，不能直接外推到全站。
