结论先说:当页面数量增长到人工无法逐页核对时,应该停止手工做的是逐页重复的元数据填写、内链位置挑选、索引状态逐个查询、失效链接逐个确认这四类工作;而标题策略、栏目划分、内容取舍、异常原因判断仍应保留人工。判断分界线不是站点有多大,而是同一类操作是否已经变成可描述的规则,以及手工执行一次需要多久。
假设一个做设备配件的内容站,早期只有三百个产品页和两百篇说明文章,编辑每周手工检查一遍标题、描述和内链,顺手就能发现哪个页面没被收录。后来产品线扩充,页面涨到四万,其中大量是同一模板生成的规格页。此时如果还沿用逐页手工的方式,编辑一周只能覆盖几百页,剩下三万九千多页的重复问题会一直存在。
这个情境的关键变化不是工作量变大,而是页面之间的差异变小了。当大量页面共享同一套字段和同一套模板时,人工逐页处理就不再产生额外判断价值,只是在重复执行一条已经确定的规则。反过来,那些需要结合业务判断的部分,比如某个栏目是否值得保留、某类规格页是否应该合并,依然不能交给规则批量决定。
标题和描述如果已经能按“品类 + 型号 + 用途”这类结构拼出来,就不该继续一页页手打。手工填写的风险不是慢,而是不一致:同一个人隔一周填同一个字段,用词都会漂移。改为由字段规则生成后,编辑的工作从“填写”变成“抽查”,重点看生成结果里有没有语义重复、有没有把不相关的词拼在一起。
动作与结果:先导出所有页面的标题和描述,按模板分组,找出每组里字段组合相同的页面。如果某一组内超过少量页面结构完全一致,就说明这组适合规则生成;如果组内差异很大,说明还需要人工判断,先不动。
少量页面时,人工决定“这篇指向哪篇”是合理的,因为编辑知道哪两篇内容真正相关。页面过万后,人工内链通常退化成两种结果:要么只覆盖了首页和少数重点页,要么大量链接都指向同一批页面。此时应改为按主题聚类建立链接规则,例如同型号的说明页互链、同品类的对比页互链,再由人工检查聚类是否合理。
这里要区分两件事:链接规则可以自动化,聚类边界不能。如果聚类本身把不相关的页面归到一起,自动生成的内链只会把错误放大。所以先确认聚类结果,再执行批量插入。
逐页查收录情况在几百页时可行,在几万页时既耗时又容易得出错误结论。更实际的做法是按模板和目录抽样,观察同一批页面的索引比例。需要提醒的是,索引数量下降或抓取量归零,不能单独证明某次改动正确或错误,它也可能是站点结构调整、页面合并、服务器响应变化造成的。抽样时要同时看页面是否仍在站内可达、是否被规则屏蔽。
页面规模大之后,链接失效往往成批出现,来源是栏目调整或产品下线。逐个点开确认没有意义,应改为按来源目录和链接目标类型批量筛查,只把无法自动判断的少数条目交给人。人工保留的部分是:这个旧地址是否还有外部引用价值、应该重定向到新页还是返回失效状态。
第一类是页面是否应该存在。规格页大量生成后,常见问题是同一产品被拆成多个只有参数微差的页面。是否合并、是否保留,取决于用户是否真的会分别搜索这些差异,这需要业务判断。
第二类是异常原因的判断。发现某目录索引比例偏低时,可能是内容质量、可能是内链不足、可能是模板把正文渲染得太浅。规则只能告诉你“偏低”,不能告诉你为什么。
第三类是优先级排序。哪些栏目先改、哪些先放着,取决于业务收益和改动成本,不是规则能算出来的。
这套步骤的核心是:先证明规则能稳定复现人的判断,再替换手工。跳过验证直接批量执行,通常会把原本零散的小问题变成全站一致的大问题。
自动化不是单向的。如果发现某个目录的页面在规则生成后出现大量语义重复,或者聚类把不同用途的页面混在一起,就应该把这一部分退回人工处理,直到能重新描述出稳定的规则。规模扩大改变的是执行方式,不改变判断本身仍需有人负责这一事实。