4.2 KiB
4.2 KiB
日志分析模板（收录推进版）
适用场景：
- GPT 站群 sitemap 提交后
- 观察蜘蛛是否开始回访
- 观察是否从首页抓取进入搜索 / 详情 / 播放深页
- 对比缓存刷新前后是否影响蜘蛛命中
1. 基本信息
- 日期：
- 分析人：
- 分析范围：
- 单域名 / 多域名
- 日志时间窗口：
- 例如：
2026-04-17 00:00:00 ~ 2026-04-17 23:59:59
- 例如：
- 关联动作：
- 是否刚提交 sitemap
- 是否刚清缓存
- 是否刚上线模板修复
2. 本轮关注域名
domain-a.comdomain-b.comdomain-c.com
如果是全量分析，建议先列“重点关注域名”，不要一上来把所有域名混在一起。
3. 本轮关注目标
至少写清楚这次日志分析想回答什么：
- sitemap 是否开始被抓？
- 搜索页是否开始被回访？
- 详情页是否开始出现命中？
- 播放页是否开始出现命中？
- 是否仍有旧 404 路径被反复访问？
- 缓存刷新后蜘蛛是否开始命中新 HTML？
4. 蜘蛛来源概览
建议按蜘蛛类型记录：
- 百度蜘蛛
- 必应蜘蛛
- 360 / 搜狗 / 其他中文搜索引擎蜘蛛
- 普通浏览器访问
示例格式：
Baiduspider- 请求数：
- 命中域名：
- 主要命中页面类型：
bingbot- 请求数：
- 命中域名：
- 主要命中页面类型：
5. 各域名命中概览
每个域名建议按下面结构记录：
example.com
sitemap- 是否命中：
- 命中次数：
- 命中路径：
search- 是否命中：
- 命中次数：
- 命中路径：
detail- 是否命中：
- 命中次数：
- 命中路径：
play- 是否命中：
- 命中次数：
- 命中路径：
404 old path- 是否出现：
- 典型路径：
6. 正向信号判断
满足越多，说明推进越有效：
sitemap_index.xml/sitemap-main.xml/sitemap-videos-*持续被抓- 搜索页开始被回访
- 详情页开始被重复访问
- 播放页开始被访问
- 命中路径出现连续链路
推荐记录方式：
- 是否出现
sitemap -> search -> detail - 是否出现
sitemap -> detail -> play - 是否出现
home -> search -> detail
7. 风险信号判断
出现以下情况时，建议单独列出来：
- sitemap 有抓取，但详情页完全不动
- 搜索页有命中，但详情页没有跟进
- 旧 404 路径仍高频出现
- 普通访问正常，但蜘蛛访问状态码异常
- 只抓首页，不抓深页
示例格式：
- 风险 1：
- 域名：
- 表现：
- 可能原因：
- 建议动作：
8. 缓存相关观察
如果该域名在缓存刷新优先清单中，建议单独记录：
example.com
- 是否属于缓存滞后站：
- 普通访问表现：
?__nocache=1表现：- 两者是否一致：
- 当前判断：
- 仍是缓存滞后 / 已恢复一致
9. 本轮结论
用 3 到 6 条写清楚结论，不要泛泛而谈。
示例：
liangzuan.net已出现sitemap -> search -> detail连续抓取cnzhenbang.com详情页开始重复命中，说明收录推进开始有反馈jingxifa.com普通访问仍落后于?__nocache=1，优先判断为缓存滞后- 旧 404 深链在
oronorent.com仍有残留，建议继续观察兼容路由命中情况
10. 下一步动作
每轮日志分析结束后，必须给出明确动作，避免只做记录不做推进。
示例：
- 继续提交 A 组剩余 sitemap
- 优先清理
jingxifa.com与lcdchq.com前端缓存 - 明天重点观察
cnzhenbang.com与liangzuan.net详情页回访 - 如果
play仍长期无命中，再评估是否继续增强详情页到播放页承接
11. 推荐命名方式
建议日志分析文档统一使用：
YYYY-MM-DD-域名-日志分析.mdYYYY-MM-DD-批次名-蜘蛛回访分析.md
例如：
2026-04-18-liangzuan-日志分析.md2026-04-18-A组6站-蜘蛛回访分析.md
12. 使用建议
- 单次不要分析过多域名
- 一份文档尽量回答一个明确问题
- 每轮都要给出下一步动作
- 对缓存滞后站，优先记录“普通访问 vs nocache”差异
- 对已开始回访的站，优先记录“抓取链路是否在变深”