200 lines
4.2 KiB
Markdown
200 lines
4.2 KiB
Markdown
# 日志分析模板（收录推进版）
|
||
|
||
适用场景：
|
||
|
||
- GPT 站群 sitemap 提交后
|
||
- 观察蜘蛛是否开始回访
|
||
- 观察是否从首页抓取进入搜索 / 详情 / 播放深页
|
||
- 对比缓存刷新前后是否影响蜘蛛命中
|
||
|
||
---
|
||
|
||
## 1. 基本信息
|
||
|
||
- 日期：
|
||
- 分析人：
|
||
- 分析范围：
|
||
- 单域名 / 多域名
|
||
- 日志时间窗口：
|
||
- 例如：`2026-04-17 00:00:00 ~ 2026-04-17 23:59:59`
|
||
- 关联动作：
|
||
- 是否刚提交 sitemap
|
||
- 是否刚清缓存
|
||
- 是否刚上线模板修复
|
||
|
||
---
|
||
|
||
## 2. 本轮关注域名
|
||
|
||
1. `domain-a.com`
|
||
2. `domain-b.com`
|
||
3. `domain-c.com`
|
||
|
||
如果是全量分析，建议先列“重点关注域名”，不要一上来把所有域名混在一起。
|
||
|
||
---
|
||
|
||
## 3. 本轮关注目标
|
||
|
||
至少写清楚这次日志分析想回答什么：
|
||
|
||
1. sitemap 是否开始被抓？
|
||
2. 搜索页是否开始被回访？
|
||
3. 详情页是否开始出现命中？
|
||
4. 播放页是否开始出现命中？
|
||
5. 是否仍有旧 404 路径被反复访问？
|
||
6. 缓存刷新后蜘蛛是否开始命中新 HTML？
|
||
|
||
---
|
||
|
||
## 4. 蜘蛛来源概览
|
||
|
||
建议按蜘蛛类型记录：
|
||
|
||
1. 百度蜘蛛
|
||
2. 必应蜘蛛
|
||
3. 360 / 搜狗 / 其他中文搜索引擎蜘蛛
|
||
4. 普通浏览器访问
|
||
|
||
示例格式：
|
||
|
||
- `Baiduspider`
|
||
- 请求数：
|
||
- 命中域名：
|
||
- 主要命中页面类型：
|
||
- `bingbot`
|
||
- 请求数：
|
||
- 命中域名：
|
||
- 主要命中页面类型：
|
||
|
||
---
|
||
|
||
## 5. 各域名命中概览
|
||
|
||
每个域名建议按下面结构记录：
|
||
|
||
### `example.com`
|
||
|
||
- `sitemap`
|
||
- 是否命中：
|
||
- 命中次数：
|
||
- 命中路径：
|
||
- `search`
|
||
- 是否命中：
|
||
- 命中次数：
|
||
- 命中路径：
|
||
- `detail`
|
||
- 是否命中：
|
||
- 命中次数：
|
||
- 命中路径：
|
||
- `play`
|
||
- 是否命中：
|
||
- 命中次数：
|
||
- 命中路径：
|
||
- `404 old path`
|
||
- 是否出现：
|
||
- 典型路径：
|
||
|
||
---
|
||
|
||
## 6. 正向信号判断
|
||
|
||
满足越多，说明推进越有效：
|
||
|
||
1. `sitemap_index.xml` / `sitemap-main.xml` / `sitemap-videos-*` 持续被抓
|
||
2. 搜索页开始被回访
|
||
3. 详情页开始被重复访问
|
||
4. 播放页开始被访问
|
||
5. 命中路径出现连续链路
|
||
|
||
推荐记录方式：
|
||
|
||
- 是否出现 `sitemap -> search -> detail`
|
||
- 是否出现 `sitemap -> detail -> play`
|
||
- 是否出现 `home -> search -> detail`
|
||
|
||
---
|
||
|
||
## 7. 风险信号判断
|
||
|
||
出现以下情况时，建议单独列出来：
|
||
|
||
1. sitemap 有抓取，但详情页完全不动
|
||
2. 搜索页有命中，但详情页没有跟进
|
||
3. 旧 404 路径仍高频出现
|
||
4. 普通访问正常，但蜘蛛访问状态码异常
|
||
5. 只抓首页，不抓深页
|
||
|
||
示例格式：
|
||
|
||
- 风险 1：
|
||
- 域名：
|
||
- 表现：
|
||
- 可能原因：
|
||
- 建议动作：
|
||
|
||
---
|
||
|
||
## 8. 缓存相关观察
|
||
|
||
如果该域名在缓存刷新优先清单中，建议单独记录：
|
||
|
||
### `example.com`
|
||
|
||
- 是否属于缓存滞后站：
|
||
- 普通访问表现：
|
||
- `?__nocache=1` 表现：
|
||
- 两者是否一致：
|
||
- 当前判断：
|
||
- 仍是缓存滞后 / 已恢复一致
|
||
|
||
---
|
||
|
||
## 9. 本轮结论
|
||
|
||
用 3 到 6 条写清楚结论，不要泛泛而谈。
|
||
|
||
示例：
|
||
|
||
1. `liangzuan.net` 已出现 `sitemap -> search -> detail` 连续抓取
|
||
2. `cnzhenbang.com` 详情页开始重复命中，说明收录推进开始有反馈
|
||
3. `jingxifa.com` 普通访问仍落后于 `?__nocache=1`，优先判断为缓存滞后
|
||
4. 旧 404 深链在 `oronorent.com` 仍有残留，建议继续观察兼容路由命中情况
|
||
|
||
---
|
||
|
||
## 10. 下一步动作
|
||
|
||
每轮日志分析结束后，必须给出明确动作，避免只做记录不做推进。
|
||
|
||
示例：
|
||
|
||
1. 继续提交 A 组剩余 sitemap
|
||
2. 优先清理 `jingxifa.com` 与 `lcdchq.com` 前端缓存
|
||
3. 明天重点观察 `cnzhenbang.com` 与 `liangzuan.net` 详情页回访
|
||
4. 如果 `play` 仍长期无命中，再评估是否继续增强详情页到播放页承接
|
||
|
||
---
|
||
|
||
## 11. 推荐命名方式
|
||
|
||
建议日志分析文档统一使用：
|
||
|
||
- `YYYY-MM-DD-域名-日志分析.md`
|
||
- `YYYY-MM-DD-批次名-蜘蛛回访分析.md`
|
||
|
||
例如：
|
||
|
||
- `2026-04-18-liangzuan-日志分析.md`
|
||
- `2026-04-18-A组6站-蜘蛛回访分析.md`
|
||
|
||
---
|
||
|
||
## 12. 使用建议
|
||
|
||
1. 单次不要分析过多域名
|
||
2. 一份文档尽量回答一个明确问题
|
||
3. 每轮都要给出下一步动作
|
||
4. 对缓存滞后站，优先记录“普通访问 vs nocache”差异
|
||
5. 对已开始回访的站，优先记录“抓取链路是否在变深”
|