feat: add github spider md push and async task logging

docs/2026-04-19-GPT模板蜘蛛日志复盘与代码判断.md

@@ -0,0 +1,243 @@
+# 2026-04-19 GPT模板蜘蛛日志复盘与代码判断
+
+## 1. 复盘范围
+
+- 日期：`2026-04-19`
+- 复盘对象：`GPT 模板 15 个优先域名`
+- 日志来源：`SEONexus/code/storage/domain-spider-crawl/runs/20260419/*/crawl-logs.summary.json`
+- 对照文档：
+  - [2026-04-18-7天推收录执行主线.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-18-7天推收录执行主线.md)
+  - [04-GPT模板A-B组日志跟踪板-2026-04-18.md](/www/wwwroot/diff-maccms/SEONexus/docs/gpt-template-seo/04-GPT模板A-B组日志跟踪板-2026-04-18.md)
+  - [09-GPT模板次日蜘蛛日志判读模板-2026-04-19.md](/www/wwwroot/diff-maccms/SEONexus/docs/gpt-template-seo/09-GPT模板次日蜘蛛日志判读模板-2026-04-19.md)
+
+## 2. 今日总判断
+
+今天这轮 GPT 模板蜘蛛表现属于：
+
+1. 仍有正向回访
+2. 整体基本符合 Day2 到 Day3 之间的预期
+3. 但推进速度一般，还没有进入理想放量阶段
+
+直接结论：
+
+- `detail / play` 没有完全消失，说明前面的修复没有白做
+- 但今天新增信号主要还是局部重复回访，没有形成明显的 `sitemap -> search -> detail -> play` 放量链路
+- 所以今天不建议再大面积改 GPT 模板代码，先继续观察下一轮日志更稳妥
+
+## 3. 是否符合 7 天计划预期
+
+对照 [2026-04-18-7天推收录执行主线.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-18-7天推收录执行主线.md) 的 Day2 / Day3 目标，当前判断如下：
+
+### 符合预期的部分
+
+1. 已有站点继续出现 `detail` 或 `play` 级别命中
+2. `jingxifa.com`、`codohealth.com`、`lgyz.net`、`gxhongzhuang.com` 这类站仍保留真实内容页信号
+3. 部分站点首页 `200` 仍在持续，说明基础可访问性没有整体塌掉
+
+### 低于理想预期的部分
+
+1. `sitemap` 真实命中仍然很弱
+2. `search` 真实回访仍然几乎没有起来
+3. 四个 P0 站里，今天没有看到“集体往深页扩张”的明显加速
+4. 多站仍有 `robots` 或 `category` 被 `444` 的现象，尤其是 `googlebot`
+
+### 今日阶段定位
+
+更准确地说，今天是：
+
+- `修复后维持正向回访`
+
+而不是：
+
+- `已经进入明显放量`
+
+## 4. 重点站判断
+
+### P0 四站
+
+#### `jingxifa.com`
+
+- 今日总请求：`622`
+- 今日特征：
+  - `play: 15`
+  - `sitemap: 1`
+  - `category: 341`
+  - `robots: 257`
+  - `444: 600`
+- 判断：
+  - 仍是当前最有内容层信号的样本之一
+  - 但今天新增量主要不是来自更深链路扩张，而是大量 `googlebot category/robots 444`
+  - 更像“有正向样本，但入口质量一般”
+
+#### `lcdchq.com`
+
+- 今日总请求：`34`
+- 今日特征：
+  - 以首页 `200` 为主
+  - 大量 `/admin.php => 301` 探针噪音
+  - 未见 `detail / play / sitemap / search`
+- 判断：
+  - 还没走出浅层
+  - 当前不适合继续改模板
+  - 先继续看缓存与后续蜘蛛是否重新打真实内容页
+
+#### `cnzhenbang.com`
+
+- 今日总请求：`29`
+- 今日特征：
+  - `home: 8`
+  - `robots: 19`
+  - `444: 19`
+  - `403: 2`
+  - 无 `detail / play`
+- 判断：
+  - 仍偏浅层
+  - 今天看不到从 `category/home` 进入内容层的明显新突破
+  - 继续观察更合适，不建议今天为它单独改模板
+
+#### `oronorent.com`
+
+- 今日总请求：`12`
+- 今日特征：
+  - 首页有 `200/301`
+  - `robots` 仍有 `444/403`
+  - 无 `detail / play`
+- 判断：
+  - 还是浅层观察站
+  - 今天也没有支持“继续改 GPT 模板代码”的新证据
+
+### P1 正向样本站
+
+#### `codohealth.com`
+
+- 今日 `detail: 4`
+- 首页仍有 `200`
+- `robots 444` 仍高
+- 判断：
+  - 仍保留深页能力
+  - 但没有进入更大规模扩张
+
+#### `lgyz.net`
+
+- 今日 `detail: 4`
+- 今日 `sitemap: 3`
+- 但 `sitemap` 是 `444`
+- 判断：
+  - 依然是值得继续盯的正向样本
+  - 但 `sitemap` 质量并不好，属于“有信号，但入口不稳”
+
+#### `jpjdxs.com`
+
+- 今日仅首页 `200/301`
+- 没有新的 `detail / play`
+- 判断：
+  - 今天偏弱
+  - 还不足以支持“继续做模板层优化”
+
+## 5. 弱站与风险点
+
+### `liangzuan.net`
+
+- 今日在 `2026-04-19` 这批 run 中未见有效命中
+- 判断：
+  - 今天不能用“无信号”直接下坏结论
+  - 但它确实不在今天的正向样本里
+
+### `jxxgygy.com`
+
+- 首页 `200` 有继续出现
+- 但今天未见真正新的 `detail / play`
+- 判断：
+  - 属于“还活着，但没深入”
+
+### `gxhongzhuang.com`
+
+- 今日 `detail: 4`
+- 是今天除 `jingxifa.com / codohealth.com / lgyz.net` 之外，仍保持内容层信号的站
+
+### `glae.cc`
+
+- 今日 `sitemap: 1`
+- 但 `sitemap.xml => 444`
+- 判断：
+  - 有入口请求，不等于入口质量健康
+
+## 6. 今天最重要的日志结论
+
+1. GPT 模板线今天不是断流，而是“继续温和推进”
+2. `detail / play` 仍有样本站支撑，说明之前修复方向总体没错
+3. 真正的短板仍然是 `sitemap / search` 链路偏弱
+4. 多站 `googlebot robots/category => 444` 依旧很重，会拖慢外部蜘蛛的正向判断
+5. 今天没有出现足够新的结构性异常，不支持再大面积改 GPT 模板业务代码
+
+## 7. 今天要不要继续改 GPT 模板代码
+
+### 结论
+
+今天不建议继续做大面积 GPT 模板代码改动。
+
+### 原因
+
+1. 今天的日志没有显示出新的模板层结构故障
+2. 现阶段更像是：
+   - 蜘蛛继续回访中
+   - 入口链路偏弱
+   - 部分缓存与前端放行策略仍在影响抓取质量
+3. 如果此时继续大改模板，容易把“观察窗口”打断，反而不利于判断真实修复效果
+
+### 今天唯一值得关注的“精选优化方向”
+
+如果后续目标里包含 `google / bing` 的真实收录推进，那么需要单独评估：
+
+1. `robots.txt` 对 `googlebot / bingbot / bytespider` 的放行策略
+2. `sitemap.xml` 命中后返回 `444` 的站点
+3. 某些目录型 `category` 路径被 `444` 的情况是否属于预期安全策略
+
+这条线更偏：
+
+- `Nginx / 蜘蛛策略`
+
+而不是：
+
+- `GPT 模板 PHP 渲染逻辑`
+
+## 8. 老模板 1001-1005 更新是否影响 GPT 模板
+
+今天额外检查了 `/www/wwwroot/maccms` 最近提交：
+
+- `c6514d4`
+- `59e9c15`
+- `4165099`
+- `d9e1e49`
+
+最近几次已提交改动主要集中在：
+
+1. `application/admin/controller/Domainnew.php`
+2. `application/admin/view_new/domainnew/index.html`
+
+判断：
+
+1. 这些是老模板项目自己的后台域名管理逻辑
+2. 目前没看到它们直接下沉到 GPT 模板共享 SEO 服务层
+3. 所以从“最近提交代码”角度看，对 GPT 模板直接影响很低
+
+注意：
+
+- 老模板仓库工作区本身非常脏，不能把全部未提交文件都当成已经上线的有效变更
+- 这次判断只基于“最近已提交的实际代码”
+
+## 9. 明日动作建议
+
+1. 继续看 `2026-04-20` 第一轮新 run，重点比较：
+   - 是否新增 `detail / play` 站点
+   - `jingxifa.com` 是否继续保持内容层信号
+   - `lcdchq.com / cnzhenbang.com / oronorent.com` 是否有任何深页突破
+2. 单独盯：
+   - `lgyz.net` 的 `sitemap 444`
+   - `glae.cc` 的 `sitemap 444`
+3. 今天先不动 GPT 模板业务代码
+4. 如果明天 `googlebot / bingbot` 仍大面积只打 `robots/category` 且持续 `444`，再单独开一轮 `Nginx 蜘蛛放行策略` 优化
+
+## 10. 一句话总结
+
+今天的 GPT 模板 SEO 进度总体仍符合“修复后进入正向回访期”的预期，但还没有进入理想放量阶段；当前更该继续看日志和入口链路，而不是急着再改一轮模板业务代码。