前言

DPC 同城双中心运维中，经常遇到两类典型业务故障：一是返回 “无效的系统状态”，业务整体访问失败；二是灾备故障恢复，副本无法加入集群。本文描述故障现象、业务层面根因、标准化排查流程，规避内部内核实现细节，用于指导运维故障处置。

1 故障一：集群报错 “无效的系统状态”，业务中断

故障现象

应用访问数据库返回 “无效的系统状态”，全部业务 SQL 无法执行。

业务层面根因

集群没有可用 BP 对外提供服务，分为两种情况：

1. BP 实例异常：BP 宕机、未启动、实例状态非 OPEN；
2. 副本组多数节点故障，存活副本达不到多数派条件，无法选出主副本，整个副本组停止业务服务。

排查处理步骤

1. 通过 DPC 管理工具查看所有 BP 实例运行状态，确认是否存在 BP 宕机、非 OPEN 状态；
2. 若 BP 实例异常，优先启动 BP，确认状态切换为 OPEN；
3. BP 全部状态正常时，统计副本组存活副本数量；
4. 如果副本组多数节点故障，优先恢复足够数量节点上线；
5. 节点恢复完成后，副本组自动完成主副本选举，业务恢复。

常见误操作：不检查副本存活数量，盲目反复重启 BP 实例，故障无法解除。

2 故障二：灾备中心故障恢复，副本无法自动加入集群

故障现象

灾备中心整体故障，主中心副本满足多数派，业务正常运行；灾备服务器修复启动，但是 BP 副本无法自动加入集群，副本状态异常。

业务层面根因

灾备属于异常断电宕机，集群来不及更新副本成员记录，实例本地残留旧副本信息，和当前集群拓扑不一致，实例无法自动接入集群。

标准修复流程

1. 确认主中心集群业务正常，主副本选举正常；
2. 执行集群快速降级操作，清理失效副本记录；
3. 手动清除残留旧副本成员信息；
4. 将修复后的 BP 实例重新添加进入集群，执行在线扩容；
5. 等待数据同步完成，集群恢复完整双副本拓扑。

注意：直接启动灾备实例不会自动恢复，需要按顺序执行上面步骤。

3 衍生故障：DEM 启动提示 JRE_HOME 异常

现象

DEM 启动失败，日志提示 JRE_HOME 环境变量异常。

根因

DEM 启动脚本内置默认 JDK 路径，和服务器实际 JDK 安装路径不匹配。

处理：修改 DEM 启动脚本，显式配置服务器实际的 JAVA_HOME、JRE_HOME 环境变量。

4 运维规避建议

1. 定期开展灾备故障演练，将上述两类故障纳入演练场景；
2. 故障排查优先确认副本多数派存活状态，再处理 BP 实例，不要盲目重启节点；
3. DEM 常态化部署，及时发现副本离线、同步延迟；
4. 将灾备降级‑恢复‑扩容整理成标准化运维操作文档，降低人为失误。

小结

DPC 集群很多业务故障，表象是业务报错，根源来自副本多数派规则和副本成员记录更新逻辑。遇到 “无效的系统状态” 优先核查 BP 实例与副本存活；灾备故障恢复需要人工清理旧副本记录，重新添加实例，按标准化流程处理保障业务快速恢复。