影响范围
CPT模块
故障现象
源数据库为Oracle,且DMDRS远程读的同步环境,同步运行过程中卡住,通过SHOW [<CPT_NAME>] [STATE]命令查看解析、发送线程空闲,一个或多个节点的读线程状态为“提取日志”但无流量。
原因分析
通过gdb排查分析。
使用gdb attach到DMDRS进程drsvr。
gdb ./drsvr <drs的pid>
查看所有线程堆栈。
(gdb) t a a bt
如果存在线程一直卡在OCI底层,如:
#0 read () from .../libc.so.6
...
#n OCIStmtExecute () from .../libclntsh.so
切换到对应线程。
(gdb) t <线程id>
执行命令尝试从当前函数返回。
(gdb) fin
如果该函数长时间无法返回,则可确认为DMDRS与Oracle之间的socket连接不稳定,Oracle侧socket断连,但DMDRS所在机器未感知到该断连,底层read()函数无法正确返回错误,导致read()函数持续阻塞卡住,进而使读线程无法继续提取日志。
解决方法
在源DMDRS配置文件中配置参数db_receive_timeout设置OCI超时时间,使DMDRS在等待Oracle返回消息超时后能够主动断开并重连,避免read()函数无限阻塞。
文章
阅读量
获赞
