影响范围
EXEC模块。
故障现象
目标数据库为Oracle的同步场景中,目标DMDRS在执行插入操作时存在死锁卡住现象,死锁检测机制不断触发回滚事务。
原因分析
关闭目标DMDRS的死锁检测回滚机制,防止在排查的过程中线程状态发生变化,配置lockck_interval为较大值。
<lockck_interval>100000</lockck_interval>
分析DMDRS线程等待逻辑,通过执行SHOW [<EXEC_NAME>] THR命令查看正在执行的线程会话ID在数据库被哪个会话ID阻塞,以及等待的事件。
SELECT sid, serial#, username, event, sql_id, blocking_session, wait_time, seconds_in_wait
FROM v$session
WHERE status = 'ACTIVE'
AND type != 'BACKGROUND'
AND wait_class != 'Idle' and sid = <会话ID>;
找到blocking_session对应的会话ID的等待提交的线程号,在目标DMDRS中执行check thr <thrid>命令将当前执行线程和等待提交线程的对应操作记录到文件中去查看。通过正在执行的操作查看等待提交的线程操作中是否有依赖的行,得到两个线程的关系。
如果发现DMDRS中的两个线程并没有行依赖,仅有提交顺序的先后,就需要转向数据库分析为什么两者在数据库存在等待。
查找数据库的等待原因,主要是确认阻塞执行会话的sql_text,查看是什么语句和对象导致等待。
select sid, serial#, event, b.sql_id,executions,sql_text,blocking_session,final_blocking_session from gv$session a,gv$sql b
where a.sql_id=b.sql_id and a.sql_child_number=b.child_number and username='DMDRS登录的用户名'
and type != 'BACKGROUND' AND wait_class != 'Idle';
确认阻塞的SQL为其他表的update操作,与DMDRS当前操作表无关,怀疑目标数据库Oracle当前操作表上有触发器,导致操作表与其他表有关联。执行如下命令查看触发器的部分定义。
select * from sys."SOURCE$" where upper(source) like '%DRS操作表名%';
通过触发器的obj#信息,再查询sys.obj$,确认触发器名称信息。
select * from sys.obj$ where obj#=<obj#>;
通过dbms_metadata.get_ddl的方式查询触发器的完整定义。
select dbms_metadata.get_ddl('TRIGGER', '触发器名称','模式名') FROM DUAL;
最终确认死锁不是DMDRS的原因,而是因为操作表上存在INSERT触发器,当目标DMDRS并发对表进行INSERT时,原本没有依赖关系的操作由于触发器导致两个插入操作会更新某个表的同一行,在DMDRS中并发先执行的事务由于要保证LSN顺序需要后提交,后执行的事务由于数据库等待先执行的触发器的更新操作完成被阻塞,导致了DMDRS和数据库的死锁形成。
解决方法
禁用相关触发器。
文章
阅读量
获赞
