本次测试在 DM8 单机测试库上,用 dd 人为写坏数据页,逐项验证了四件事:坏页在什么条件下会被触发;PTX_ROLLBACK、PAGE_CHECK_POLICY 两个参数如何影响实例的表现;坏页可以从哪些渠道定位;表空间级恢复和页级恢复的实际效果。
核心结论如下:
| 项目 | 值 |
|---|---|
| 数据库版本 | DM Database Server 64 V8,DB Version 0x7000d,构建日期 20260707 |
| 实例 | DMSERVER,单机,端口 5236 |
| 安装目录 / dm.ini | /home/dmdba/dm/dmdbms;/home/dmdba/dm/dmdbms/bin/dm.ini |
| 数据 / 归档 / 备份 | /dbdata/dmdata/DAMENG;/dbarch/dmarch;/dbbak/dmbak |
| 建库参数 | 页大小 32 KB,簇大小 16,大小写敏感,ENABLE_PAGE_CHECK=3 |
| 参数缺省值 | PTX_ROLLBACK=0,PAGE_CHECK_POLICY=1,BAK_SAFE_CHECK=7 |
数据和索引分别放在两个表空间里,这样坏页属于哪个对象可以直接判断。表不建主键,所有行数据都存放在系统自动生成的聚集索引 INDEX33555476 的叶子页里。
| 对象 | 说明 |
|---|---|
| TBS_BAD(TS_ID=5) | 512 MB,已用 6064 页,只存放表 TEST.T_BAD |
| TBS_IDX(TS_ID=6) | 256 MB,只存放二级索引 IDX_T_BAD_NAME、IDX_T_BAD_ID |
| TEST.T_BAD | 30 万行,每行约 560 字节,一个 32 KB 页大约能放 55 行 |
| INDEX33555476 | T_BAD 的聚集索引(CLUSTER),也就是数据页本身 |
CREATE TABLESPACE TBS_BAD DATAFILE '/dbdata/dmdata/DAMENG/TBS_BAD.DBF' SIZE 512;
CREATE TABLESPACE TBS_IDX DATAFILE '/dbdata/dmdata/DAMENG/TBS_IDX.DBF' SIZE 256;
CREATE TABLE TEST.T_BAD (ID INT, NAME VARCHAR(50), PAD CHAR(500)) TABLESPACE TBS_BAD;
INSERT INTO TEST.T_BAD SELECT LEVEL, 'NAME_'||LEVEL, 'X' FROM DUAL CONNECT BY LEVEL <= 300000;
COMMIT;
CREATE INDEX TEST.IDX_T_BAD_NAME ON TEST.T_BAD(NAME) STORAGE(ON TBS_IDX);
CREATE INDEX TEST.IDX_T_BAD_ID ON TEST.T_BAD(ID) STORAGE(ON TBS_IDX);
每次恢复完成后,都用同一组基准值核对数据。这条查询同时用到 ID 和 NAME 两列,没有哪个二级索引能单独覆盖,所以一定会读数据页:
SELECT COUNT(*), SUM(ID), SUM(CASE WHEN NAME LIKE 'R%' THEN 1 ELSE 0 END)
FROM TEST.T_BAD WHERE ID > 0;
-- 300000 / 45000150000 / 0
| 参数 / 命令 | 类型 | 取值说明 | 本次设置 |
|---|---|---|---|
| PTX_ROLLBACK | 静态 | 0:坏页的处理方式由 PAGE_CHECK_POLICY 决定;1:大部分情况下只报错,不停机 | 0 和 1 分别测试 |
| PAGE_CHECK_POLICY | 动态 | 遇到无法以报错方式处理的坏页时:0 表示忽略,1 表示主动 HALT | 1 和 0 分别测试 |
| BAK_SAFE_CHECK | 动态,按位相加 | 1:数据文件处于 CORRUPT 状态时报错<br>2:检查 HUGE 文件<br>4:做增量备份时,备份链里必须有完全备份<br>8:校验备份集时做页校验 | 15 = 1+2+4+8 |
| CHECK BACKUPSET … LEVEL | 命令 | 1:只校验备份包的 crc(缺省)<br>2:校验每个数据页的 crc<br>3:解密后再校验数据页 | LEVEL 2 |
| SF_BAKSET_CHECK | 函数 | 联机校验备份集,返回 1 表示合法 | — |
| SP_SET_PARA_VALUE 的 scope | 过程参数 | 0:只改内存<br>1:内存和 dm.ini 都改<br>2:只改 dm.ini,重启后生效 | 按参数类型选择 |
BAK_SAFE_CHECK 的缺省值 7 不包含第 8 位。用这个设置做出来的备份集,无法做 LEVEL 2 或 LEVEL 3 校验。恢复之前,必须先确认备份集本身没有坏页,否则恢复操作会把坏页原样写回。所以本次先把它改为 15,再做全备和校验:
SP_SET_PARA_VALUE(1, 'BAK_SAFE_CHECK', 15);
BACKUP DATABASE FULL BACKUPSET '/dbbak/dmbak/FULL_00'; -- 10.4 秒
SELECT SF_BAKSET_CHECK('DISK', '/dbbak/dmbak/FULL_00'); -- 1
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="CHECK BACKUPSET '/dbbak/dmbak/FULL_00' LEVEL 2;"
# check backupset successfully. time used: 00:00:03.511
原理。 数据文件由固定大小的页连续排列组成,第 N 页从文件偏移 N × 页大小 的位置开始。每个页的开头是页头,记录页号、前后页指针、页类型等信息;页头后面是行数据区。数据页写盘时会带上校验值,读入内存时重新计算并比对。dd 绕过数据库直接改写文件里的字节,改完之后页内容和校验值就对不上了,数据库下次读到这一页时,页校验失败。
dd 参数含义:
| 参数 | 作用 |
|---|---|
| if=/dev/urandom | 写入的数据来源,这里是随机字节 |
| bs=1 | 以 1 字节为单位,seek 和 count 都按字节计算 |
| seek=偏移量 | 从文件的哪个字节位置开始写 |
| count=n | 写入多少字节 |
| conv=notrunc | 不截断文件,只覆盖指定区间 |
注意:必须先正常停库再执行 dd。 否则缓冲区里的页可能被刷回磁盘,把写入的内容覆盖掉。页号取已用页数的一半左右,避开文件头和描述页。写之前先用 xxd 确认这一页有内容,不是全零的空闲页。
示例 1:写坏数据区(坏页 A)
第 3032 页,页内偏移 1024,偏移量 = 3032 × 32768 + 1024 = 99,353,600,即十六进制 0x05EC0400。
/home/dmdba/dm/dmdbms/bin/dmserverd stop
cp -p /dbdata/dmdata/DAMENG/TBS_BAD.DBF /dbbak/dmbak/orig/TBS_BAD.DBF.ch1
dd if=/dev/urandom of=/dbdata/dmdata/DAMENG/TBS_BAD.DBF bs=1 seek=$((3032*32768+1024)) count=64 conv=notrunc
xxd -s $((3032*32768+1024)) -l 64 /dbdata/dmdata/DAMENG/TBS_BAD.DBF
写入前 05ec0400: 2020 2020 2020 2020 2020 2020 2020 2020 ← CHAR(500) 字段的补齐空格
写入后 05ec0400: f242 79d7 562c a69a c3d9 6869 3ec5 5dde
示例 2:写坏页头(坏页 B)
第 2000 页,从页内偏移 16 开始写 32 字节。写入前先读出页头,按小端字节序解析:
xxd -s $((2000*32768)) -l 64 /dbdata/dmdata/DAMENG/TBS_BAD.DBF
dd if=/dev/urandom of=/dbdata/dmdata/DAMENG/TBS_BAD.DBF bs=1 seek=$((2000*32768+16)) count=32 conv=notrunc
03e80000: 0500 0000 d007 0000 0000 cf07 0000 0000
03e80010: d107 0000 1400 0000 0000 0000 84df 0000
| 页内偏移 | 字节 | 解析结果 |
|---|---|---|
| 0x00 | 0500 0000 | 表空间 5,文件 0 |
| 0x04 | d007 0000 | 页号 0x07D0 = 2000 |
| 0x08 | cf07 … | 前一页 1999 |
| 0x10 | d107 0000 | 后一页 2001 |
| 0x14 | 14 | 页类型 0x14 = 20 |
可以看出,同一层的数据页通过前后页指针串成双向链表。这次写入覆盖了"后一页指针"和"页类型"两个字段。
写坏页 A 之后启动实例,三条 SQL 的结果完全不同:
| SQL | 执行计划 | 访问的对象 | 结果 |
|---|---|---|---|
| SELECT COUNT(*) FROM TEST.T_BAD | FAGR | B 树中记录的总行数 | 300000(31.8 ms) |
| SELECT COUNT(*) … WHERE ID > 0 | SSEK2,走 IDX_T_BAD_ID | TBS_IDX 中的二级索引(索引覆盖) | 300000(83.7 ms) |
| SELECT COUNT(PAD) FROM TEST.T_BAD | CSCN2,走 INDEX33555476 | TBS_BAD 中的数据页 | DISQL-10036 连接丢失 |
坏页一直存在于文件里,但只有当某条 SQL 的执行计划真正读到它时,故障才会出现。生产环境中常见"同一张表,有的查询正常,有的查询导致宕机",原因就在这里。验证坏页时,应该选没有索引的列做查询,并先看执行计划确认它会读数据页。
[ERROR] [EID:48]Server page check error! page:(5, 0, 3032) page_type(20) index_id(33555476), dump page to ../log/dm_BINARY_<时间戳>.log
[FATAL] [EID:316][for dem]SYSTEM SHUTDOWN ABORT.
[FATAL] Server page check error!
[FATAL] [EID:617]code = -1, dm_sys_halt now!!!
00000400: f242 79d7 562c a69a c3d9 6869 3ec5 5dde
对同一个坏页 A,分别在三种参数组合下执行 SELECT COUNT(PAD):
| 组合 | PTX_ROLLBACK | PAGE_CHECK_POLICY | 表现 | 留下的现场证据 |
|---|---|---|---|---|
| 1A | 0 | 1 | 受控 HALT(EID:617,code=-1) | EID:48 日志、dm_BINARY 页镜像;坏页视图里没有记录 |
| 1B | 1 | 1 | 报错 -4563,实例继续运行 | dm_BINARY、V$ERROR_PAGE、SYSERRORPAGES |
| 1C | 0 | 0 | signal 11(SIGSEGV),进程崩溃 | dm_BINARY、dmhalt dump |
1B 组合。 PTX_ROLLBACK 是静态参数。用 scope=2 修改后,查到内存值为 0、文件值为 1,重启后才生效。
SQL> SELECT COUNT(PAD) FROM TEST.T_BAD;
[-4563]:无效的页, 页(5, 0, 3032).
SQL> SELECT 1 FROM DUAL;
1
两个坏页视图的差异:
| 视图 | 记录内容 | 重启后 |
|---|---|---|
| V$ERROR_PAGE | (5,0,3032),-4563,DB_MAGIC,FILE_NAME=cscn2.c,LINE_NO=17793 | 清空 |
| SYSERRORPAGES | (5,0,3032),-4563,TYPE=200,RECORD_TIME | 保留 |
V$ERROR_PAGE 里的 cscn2.c 正好对应执行计划中的 CSCN2 算子,所以从这条记录可以反查出是哪类访问碰到了坏页。另外,1A 组合下实例 HALT 时,两个视图都没有记录。也就是说,要靠视图追溯坏页,前提是 PTX_ROLLBACK=1。
1C 组合。 用 scope=0 只在内存中把 PAGE_CHECK_POLICY 改成 0。重启后已确认它自动恢复为 1。执行查询后日志如下:
[ERROR] [EID:48]Server page check error! page:(5, 0, 3032) ...
[FATAL] [EID:326]sigterm_handler receive signal 11
[FATAL] [EID:316][for dem]SYSTEM SHUTDOWN ABORT.
参数说明里写的是"忽略失败",实际表现却不是跳过这个坏页,而是继续解析已损坏的内容,最终导致段错误。这种结果比受控 HALT 更难预期。崩溃时生成的 dmhalt dump 记录了触发崩溃的 SQL、事务号和线程号,可以用来反查是哪个业务模块:
在 PTX_ROLLBACK=1 的前提下,实例不会停机,可以直接在库内按下面这条链路定位:
SELECT * FROM V$ERROR_PAGE;
-- 5 0 3032 -4563 ... cscn2.c 17793
SELECT T.NAME TS_NAME, F.GROUP_ID TS_ID, F.ID FILE_ID, F.PATH
FROM V$DATAFILE F JOIN V$TABLESPACE T ON T.ID = F.GROUP_ID
WHERE F.GROUP_ID = 5 AND F.ID = 0;
-- TBS_BAD 5 0 /dbdata/dmdata/DAMENG/TBS_BAD.DBF
SELECT OWNER, OBJECT_NAME, OBJECT_TYPE FROM DBA_OBJECTS WHERE OBJECT_ID = 33555476;
-- TEST INDEX33555476 INDEX
SELECT OWNER, INDEX_NAME, INDEX_TYPE, TABLE_OWNER, TABLE_NAME, TABLESPACE_NAME
FROM DBA_INDEXES WHERE INDEX_NAME = 'INDEX33555476';
-- TEST INDEX33555476 CLUSTER TEST T_BAD TBS_BAD
SELECT CHECK_INDEX('TEST', 33555476);
-- [-4563]:无效的页, 页(5, 0, 3032).
定位结论:页 (5, 0, 3032) 属于表空间 TBS_BAD,是 TEST.T_BAD 的聚集索引页,也就是数据页。这类页不能靠重建索引修复,只能从备份恢复。
在本版本中,执行 SF_PAGE_GET_SEGID 会返回错误 -2207(无法解析的成员访问表达式),无法通过页地址直接反查段。对象定位要借助 EID:48 日志里的 index_id。
另外,SYSERRORPAGES 对每个页只保留一条记录。同一页再次出错时,RECORD_TIME 被更新,不会新增一行,因此看不到这个页完整的出错历史。
dmdbchk 要求实例已经正常关闭。
坏页 A(数据区损坏):
/home/dmdba/dm/dmdbms/bin/dmdbchk PATH=/home/dmdba/dm/dmdbms/bin/dm.ini TABLESPACEID=5 FEEDBACK=2 OUTPUT_FIL=/dbbak/dmbak/chk/1A_dbchk_err.txt
[FAILED] check index error. index_id=33555476, table_name=T_BAD
[CHK] nbtr_check_page error: index_id: 33555476, page(5, 0, 3032) data check error
Checked Pages Total: 5004 Corrupted Pages Total: 0 Data Error Pages Total: 1
坏页清单文件 dbchk_err_pages.txt 会生成在 OUTPUT_FIL 所在的目录。文件名是固定的,下次运行会覆盖,需要及时改名保存。
坏页 B(页头损坏)。 对整个表空间做检查时,dmdbchk 遍历索引的过程中中断,没有生成报告:
--------check indexes start--------
Illegal instruction (core dumped)
运行日志里记录了 dmdbchk 自身的 HALT:
[FATAL] dmdbchk P0000013429 ... [EID:316][for dem]SYSTEM SHUTDOWN ABORT.
[FATAL] dmdbchk P0000013429 ... [EID:617]code = -2, dm_sys_halt now!!!
改用 PAGES_FILE 做单页检查,可以正常完成:
echo 'page(5,0,2000)' > /dbbak/dmbak/chk/1B_only.txt
/home/dmdba/dm/dmdbms/bin/dmdbchk PATH=/home/dmdba/dm/dmdbms/bin/dm.ini PAGES_FILE=/dbbak/dmbak/chk/1B_only.txt OUTPUT_FIL=/dbbak/dmbak/chk/1B_page_dbchk_err.txt
[CHK] dbchk check_one_page error. page(5, 0, 2000) data check error
Data Error Pages Total: 1
在线执行 CHECK_INDEX 同样能正常返回 -4563,V$ERROR_PAGE 中记录的源码位置是 nbtr5.c:3310。此时 EID:48 报的 page_type 为 15,和 dd 写入后页内偏移 0x14 处的字节 0x0f 一致。还有一点:全表扫描在遇到第一个坏页 (5,0,2000) 后就中止了,后面的坏页 3032 没有被报出来。
| 检查方式 | 坏页 A:数据区 | 坏页 B:页头 |
|---|---|---|
| dmdbchk 全表空间检查 | Data Error 1 | 工具自身 HALT,无报告 |
| dmdbchk 单页检查(PAGES_FILE) | Data Error 1 | Data Error 1 |
| CHECK_INDEX(在线,PTX_ROLLBACK=1) | -4563 | -4563 |
使用 FULL_00 加归档日志,恢复 TBS_BAD。坏页 A 和坏页 B 一次修复:
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="RESTORE DATABASE '/home/dmdba/dm/dmdbms/bin/dm.ini' TABLESPACE TBS_BAD FROM BACKUPSET '/dbbak/dmbak/FULL_00';"
# restore successfully. time used: 00:00:04.734
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="RECOVER DATABASE '/home/dmdba/dm/dmdbms/bin/dm.ini' TABLESPACE TBS_BAD WITH ARCHIVEDIR '/dbarch/dmarch';"
# recover successfully. time used: 00:00:09.803
dmdbchk 复查结果:page_counts=5002,Error Indexes、Corrupted、Data Error、Invalidate 全部为 0。
dmdbchk 全为 0 只能说明页结构完好,不能说明数据正确。启动实例后,再逐项核对:
SELECT NAME, STATUS$ FROM V$TABLESPACE WHERE NAME IN ('TBS_BAD','TBS_IDX'); -- 0 / 0(ONLINE)
SELECT COUNT(*), SUM(ID), SUM(CASE WHEN NAME LIKE 'R%' THEN 1 ELSE 0 END)
FROM TEST.T_BAD WHERE ID > 0; -- 300000 / 45000150000 / 0
SELECT COUNT(PAD) FROM TEST.T_BAD; -- 300000
SELECT CHECK_INDEX('TEST', 33555476); -- 1
BACKUP DATABASE FULL BACKUPSET '/dbbak/dmbak/FULL_AFTER_RECOVER'; -- 9.6 秒
SELECT SF_BAKSET_CHECK('DISK', '/dbbak/dmbak/FULL_AFTER_RECOVER'); -- 1
重新写坏第 3032 页,以 FULL_AFTER_RECOVER 为备份源,只恢复这一页。两条命令中的页地址必须一致,执行时实例必须处于关闭状态。
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="RESTORE PAGE [5, 0, 3032] DATABASE '/home/dmdba/dm/dmdbms/bin/dm.ini' FROM BACKUPSET '/dbbak/dmbak/FULL_AFTER_RECOVER';"
# restore successfully. time used: 00:00:03.842
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="RECOVER PAGE [5, 0, 3032] DATABASE '/home/dmdba/dm/dmdbms/bin/dm.ini' WITH ARCHIVEDIR '/dbarch/dmarch';"
# recover successfully. time used: 00:00:02.662
恢复后验证:
xxd 05ec0400: 2020 2020 2020 2020 ... 页内容恢复为补齐空格
dmdbchk 单页检查 Data Error Pages Total: 0
基准值 300000 / 45000150000
SELECT COUNT(PAD) 300000
CHECK_INDEX 1
| 维度 | 页级恢复 | 表空间级恢复 |
|---|---|---|
| 还原范围 | 1 页(32 KB) | 整个表空间(本次约 5000 页) |
| RESTORE 耗时 | 3.8 秒 | 4.7 秒 |
| RECOVER 耗时 | 2.7 秒 | 9.8 秒 |
| 是否需要停库 | 是 | 是 |
| 是否要事先知道页号 | 是,必须准确完整 | 否,一次修复表空间内所有坏页 |
| 适用场景 | 坏页少、页号明确 | 坏页多、页号不确定、数据文件丢失 |
两种方式恢复后有两个共同现象:SYSERRORPAGES 里的历史记录不会清除,V$REPAIRED_PAGE 中没有记录。因此,判断一个页当前是否仍然损坏,要以 dmdbchk 或 CHECK_INDEX 的复查结果为准。
本次测试数据量小,两种方式耗时差距不大。生产表空间往往有几百 GB,页级恢复只读写目标页,优势会非常明显。前提是先用 dmdbchk 拿到完整、准确的坏页清单。
| 步骤 | 动作 | 要点 |
|---|---|---|
| 保护现场 | 拷贝运行日志、dm_BINARY、dmhalt dump、core 文件 | core 文件路径由 core_pattern 决定 |
| 记录页地址 | 从 EID:48、V$ERROR_PAGE、SYSERRORPAGES 中获取 | 记下 (ts, file, page)、page_type、index_id |
| 确定对象 | 用 index_id 查 DBA_OBJECTS、DBA_INDEXES | CLUSTER 表示数据页;另外区分二级索引、系统对象 |
| 全面检查 | 正常停库后,用 dmdbchk 检查整个表空间 | 检查中断时,改用 PAGES_FILE 单页检查或 CHECK_INDEX |
| 选择方法 | 二级索引坏:删除后重建<br>少量数据页坏:页级恢复<br>大量数据页坏:表空间级恢复<br>系统表空间坏:整库恢复 | 页级恢复要求页号准确 |
| 验证 | 依次做 dmdbchk 复查、数据核对、重跑原先报错的 SQL、CHECK_INDEX | 不能只看 SYSERRORPAGES |
| 收尾 | 重新全备,排查存储和 IO | 坏页往往是存储问题的表现 |
预防措施:
# 启停实例
/home/dmdba/dm/dmdbms/bin/dmserverd stop
/home/dmdba/dm/dmdbms/bin/dmserverd start
# 用 dmdbchk 检查整个表空间
/home/dmdba/dm/dmdbms/bin/dmdbchk PATH=/home/dmdba/dm/dmdbms/bin/dm.ini TABLESPACEID=5 OUTPUT_FIL=/dbbak/dmbak/chk/ts5.txt
# 用 dmdbchk 检查单页(文件内容示例:page(5,0,3032))
/home/dmdba/dm/dmdbms/bin/dmdbchk PATH=/home/dmdba/dm/dmdbms/bin/dm.ini PAGES_FILE=/dbbak/dmbak/chk/P_only.txt OUTPUT_FIL=/dbbak/dmbak/chk/P.txt
# 校验备份集
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="CHECK BACKUPSET '/dbbak/dmbak/FULL_00' LEVEL 2;"
# 表空间级恢复
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="RESTORE DATABASE '/home/dmdba/dm/dmdbms/bin/dm.ini' TABLESPACE TBS_BAD FROM BACKUPSET '/dbbak/dmbak/FULL_00';"
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="RECOVER DATABASE '/home/dmdba/dm/dmdbms/bin/dm.ini' TABLESPACE TBS_BAD WITH ARCHIVEDIR '/dbarch/dmarch';"
# 页级恢复
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="RESTORE PAGE [5, 0, 3032] DATABASE '/home/dmdba/dm/dmdbms/bin/dm.ini' FROM BACKUPSET '/dbbak/dmbak/FULL_AFTER_RECOVER';"
/home/dmdba/dm/dmdbms/bin/dmrman CTLSTMT="RECOVER PAGE [5, 0, 3032] DATABASE '/home/dmdba/dm/dmdbms/bin/dm.ini' WITH ARCHIVEDIR '/dbarch/dmarch';"
-- 参数设置:scope 0 只改内存,1 内存和文件都改,2 只改文件
SP_SET_PARA_VALUE(2, 'PTX_ROLLBACK', 1);
SP_SET_PARA_VALUE(0, 'PAGE_CHECK_POLICY', 1);
SP_SET_PARA_VALUE(1, 'BAK_SAFE_CHECK', 15);
-- 坏页记录
SELECT * FROM V$ERROR_PAGE;
SELECT TS_ID, FIL_ID, PAGE_NO, ERRCODE, TYPE, RECORD_TIME FROM SYSERRORPAGES;
SELECT * FROM V$REPAIRED_PAGE;
-- 联机校验
SELECT CHECK_INDEX('TEST', 33555476);
SELECT CHECK_DB_INDEX();
SELECT SF_BAKSET_CHECK('DISK', '/dbbak/dmbak/FULL_00');
文章
阅读量
获赞
