为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
【DM版本】:
【操作系统】:linux,python语言
【CPU】:
【问题描述】*:一张表中有一亿条数据,执行
SELECT
DISTINCT NAME
FROM
TEST.DATAINFO
LIMIT {OFFSET},{BATCH_SIZE}
如果设置BATCH_SIZE为6万条,就卡在第二页的cursoe.execute(query),就算BATCH_SIZE设置小一点,配合使用fetchmany循环到7万多条也会卡在这一行,但如果直接执行LIMIT 60000,60000,就能很快返回这条数据......服务端可能会限制客户端某个时间段内获取的最大数据量吗?或者可能会有什么别的限制?想了解一下有没有针对这种过亿数据量的获取方法
有demo吗,卡住指的是程序卡住了,还是获取到这里就结束了,只返回6万条,fetchmany默认返回的行数是Cursor.arraysize的值,默认值50