注册

循环分页查询+fetchmany获取数据,只能取到6万多条数据

曙光 2025/03/10 202 1

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
【DM版本】:
【操作系统】:linux,python语言
【CPU】:
【问题描述】*:一张表中有一亿条数据,执行
SELECT
DISTINCT NAME
FROM
TEST.DATAINFO
LIMIT {OFFSET},{BATCH_SIZE}
如果设置BATCH_SIZE为6万条,就卡在第二页的cursoe.execute(query),就算BATCH_SIZE设置小一点,配合使用fetchmany循环到7万多条也会卡在这一行,但如果直接执行LIMIT 60000,60000,就能很快返回这条数据......服务端可能会限制客户端某个时间段内获取的最大数据量吗?或者可能会有什么别的限制?想了解一下有没有针对这种过亿数据量的获取方法

回答 0
暂无回答
扫一扫
联系客服