clickhouse21.7.11.3 优化-写入和删除

说明一

尽量不要执行单条或小批量删除和插入操作,这样会产生小分区文件,给后台Merge 任务带来巨大压力,同理其他数据仓库也最好是攒批写入。

说明二

不要一次写入太多分区,或数据写入太快,数据写入太快会导致 Merge 速度跟不上而报错,一般建议每秒钟发起 2-3 次写入操作(要考虑并发量),每次操作写入 2w~5w 条数据(依服务器性能而定)

写入过快报错,报错信息如下:

1. Code: 252, e.displayText() = DB::Exception: Too many parts(304).Merges are processing significantly slower than inserts
2. Code: 241, e.displayText() = DB::Exception: Memory limit (for query)exceeded:would use 9.37 GiB (attempt to allocate chunk of 301989888bytes), maximum: 9.31 GiB

参考:
https://blog.csdn.net/clearlxj/article/details/121851665


原文出处:/show_1IX3QjzPIYJO.html