说明一
尽量不要执行单条或小批量删除和插入操作,这样会产生小分区文件,给后台Merge 任务带来巨大压力,同理其他数据仓库也最好是攒批写入。
说明二
不要一次写入太多分区,或数据写入太快,数据写入太快会导致 Merge 速度跟不上而报错,一般建议每秒钟发起 2-3 次写入操作(要考虑并发量),每次操作写入 2w~5w 条数据(依服务器性能而定)
写入过快报错,报错信息如下:
1. Code: 252, e.displayText() = DB::Exception: Too many parts(304).Merges are processing significantly slower than inserts
2. Code: 241, e.displayText() = DB::Exception: Memory limit (for query)exceeded:would use 9.37 GiB (attempt to allocate chunk of 301989888bytes), maximum: 9.31 GiB
参考:
https://blog.csdn.net/clearlxj/article/details/121851665