[E] saving msg error code: 252 about clickhouse_sinker HOT 6 CLOSED

出现252后面，就会大量的出现

[E] saving msg error code: 202, message: Too many simultaneous queries. Maximum: 100 will loop to write the data

from clickhouse_sinker.

使用clickhouse_sinker，大量的
[E] saving msg error code: 252, message: Too many parts (300). Merges are processing significantly slower than inserts. will loop to write the data
错误。

请问如何解决？

这个是你插入太多碎片导致了，比如分区设计不合理，一批数据过小等

from clickhouse_sinker.

后面202 是循环插入 导致的， 这个我会fix下， 设置一个最大重试次数

from clickhouse_sinker.

多谢，

我使用clickhouse_sinker来同步kafka的数据到clickhouse,对于流量比较高的topics就很正常(2000/s)，但有些topics数据量比较少就会出现错误，可能设计个最低的缓存量，再一起批量写到clickhouse里？

from clickhouse_sinker.

多谢，

我使用clickhouse_sinker来同步kafka的数据到clickhouse,对于流量比较高的topics就很正常(2000/s)，但有些topics数据量比较少就会出现错误，可能设计个最低的缓存量，再一起批量写到clickhouse里？

hmm, 这个不好折中, 有的数据可能就是 非常少, 所以我这里提供了2个参数
flushInterval, bufferSize 可以到task级别去设置, 调大对应的参数

from clickhouse_sinker.

不过,自由度还是交给用户好,所以我加入了 minBufferSize, 这个配置下 buffer太小 不会受到 flushInterval 影响

from clickhouse_sinker.