海量鬼故事散文小说推荐平台

网站首页 > 经典故事 正文

StarRocks笔记-BE内存飙升排查经验

uegoods 2025-07-28 00:14:17 经典故事 30 ℃

StarRocks比较吃内存,引起内存飙升的原因主要有两个方面:

一是大SQL查询,扫描数据较多;

二是大数据量的导入,导致数据版本比较多,做数据整理合并的时候消耗内存。

数据导入是否正常

查看StarRocks监控报表(StarRocks可以接入PromeTheus),compaction score分数如果低于100,说明合并压力不大;如果分数过高,说明导入任务比较多,数据版本比较多。

锁定大SQL

可以分别通过be和fe的日志来查找大sql。

1、搜索BE日志

以关键字PeakMemoryUsage搜索be日志,然后排序,找到内存使用最大的的那一行,然后再回去找对应的fragment。

grep PeakMemoryUsage be.INFO.log | grep GB | sort -t: -k 2 -n -r

grep "PeakMemoryUsage: XX GB" -C 10 be.INFO.log

2、搜索FE日志

State=EOF|Time=84|ScanBytes=93976216|ScanRows=287875|ReturnRows=15|StmtId=6356953|QueryId=00176834-f469-11ec-834b-3c9d56e02d9e|IsQuery=true

这是一段fe的日志,其中State有两个状态,一是EOF,一是ERR。

如果是ERR,查找Time耗时大于5分钟的(跟配置的最大查询时间有关);如果是EOF,查找ScanBytes比较大的。

Tags:

最近发表
标签列表