线上排查：新生代老年代比例错误问题 起因 线上一个应用频繁full gc，排查发现单pod总内存3g的情况下新生代只有200mb，很奇怪，于是到容器里查看jvm参数。 jamp -heap 1，打印 Heap Configuration: MinHeapFreeRatio = 40 MaxHeapFreeRatio = 70 MaxHeapSize…
问题的发现 早上上班，运维告警，说账户模块的服务全部CPU以及内存告警，当时正在地铁早高峰，所以他们留下了一台在dump，其他机器立马重启，重启后恢复，上班后立马开始排查。 一开始dump文件没出来，后续运维告知dump也失败了，其实按照结果来看，这个问题要是有dump的话， 当时一眼就能看出来问题，可惜没dump走了不少弯路。 问题的分析 从日志…
问题的发现 最早问题的发现在于用户提的，用户提出他支付时支付失败，过了一会儿再试就好了，于是翻日志，查询到当时duboo调用出现了下类错误： [TraceID:20200527145701489] DEBUG c.y.c.s.w.s.m.m.a.HandlerMethodAspect - Throw: {} com.alibaba.dubbo.rp…
问题的发现 发现当然还是运维大哥因为发现告警，包括自己邮箱也一堆告警，然后运维大哥做了dump以及jstack后立马重启，重启后暂时解决。 问题的排查 有dump和jstack记录，当然是好分析的，先分析这两个，原因就比较明显了： 1. dump记录拉到本地用java自带的工具查看，发现大量netty的MpscArrayQueue对象没有释放，占用…