로딩...

salji.ro

장애

0:푸시 X, 랭킹 X

  • [diary] diary:2024-05-18
    • 알람 발송안됨, ranker 인지 redis, keyword-notifier-fcm 인지 재시작, 기록 바로 못해서 기억 없음

1:푸시 X, 랭킹 X

{
  "level":"fatal",
  "file":"/dist/index.js",
  "err": {
    "type":"Error",
    "message":"Connection terminated unexpectedly",
    "stack":"Error: Connection terminated unexpectedly\n    at Connection.<anonymous> (/app/node_modules/.pnpm/pg@8.11.3/node_modules/pg/lib/client.js:132:73)\n    at Object.onceWrapper (node:events:632:28)\n    at Connection.emit (node:events:518:28)\n    at Socket.<anonymous> (/app/node_modules/.pnpm/pg@8.11.3/node_modules/pg/lib/connection.js:63:12)\n    at Socket.emit (node:events:518:28)\n    at TCP.<anonymous> (node:net:337:12)"
  },
  "msg":"dbClient onError"
}
  • redis 가 아니라 pg가 떨어짐, fatal 이후 재시작됨
    • pg 가 메모리 치고있음, 3번 재시작됨
  • 추후 커넥션이 자주 떨어지는거 같은데 pg 메모리 점검 필요 -> 2x 로 늘림
  • keyword-notifier-fcm, ranker 재시작으로 복구
    • fatal 에러 이후 재시작되지 않는게 원인
  • 조치
    • pr head commit 으로 namespace 전체 배포(4개)
    • 선머지
  • 추가
    • 잘못봤었는데 callback 아안에서 에러핸들러가 호출되면서 종료되지 않는 이유였고 process.exit 추가
      • 05205291d63ead0f5f56291e45ade2e6224267a5
    • 디비 커넥션이 자꾸 끊어지는 문제는 실제로 존재하는 거 같아서 메모리 확장 해야할 것으로 보임(2x)

0:푸시 X