안녕하세요 클리앙 운영자입니다.
우선 오랜 기간 동안 사이트가 중지된 점 회원분들께 깊이 사과 드립니다.
2023년 2월 21일 20시경 부터 일부 접속자들에게 수 초간 다른 계정으로 로그인된 화면이 노출되었습니다.
그리고 그 중 일부는 다른 계정으로 글 또는 댓글을 작성할 수 있었습니다.
이를 확인하고 22일 01시에 사이트 접속을 중지하였으며, 그 이후 원인파악과 문제해결을 위해 지금까지 작업하였습니다.
사건 발생 후 조치까지의 시간이 소요된 점 사과드립니다.
최근 며칠 동안 저희의 구조나 사이트 소스의 수정은 없었지만 모든 가능성을 염두에 두고 전수조사를 하였으며,
이틀동안 로그와 흔적을 검토 하였지만 외부의 침입이나 공격의 징후는 없었으며 로직의 오류도 확인되지 않았습니다.
그리고, 많은 이용자가 다른 아이디로 로그인된 화면을 확인하였지만 매우 짧은 시간동안 이루어져 실제로 다른 아이디로 글쓰기나 댓글쓰기등이 이루어진 사례는 글쓰기 2건, 댓글 3건, 스크랩 2건 공감 1건으로 총 8건의 오류로 인한 흔적이 남았음을 확인하였습니다.
시스템의 오류로 인해 피해를 보신 모든 분들께 다시 한번 깊이 사과드립니다.
수 초간 다른 아이디로 로그인정보가 변경되거나 로그인이 풀리는 증상으로 보아 어딘가에서 로그인정보를 cache하는 것으로 의심되나, 저희 내부에는 관련 내용이 없으며, 저희 사이트를 cache하고 있는 ddos 대피소에서는 로그인 등 dynamic page는 cache하지 않는다는 답변을 받았습니다.
그리고 21일 오전에 발생하였던 IP 중복 및 내부 IP 노출 현상은 ddos 대피소의 설정 오류로 인한 증상이며 12:30경 해결이 완료되었다고 전달받았습니다.
저희는 중지된 동안 다양한 가능성을 고려하여 시스템의 구조를 보완/변경하고, 그 밖의 우리가 할 수 있는 모든 재발방지를 위한 조치를 하였습니다.
참고로 저희는 안정성이 입증된 JAVA Spring Security의 core logic 변경 없이 사용하여 인증과 권한에 대한 부분을 처리하고 있으며 주기적으로 보안관련 업데이트를 진행하고 있습니다.
앞으로 지속적이고 심도있는 모니터링을 통해 재발방지를 위해 최선을 다하겠습니다.
또한 야간 또는 주말에 발생하는 오류에 대해 대응 할 수 있도록 대비책을 마련하겠습니다.
오랫동안 기다려주시고 피해를 받으신 분들께 다시 한번 고개 숙여 사과드립니다.
—————————————————— 2.23 21:30 추가
정확한 원인이 파악되었습니다.
저희가 서버에서 세션을 저장하고 있는 redis(일종의 메모리db)가 한계수치 이상의 부하를 받으면 인덱스가 깨지는 현상이 발생한다고 합니다.
국내 대형 쇼핑몰 두곳에서 최근 유사한 증상이 있어 관련자들에게 문의해본 바 저희와 같은 증상이었습니다.
이번의 여러 조치 중 redis 통신 최적화 작업도 진행하였기에 다시 재발되지 않을 것입니다.
더 줄일 수 있는 요소가 있으므로 추가적인 작업을 진행할 예정입니다
마치 받아야 할 권리가 있는 듯하게 쓴 것 같아 반성하며 수정했습니다.
@유애나Futurism님
(수정) 모르는 사람에게 얼굴보고
’돈 내고 이용하세요?‘
라고 하실 분인지 모르나, 대면으로는 이렇게 반성하는 게 어려웠을 것 같은 훈계가
상당히 따끔했네요^^
운영자님 멋져요.
수고하셨습니다.
그리웠네요.
수고하셨어요.
아무래도 중독된 것 같네요.
고생많으셨습니다.
몇 일 -> 며칠
정말 다행이에요,,ㅠ