별거 없습니다.
소수의 까탈스러운 고객(?)들 중에 인프라 다 구축해 놓으면 이런 질문을 하는 분들이 꽤 있습니다.
"이 서버 Fault 발생해서 Service Down 나면 어떻게 해요?"
보통 HA 구성해 놓았으니까 문제 없다고 말합니다. 그러면
"아니 제 말은 이 인프라 다 Down 되면 어떻게 해야하냐고요"
???
다시 인프라 켜서 서비스 살리셔야죠. 인프라 엔지니어로써 인프라 복원 이외의 할 일은 없다고 하면
"아니 정전이나 화재가 발생하더라도 데이터나 서비스들은 유지 할 수 있는 방안이요"
그러면 별도의 DR 구축해 놓고, 데이터 동기화 해놓으라고 하면
"아니 지금 이 상황에서 그런 상황이 발생해도 데이터 다 유지 시키고, 서비스들 복원하는데 문제 없게 만들면 되는거 아니에요?"
정전이랑 화재가 났는데 그걸 어떻게 하라는건지... 백업 솔루션 외부에 별도로 구축해 놓았냐고 하면
"아니 그런건 모르겠고 (없다는 뜻) 무슨일이 발생해도 서버들 다시 키면 서비스 복원 되게 할 수 있죠?"
전기 다시 들어오고, 서버 네트워크 장비에 이상 없고, 디스크와 데이터에 손실이 발생하지 않으면 복원되는데 문제 없다니까
"아 그러니까, 정전이 발생해도, 화재가 나도, 서비스 이상없게 할 수 있냐고!!"
대체 어쩌라는건지...
인프라엔지니어라고 만능은 아닌데.... 나보다 본인이 본인 소속 회사의 IT인프라 현황을 잘 알고 있을텐데, DR 구축 여부라던가, 화재나 정전 발생시 대응 방안을 본인이 숙지하거나 수립해야지 인프라엔지니어한테 막연하게 어떻게 대응해야하냐고 물어보면 어떻게 말해야 할까요....
정전나면 전기 복원 될때까지 서버 못키고, 화재나서 디스크 손실나면 데이터 손상 발생해서 고장나고 (물론 서버 자체가 불붙어서 고장날 수 있고)
IT인프라 관리자 분들중에 이런 황당한 질문을 그것도 인프라 구축 다 하고 나서 물어보는 분들 심심치 않게 보입니다.
메모리100프로 사용률 직전인 알람이 떠도 가만히 있다가 제가 와서야 저게 무슨 알람이냐고 물어보기도 하고...
가끔씩 느끼는 거지만, 컨설팅이나 요구사항 정의 단계에서 구체적으로 원하는 바가 어떤지 말을 제대로 안하는 고객일 수록 인프라나 서비스에 투자를 안하더라구요. 초기 단계에서 컨설팅과 요구사항 정의만 제대로 했으면 이런 말이 없어야 정상인데, 대충 듣고 구축하고 나면 엔지니어한테 따지겠다는 마인드인 경우 꽤 있습니다. 우리도 납품 받은 내역과 설계와 협의 내용을 기준으로 구성하기 때문에 그외의 부분들은 신경 못쓰는게 당연하구요.
이따금씩 방문해서 장비 사용률 높아서 장비 추가 증설이 필요하다고 하면 "돈 없습니다" or "예산 안잡힙니다" 라면서 지금 상황에서 최선의 방안을 달라고만 하고.
문서나 저의 모든 지식들을 동원해서 최선의 방안과 솔루션을 제공해도이런 고객들은 만족을 안하거나, 신경도 안쓰더라구요.
이런 고객들 만나면 진짜 스트레스 많이 받습니다. 어느순간 해결책을 제시해주고 싶지도 않게 되더라구요.
그렇다구요...ㅠㅡㅠ
사람으로 치면 척추인데 말이죠.
복잡한 배포가 발생하거나 api 서버가 바뀌는것도 미리 다 반영해놓고..
가장 중요한 실 서비스를 DR로 넘겼다가 다시 BACK을 라이브 환경에서 주기적으로 해야하는데 이거 아무도 안하죠.증권이랑 은행 코어시스템은 법적으로 해야해서 하지 나머진 아무도 안하죠
화재, 지진, 화산폭발 같은게 나도 안전하게 최소 300km 이상 떨어진 곳에 핫사이트도 2개 이상 구축하고
정전에 이상이 없게 운영하려면 비상발전기+배터리 잔뜩 깔고 발전기 돌릴 유류도 80% 이상 채워두고
장비도 다 이중, 삼중화 하고 PaaS도 미리 가입해서 설정까지 다 동기화 시켜두면서 운영하면 되죠
그게 다 돈이죠
그래서 특별히 강제하지 않는 이상 DR을 잘 안하려고 하는 거죠
DR이라고 단어는 쉽게 말하지 그게 돈이 얼만데..
'회사 하나 똑같이 차리시고 평소엔 안쓰고 데이터만 복사하시는거에요~' 해야 알아들을란가..
장애 터져봐야 정신 차리죠..
돈 없으면 사업을 말아야 하는데 남들이 돈을 막 쉽게 버는 줄 아니 눈이 돌아서 해내라고 빽빽빽 하는거죠.
소리지른다고 되면 우리 모두 산 정상 올라가서 빽뺵거리고만 있으면 되지요
ㅋㅋ 재밌는 대표들 많...
SE 엔지니어들만 죽어나겠죠..후..
외국계 IT회사를 가면 차라리 능력에 따라서 인정은 받으면서 일 할 수 있겠더라구요.
저도 10년 전에 한국 대기업 IT에 잠깐 있었는데... 그 당시 담당 업무가 운영팀(외주) 관리하는 업무가 있었어요.
그때 저 윗사람한테 눈치 많이 먹었어요 왜 그렇게 좋게 업체를 대하냐고요...
쌍욕하면서 갈구면 뭐가 더 잘되는 건가? 라는 의문을 품다가 결국 제가 우울해져서 그만 뒀네요.
오히려 그때 업체에 계시던 분들이랑은 페북으로 연락도 하고 지내네요..
지금 외국회사다니면서 외국IT 업체를 보면 그래도 인정받으면서 정년까지도 일 하는 사람들이 우리나라에 비해서는 훨씬 많더라구요.
쌍욕하고 갈구면서 본인들이 심리적인 우위를 점하고 싶어하는건지....
본인들 수족처럼 써먹으려는 고객사 담당자들도 있습니다. 하지만 현실적으로는 그렇게 해줄 수 없죠. 우리도 그 고객사에 시간을 할해해서 작업하는 입장이니까요.
무엇보다 엔지니어는 외부인이라는 점을 망각한다는거죠. 실제로 엔지니어들 사이에서도 소문이 납니다.
외부인이자 엔지니어들한테 안좋은 인상 남겨봤자 좋을게 없습니다. 실제로 갑질로 유명해서 어느 회사에서도 유지보수 안맡아서 벤더사에 연락해서 파트너사 연결받는 경우도 봤습니다.
결국 선임과 엔지니어는 짤렸지만(!) 엔지니어는 더 좋은 회사로 스카웃 되었고, 선임 대신 온 다른 사람이 오자마자 전부 클라우드로 옮기게 되어 임원 빼고 해피엔딩으로 (덕분에 개차반 인성 선임도 사라졌으니) 끝났다고 합니다.
라는 희대의 개소리로 클라우드를 관철시켰습니다.
덧붙여 AWS보다 GCP가 더 싸서 좋다고 하는 바람에 다들 파이어베이스 책 사서 보느라 난리였네요..ㅎ…
북한이 IDC에 미사일쏴서 통으로 폭파시켰다 가정하고 서비스가 유지되도록 개발하라는 갑님의 지시를 받고 있습니다...
아 그리고 트래픽이 서버 여러대에 분산되어 있는데.. 서버가 하나씩 하나씩 죽어나가는 상황에서 수용할 수 있는 전체 트래픽 성능은 유지되도록 개발하라는 갑님의 지시도 있네요....
가능한 방법이야 다양하지만... 저 이야기가 나온게 서버당 성능을 더 끌어올려서 납품되는 서버수량을 줄이라고 한 뒤에(납품가를 줄여라) 나온 이야기입니다...
아 그리고 서비스특성상 클라우드에 올리지는 못하구요....
글만 봐도 힘드시겠네요 ㅎㅎ
그래 놓고 매일 하는 질문이 저런거.. 어쩌라는건지.. 돈을 쓰면 된다고 말해도 그거 말고 대책을 세우라고..ㅋㅋㅋㅋㅋ
지방에서 사이트 돌고 있는데 전화 안받았다고
(센터 들어가니 못 갖고 가는건데)
선임부터 해서 팀장, 영업에 다 전화 했던
서울 금융권 고객이 떠오르네요.. 하하하
우리 같이 힘내시죠... ㅠㅠ
(ACTIVE - STANDBY)
결국엔 돈이죠.
돈만 주면 다 해주는데 돈을 안주니까 문제죠.
제가 식품유통 쪽에서 일을 잠깐 했었는데, 그 때 당시에 이상기온 때문에 바다수온이 높아져서 특정 어종이 수확이 안되었습니다. 뉴스도 나올 정도였죠. 그걸 손질해서 파는 상품도 당연히 생산이 줄었겠죠? 그래서 그걸 매입하러 온 고객에게 '뉴스로도 보시지 않았느냐 이래이래서 우리도 물건이 안 들어온다 구하기 어려울 것 같다' 라고 설명했는데 돌아온 소리가
"우리 업장 그거 없으면 매출 떨어지는데 책임질거야? 어떻게든 구해와"
.......내가 지구도 아니고 그걸 어떻게 만들어와요. 지구도 만들려면 몇 달은 걸려요........ㅋㅋ
이 서버는 파워서플라이가 2개라 장애나면 자동으로 두번째 파워서플라이로 대체된다고 설명해주면 둘다 장애면 어떡하냐는 질문으로 이어지죠 ㅎㅎㅎㅎ
그건 니사정이죠. 라고 말하고 싶지만 ㅎㅎ
2개가 불안하면 3개를 하라 합니다.
그럼 전기선이 나가면 어쩌냐고 또 지랄(?)을 이어 갑니다.
그럼 전선을 이중화 하라고 해줍니다. 그럼 전력망이 나가면 어쩌냐고 묻죠. 그럼 발전기도 구비하라고 말해 줍니다. 그럼 발전기도 장애가 있거나 기름떨어져서 동작이 멈추면.... 끝없이 질문합니다. 왜 세계3차대전까지 안물어 보는지 모르겠는데 아무튼 계속 물어요.
질문의 핵심은
어떻게 무중단 시스템을 만들 수 있냐는 거죠. 전산 관리자로서 아주 좋은 질문입니다. 그런데 문제는 지가 돈을 얼마썼는지는 생각을 하지 않는 다는 겁니다. ㅋㅋㅋㅋ 파워서플라이를 2개만 샀다는 것은 파워서플라이 1개의 장애에 대해서만 돈을 썼다는 거고 그것만 요구를 해야죠. ㅎㅎ 파워서플라이 2개 사 놓고 세상의 모든 전기관련한 장애에 다 대응할 수 있도록 요구합니다.
끝이없죠. 결론은 ’가용예산 범위내 최선‘ 이죠.
엔지니어"로써" => 엔지니어"로서"가 맞습니다^^
로서'는 '어떤 지위나 신분이나 자격을 가진 입장에서' 란 뜻을 나타내며, '로써'는 '재료, 수단, 방법'을 나타냅니다.
네. 설비 들이면 가능하죠! 내년 예산 xx 억 잡아주세요.
설비 기능을 이야기하면 빙빙돌기만해서 그냥 얼마짜리 설비 들이면 뭐가 된다 이야기 하는게...
IDC나가면어케 해요?
=> UPS 사시면 됩니다.
UPS나가면 어케 해요?
=> IDC 이중화 하시고 UPS는 안전 백업용으로 보셔야 합니다.
그 IDC도 나가면 어떻게 해요?
=> IDC를 여러개 만드시죠
그럼 돈이 많이 들잖아요
=> 인프라는 원래 돈입니다.
돈 안들게 안나가게 해주세요.
=> 세상에 그런건 없습니다.
에플은 된다던데요.
=> 그럼 애플만큼 돈 쓰시면 됩니다.
저희는 예산 없어요 돈 안쓰고 싶어요
=> 그럼 장애 겪으셔야죠.
프로그램 잘 짜서 안되요?
=>세상에 전기 안들어오고 네트워크 안되는데서 돌아가는 프로그램은 없습니다.
“기술력으로 물리법칙을 넘어서서…”
이번 카카오같은 사고는 장애가 아닌 ‘재난’으로 접근해야 하는데, 접근방법자체를 잘 못 하는 사람들이 많죠.
소규모에 담당자/책임자가 관련지식 없는 사람이 많습니다.
전원 이중화(랙 오른쪽, 왼쪽 콘센트 전원 인입이 다릅니다) 까지는 봤습니다.