안녕하세요,
제가 있는 연구실에서 가지고 있는 데이터 보관 비용이 데이터 사용 빈도에 비해서 월마다 너무 많이 들어서... (펀드가 말라갑니다 ㅠ) 로컬로 스토리지 서버를 구축해서 사용하는게 어떨까해서 질문드립니다.
제가 서버에 대해 아는게 없어서 질문이 두루뭉실해서 죄송합니다만.. 데이터는 대략 3-50TB 정도 되고, 주 용도는 7-10년간 보관입니다. 자주 쓰이는 데이터들은 아니라 읽고 쓰는 속도가 빠를 필요는 없지만 만약 요청이 들어온다면 꼭 제공할 수 있어야 되서 안정성이 중요할 것 같습니다. 그래서 안정적인 백업과 기본적인 암호화는 필요로 하고 있습니다.
예산은 대략 해외 (미국) 구매로 4-500 만원 ($3000-$4000) 선으로 생각하고 있는데... 제가 아는게 없어서 적정 금액인지 잘 모르겠네요. 제가 아는 선에서 찾아보니 시놀로지 NAS로 개인 서버를 많이 구축하시는 거 같던데 이 쪽 방향으로 더 알아보는 게 좋을지...
제 개인적인 관리 능력은.. 리눅스는 기본적인 유저 선에서 익숙하게 사용할 수 있습니다만 서버 관리는 전혀 해본적이 없습니다. 어떤 의견이라도 저 같은 초보한테는 큰 도움이 될 것 같습니다.
미리 답변 감사드립니다!
말씀하신 내용보면 데이타의 유지 보관에 대한 거라고 보입니다...
아래에 대용량 스토리지에 10g 이더넷은 아닌듯 합니다. ( 제가 EMC VMAX 급만 5대 이상 설계 제안 도입 구축한 사람인데다가 10g 나 SAN 같은 고속 네트워크에 1차 3~4차 백업에 DR 까지 한 사람이니까요.. )
참고로 시놀 , Qnap 은 그냥 저장장치 레벨이라고 보시면 되구요... netapp 부터 보통 전문 스토리지 NAS 회사구요..
EMC VMAX, HP 3par, IBM XIV 등등은 전문 장비라고 봅니다.. netapp부터 몇천 단위라 어느정도 전산규모가 있어야 하구요.... )
예산으로 봤을때는 서버 + RAID 컨트롤러 6포트 이상에 구축이 젤 싼데 문제는 아랫분 말씀대로 리눅스나 서버 관리적 측면이구요... ( 여기 보안 암호화 까지 하려면 번거롭져.. )
시놀로지도 구축은 6베이 이상에 12TB 이상 하드로 구축은 가능하겠지만 2차적인 안정성에 문제가 있따고 봐야져....
젤 저렴한건 개인 PC 나 공용 PC 에다가 1처 저장 + 시놀로지 2차로 보이구요... ( 과거에 저희도 많이 하던 방법인데... 추후에 다 바꿨져.. )
그게 솔직히 일반적인 데이타 안정성을 위한다면 절대로 아니라고 봅니다... 1차 데이타 저장 장비만 해도 전문 서버 레벨로 가면 디스크까지 새거가 대략 만불 가까이 생각하셔야 합니다.. 거기다 2차 백업이나 아카이빙 ( 백업을 압축 보관 ) 까지 하신다면 더욱 더 늘어나구요...
그냥 속도에 문제가 없다면 쓰시던 서비스를 저렴한 걸로 바꾸던지.... 아니면 계속 유지하는 걸 추천 드리고... .
안정성을 위한다면 시놀 + 2차 백업 기존 서비스 정도 권합니다...
일단 서버쪽은 PC 급으로 리눅스/윈도우서 버 로 간다고 해도 구축이나 관리에 힘을 뺴는 경우가 많아서...
그리고 장애 처리도 그렇구요....
저도 뭐 없는 에산을 더 따오면서 늘린 경우도 있고, 또 윗분들의 착오와 강한 압박에 의해서 줄였따가 안도한 적도... 욕먹은 적도 있습니다.... 일단은 어떻게 됐든 안전하게 유지하는게 젤 좋습니다...
구축하고 난 다음에 뭔가 문제가 많으면 결국은 운영자가 욕 다 먹거든요...
힘드시더라도 본인이 편한대로 가셔야... 그게 답입니다..
요새 나스가 좋아졌다고 해도 결국엔 개인용이고, 자료가 날라갔을때 아무도 책임지지 않습니다. 하다못해 재수없어서 번개맞고 나갈수도있어요.
일단 제가 아는 범위내에서 선택할 수 있는 사항을 말씀드릴게요.
물론 제대로 갖추려면 아래와 같이 세밀하게 구상을 해야 합니다. 정말 중요한 데이터면 당연히 투자를 해야지요. 다만 이게 일반 연구실이나 일반 업체에서는 언감생심이기도 합니다. 비용도 비용이지만 운영및 유지관리도 신경써야 하니 보통일이 아닌거지요. 그래서 클라우드 서비스가 있는 것이기도 합니다. Oracle, Azure, Google, AWS 등의 Archive (액세스는 적고 장기간 보관이 필요한 경우) storage 서비스를 검토해 보시는 것이 좋아보입니다. 앞 서비스들이 접근이 불편하시다면 Dropbox business도 고려해봄직 한 것 같습니다.
그럼에도 불구하고 굳이 로컬 구성을 하고 싶으시면 지금 시스템도 잘 사용해 오셨고 실제로 50TB를 한 번에 조회해야 하는 건 아닌 것 같으니 SAS + 10GB Network은 꼭 필요하진 않을 것 같구요. 시놀리지 50~80TB 시스템 (SATA + 1GB LAN) 두 개를 구입하셔서 각각 raid 6 로 구성하고 하나는 직접 액세스용 다른 하나는 백업용으로 구성하는 것도 좋을 것 같습니다. 연구실에 UPS 시스템이 있다면 정전은 크게 신경쓰지 않으셔도 될 것 같고요.
어쨌든 @아물님 말씀 처럼 날아가면 골때립니다. ㅎㅎ raid 6구성으로 하면 살리는 게 어렵지는 않지만 유지관리도 신경쓰이는 부분이지요. 연구자 입장에선 연구에 집중하고 싶고 시스템 관리에 소비하는 시간도 아까울테니까요.
여러 방도로 고민해 보시고 적합한 방법을 선택하시기 바랍니다.
일단 시놀로지는 그런기계가 아닙니다...
데이터가 50TB 정도 되고...
향후 5~7년 정도 데이터 보관과 신규 생성되는 데이터 보관까지..
200TB 정도는 설계하셔야 되고..
고급 Raid시스템이 요구 됩니다.
그리고 사용자가 많지 않지만 데이터 자체가 커서 10G Ethernet이 필요합니다..
내구성을 위해서.. SATA 보다는 기업용 SAS 드라이브를 사용해야 합니다...
예산의 규모는 너무 작군요... 저 금액으로는 시놀로지도 못사요...
추천드리는 것은 슈퍼마이크로 솔류션이네요..
NetAPP, EMC 이런 스토리지는 비용도 비싸지만 유지보수 가격도 비싸요....
가능한 한도 내에서 설계해보면...
SAS Enter 6TB X 36개 : Raid 6 + 2
SAS Enter 8TB X 36개 : Raid 6 + 2
슈퍼마이크로 4U 솔루션.
E5-2630 V4 2CPU
RAM 64GB
SAS 12G 컨트롤로 (SATA는 아직 6G 까지 밖에는 없음)
SAS SSD 200GB For ZFS Cache
O/S FreeBSD with ZFS (고용량이라 NTFS 로는 텍도 없음, 유지관리 않됨)
(NFS, ISCSI, SMB, 지원)
IPMI 원격관리
PSU 1600W dual 이중화구성
45도 이하로 유지될 수 있는 냉각 솔루션..
이 정도 이상은 설계해 줘야 합니다...
하드웨어는 이 정도 설계 해 줘야 하고..
스토리지 제난상황에 대한 예비 Plan을 모두 확립해야 합니다..
드라이브 나갔을때.. 네트웍이 끊켰을때. 부팅 못할때. 보드가 죽었을때.. 파워가 죽엇을때..
바이러스 오염됬을때... 랜섬웨어에 당했을때..
이러한 제난을 극복하도록 미리 플렌을 다 짜야하고...
평소 유지보수 및 정기적은 백업작업이 스케즐 되야 합니다.
월 풀백업
주단위 증분백업
일단위 증분백업
등등....
전문가의 도움이 필요해 보입니다...
1. 전문 서버관리 담당자가 없다
2. 항온항습 서버실 유무?
3. 중요한 Data이기에 지속적인 관리가 필요.
위의 어느 분이 댓글로 상세하게 적어놓으셨네요.
크게 스토리지는 NAS 전문제조사 스토리지 제품(시놀로지, NetApp, 기타)과 일반 서버제조사 제품 브랜드로 나뉘고 가격차이가 큽니다.
차이가 나는 부분은 A/S 기간과 서비스 품질입니다. 전문 NAS 업체의 A/S 정책은 일반 서버 제품군과 비교하여 제한적입니다.(1년으로 제한적이거나 A/S기간 연장이 없어 보통 총판 벤더에서 자체적 진행)
(일반 서버 제품군은 기본 3년 warranty)
또한 별도 IT관리자가 없다면 간편하고 편의성 높은 NAS 전문 업체 제품 추천합니다.
NAS의 디스크 구성은 윗 어느분께서 자세히 답글을 달아 주신대로 당연히 SAS형태 DISK로 적절한 RAID구성이 필요합니다. 디스크 비용부분에 문제가 되시면 RAID5구성으로 검토하셔도 괜찮습니다.
문제는 Backup 장비 구성입니다.(비용문제)
이정도 Data 이고 중요한 연구 Data라서 지속적인 관리가 필요하다 하시면 별도로 Backup NAS 서버 구축이 필요합니다. 금액은 동일한 금액 한대더 들어간다고 보시면 됩니다.
NAS 전문 장비들이 BackUp 솔루션도 기본장착되아 있어 별도 Backup 솔루션 비용없이 Backup scheduling 이 가능합니다. 암호화도 제공함
그리고 DR(disaster recovery)구현까진 예산이 부족하실것 같아 DR은 안하시고 운영하셔야 할것 같네요.
너무 복잡하게 생각하지 마시고 사전에 어느정도 스터디와 구축계획을 세운후
전문 NAS 구축 업체에 컨택하시면 알아서 설계 구축 백업 다 해주는데 사전에 빡친 스터다를 해야 호구되지 않습니다. 주로 Disk raid 구성과 단일 디스크의 용량을 어떤 디스크로 할것인지? 6TB? 8TB? 로 할것인지? 를 검토하세요
반드시 3업체 이상 비교 견적 진행하세요
아 그리고 NetApp 해외가격 알아보신듯 한데 자체적으로 AS가능하시면 모를까 하지마세요. 가격차이가 엄청 차이나긴 하는데 .. 수입도 직접 손으로 들고 오는것 아나면 통관에서 전파인증문제로 통관 안됩니다. 그냥 들고오면 디스크 깨질수도 있습니다.
참고로 여기말고 SharedIT.co.kr 가서 문의해보거나 QA 찾아보세요