레이드5는 한번도 안써봐서 궁금증이 생겼습니다. (jbod, raid0은 써봄)
OS는 Truenas core를 쓸 생각입니다.
하드는 16테라 18개를 꼽고 레이드5로 묶을 예정입니다.
당연히 현재는 200테라 이상 데이터가 없습니다.
이 상황일때 데이터도 안들어가있고 놀고 있는 하드 수명도 있고, 전기세 문제도 있어(가정에서 쓸 예정)
하드를 일부만 꼽아 놓고 쓰면서 차후 용량이 모자랄때마다 한개씩 추가를 해서 스토리지풀을 늘리는 방법을 생각하게 되었습니다.
레이드니까 당연히 고장난 하드 교체는 가능할건데 이게 가능하다면 스토리지 풀 늘리고 줄이는 것도 가능하지 않을까 싶습니다.
이렇게 최초 구성된 스토리지 풀에서 하드를 늘리거나 줄이는 것이 가능한지,
가능해서 다들 이렇게 쓴다 인건지
가능은 한대 그렇게 추천할만한 방식은 아니다 인건지 궁금합니다.
현재로써는 구글드라이브를 백업으로 사용하고 있고 새 시스템도 그럴 예정입니다.
다만, 백업있다고 하드 추가할때마다 새 스토리지 풀 만들면은 지금은 금방 백업 복원이 되지만
점차 십단위의 테라, 100단위테라를 가게되면 점점 빡세질거 같아서요
추가. 이런 아이디어가 왜 생각났냐면
현재 헤놀 nas가 jbod로 되어있고 스토리지 풀 가면
확장, 제거 버튼이 있는데 비활성화되어있습니다.
알고있는대로 jbod는 사용중 하드 죽었을때 볼륨 다 날리고 새로 스토리지 풀 잡아야 하니까
그런 하드가 죽었을때 대책?이 없어 애초에 확장, 제거를 못하니 비활성화되어있는 거고
shr이나 레이드5,6으로 하면 활성화 되지 않을까?
그럼 이렇게(용량늘때마다 하드 추가)쓸 수도 있지 않을까?
해서 생각난 것입니다
그럼 늘리는건 많은 사용자들이 잘 쓰나요?
그 정도를 구할 가격이면 하드를 똑같이 한벌 더 사서 로컬 백업장비를 가지는 정도 쯤 되길래 그건 포기했습니다ㅠㅠ
램은 128기가 넣는건 문제 없습니다
보드다가 4슬롯이라 딱 최대 128기가 나오거든요
여러 외국애들 의견 보니까 하드는 최소 10개는 묶어야 속도 좀 비빌 수 있다 해서 10개 묶으나 18개 묶으나 뭐 함 해보지 하는 중입니다
아직은 구글드라이브 백업을 할 수 있으니 설령 레이드 터져도 안 울 자신있는데 구글 드라이브 마저도 없어지면 알려주신 분산 저장을 해보겠습니다
결국 raid z1 * 3 개로 구성을 했습니다
찾아보니 하나에 raid z1&z2 그룹에 디스크를 많이넣는걸 비추하는 이유는 이렇더라구요
1. 디스크 하나 또는 두개 실패시 레이드 재구성을 위해 리실버링을 하게됩니다
리실버링시에는 남아있는 디스크에 부하가 심하게 발생하고 아무래도 이때 디스크가 또 죽게될 확률이 높습니다
그럼 레이드에 전체데이터가 다 날라가기때문에 위험합니다
2. 레이드 z1&z2는 전체 디스크에 데이터을 고르게 펼쳐서 기록하기 때문에 vdev 당 성능에 유의하셔야 합니다
예를들어 500MB/s 읽기/쓰기 성능을 보이는 디스크 4개로 raid z1 vdev를 구성하면 해당 vdev는
읽기성능 : 1.5GB/s
쓰기성능 : 500MB/s
를 가지게 됩니다
읽기 요청의 경우 패리티 디스크 한개를 제외한 나머지 디스크에서 동시에 읽어올수 있지만 쓰기의 경우는 하나하나의 디스크에 펼쳐서 기록해야하기 때문에 병렬로 처리되지가 않아서 발생하는 병목입니다
만약에 상동하는 성능의 12개 디스크를 단일 raid z1 vdev로 구성하면
읽기성능 : 6GB/s
쓰기성능 : 500MB/s
가 됩니다
성능페널티가 상당하죠..
그래서 12개 디스크를 단일로 구성하는게 아니라 이를테면 4개 디스크의 raid z1 vdev로 묶고 그렇게 나온 3개의 vdev를 raid 0 로 묶습니다
요거는 아마 트루나스 디스크 풀을 설정하시게 되면 보실수 있으실거에요
만약에 위처럼 구성하신다면
읽기성능 : 4.5GB/s
쓰기성능 : 1.5GB/s
가 됩니다
물론 12개를 통으로 묶는것보다 패리티 디스크가 2개 더 추가로 들어가지만 성능향상도 있고 더 안전합니다
댓글에 10g를 구성하신다고 하셨는데 위에처럼 vdev에 따라서 퍼포먼스가 달라지니 계산을 해보시기를 추천드립니다
여담으로 현재 구성을 hdd로 하시려는것 같은데 10g 성능을 전부 활용하시려면 아마 hdd 로는 성능이 부족하시지 않을까 싶습니다
트루나스에 zfs는 slog 라는 캐싱기능도 제공을 하니 한번 찾아보시는것도 좋으실거 같습니다
10g를 구성하려던게 막 엄청난 작업을 해서 10g가 아니면 안되겠어!! 이런 느낌보다
메인보드가 10g포트가 있어서 한번 써볼까? 해서 시작한 거였습니다.
그래서 물론 하드 10개로 쓸 수 있다는 소식을 들었을때 풀로 쓸 수 있으면 좋겠네 하지만 800~900 정도만 나와도
지금 100나오는 것보다 만족할거 같습니다.
(하드 속도 200잡고 10개면 2000이니 10g보다 느리진 않겠네 라고 생각했습니다)
최초에는 전부 sata스스디 채워넣을까 했는데 그 비용 대비 용량이 아쉬워서 하드로만 생각을 했고
메인보드에 m.2포트가 여유있어서 nvmeSSD를 한개 캐시로 넣을 생각을 하고 있습니다.
레이드5로 묶으면 읽/쓰모두 향상이 있는 줄 알았는데 쓰기는 속도 향상이 없는건 오늘 처음 알았습니다 ㅎㄷㄷ
말씀해주신 레이드50을 생각해 봐야겠네요
제경우에는 3개씩 레이드5로 묶은 6개를 레이드0으로 다시 묶을 수 있겠네요
하드 평균 200mb/s로 잡으면 1200mb/s로 간신히 10g 맞출 수 있겠네요
16테라 3개씩 묶으면 32테라만 쓸 수 있고 16테라 1개는 패리티로 빠지면
6개를 묶으면 96테라가 그냥 날라가네요 오....호.....라.......
맞습니다
이부분은 사실 좀 딜레마가 생기죠 ㅋㅋ 저도 고민 많이 했습니다만.. 빠르고 싸고 안전한 방법은 없더라구요
현재 크리드님 상황에서는 4개디스크를 z1으로 묶은 vdev 4개 + 2개디스크를 raid1 으로 묶어서 2개 풀로 쓰시는게 어떠실지 싶습니다
사실 raid1 으로 묶기보단 핫스페어로 2개를 달아두실수도 있는데 어차피 디스크가 돌고있을바에는 사용하시는편이 낫지 않을까 해서요
아무쪼록 합리적인 결론을 내시기를
한 몇시간 계속 찾아보며서 고민해봤는데
레이드0 갈꺼 같습니다. ㅋㅋㅋㅋㅋㅋㅋㅋ
10g는 써야하니 최초에는 10장 넣고 시작해서
용량 늘때마다 한장씩 넣고 풀 늘리는 방식으로 가고
대신에 날라가면 울꺼같은 데이터들은 그 사이 놀고 있는 하드에 콜드백업을 두벌 정도로 준비해두면
되지 싶습니다.
또 언제 터질지 모르지만 아직은 구글 드라이브 백업도 있고
글에는 언급안했지만 날라가면 울꺼같은 데이터들(사진이나 동영상)은 원래도 별도 하드에 두벌 콜드백업 해두고 있는 상태니 상남자의 레이드0 함 가보지 싶습니다.