전직 전산 엔지니어 출신이며 2018년에 위키 솔루션 confluence server를 사용하기 위해 홈서버를 구축 했습니다.
처음에는 2009년 구입했던 개인 PC를 사용했던 1세대 i7 970 CPU를 사용했는데 이놈이 전력소모량이 90w 입니다. 2개월 정도 반나절 운영하다 결국 저전력 시스템으로 변경하였습니다. 전력소비가 월 90khw 정도 즉 850리터 냉장고 2대 정도 나갑니다.
하드웨어는 h370Pro M/B, i5 8400t, 64GB ram(16gb*4), 250ssd, 512nvme 2개, 8TB HDD 이렇게 구성했습니다. esxi 6.5 를 설치하여, 초기 리눅스 12대, 윈도우 4대를 운영 하였습니다. 평균 전력소모는 40w 정도였습니다. 월 38~45kwh 정도 사용했습니다만 2019년 부터 5년 가까이 운영하다 보니 하드웨어 도후화, esxi 6.5 단종 및 esxi 무료버전 종료 라는 2가지 문제가 생겼습니다.
2023년 메모리 가격 폭락으로 디램있는 삼성, 마이크론 1TB nvme 2개를 개당 50~60달러에 구입, OS가 작동할 512GB SSD는 6만원, 16GB 메모리도 폭락하여 개당 6만원 정도에 4개를 구입, 8500T CPU 중고 7만, h370Pro M/B 리퍼제품으로 8만원에 구입 하여 동일한 시스템을 구성하였습니다. proxmox 로 이사시작... 그러나 10년 이상을 esxi 만 사용해서 적응이 쉽지 않았습니다. 결국 예전에 받아놓았던 esxi8 무료라이센스로 이전 구축
2026년 1월 esxi8 패치가 적용이 안됩니다. 강제 패치를 적용하면서 더이상의 한계점이 온 상황이라서 proxmox 로 이사를 시작했습니다. ai 있어서 vm 마이그레션 아주쉽게 진행하였습니다. 시스코 네트워크 장비를 3만 이라는 매우 저렴하게 구입하였으며, 보유하고 있던 i350-t4 네트워크 카드를 사용하여 LACP 네트워크 기술, SR-IOV 를 동시에 비교 테스트하여 진행을 했습니다. 결론적으로 1GB 기반에서는 sr-iov가 가져오는 장점이 없었으며, 다중서버를 이용하는 관계로 LACP를 셋팅하였습니다.
8년간 홈서버를 운영하면서 첫째는 안전성 확보, 두번째는 저전력 입니다.
운영중인 VM:
reverse proxy : 공인 IP 1개를 네트워크 포트 포워딩으로 10대의 각종 서비스를 운영, letsencrypt의 TLS 인증연동
postgresql: confluence server 의 저장DB
mariaDB: 별도 구성
OMV: smb, nfs 서버로 사용하고 있음. 메모리 캐싱으로 성능 튜닝하였음.
confluence server: 별거 없지만 2개의 사이트를 운영하고 있음. (EOS 업그레이드 불가 ㅠ)
Immiach: 사진 백업 서버
plex: 동영상 서버 (2019년 Lifetime Plex Pass 라이센스 구입)
openVPN: 보안 통신서버
mattermost: 무료 메신저 서버.
웹서버: 각 6대
opencloud: 개인 클라우드 서비스
TIG: 모니터링
n8n: 자동화
dify: ai 관련
운영중인 LXC:
AdGuard : DNS 보안
Ansible : 자동화 (수십대의 VM 을 동시 업데이트)
FreshRSS : 빠른 뉴스피드
Syncthing : 핸드폰 녹음파일, 사진파일, 카톡첨부파일 백업
RustDesk : 원격조정
현재 CPU 점유율은 기본 35% , 최대 90% RAM 사용량은 52GB 사용중입니다.
클러스터는 전력소모가 크기 때문에 구성하지 않았으며,
백업을 위하여 디스크 엔클로저를 장착하여 별도의 HDD 에 백업을 받았으나, 이베이에서 50달러에 구입한 Dell PC 를 사용하여 PBS 서버를 별도로 구성하여 스케줄을 사용하여 자동 부팅 후 백업 되도록 구성했음
요즘은 귀찮아서 아무것도 안하고 있음.
홈서버를 구성하면서 아쉬웠던 점
1. S/W 라이센스의 가격상승
esxi 무료버전 더이상 제공하지 않았음.
confluence server 는 라이센스를 종료하였고, 클라우드 구독제로 바뀌었음. (2018년에 10user 는 년간 사용료가 10달러였음)
plex 는 Lifetime Plex Pass 라이센스 가격을 750달러 가격 인상했음. (2019년에 프로모션 코드를 사용하여 75달러에 구입)
mattermost 메신저 서버는 완전 기업형 라이센스로 변경되었으며, 슬랙보다 비싸졌음.
2. 보안
생각보다 쉽지 않음 으며, reverse proxy 서버에서 IP 를 필터링 하여 서버에 접속하도록 변경하였음. 개인 사용시 openVPN 을 사용하여 접속하도록 변경
홈서버를 사용해? 라고 질문을 한다면
1. NAS 장비는 H/W는 스펙이 너무 낮은데 비싸다. omv, reverse proxy , openVPN 를 운영가능하기 때문에 필요없다.
2. 별거 없지만 confluence server 에 10만건의 자료가 있고, 루씬 기반의 검색엔진이 필요하기 때문에 confluence server 를 포기할수 없기 때문에 사용하고 있다.
3. 과거 사진취미를 하였으며, Immich 서버에는 개인 사진 5만장을 인물, 년도별 자동 분류를 위해 최소 내장그래픽의 GPU는 반드시 필요하다.
4. 스마트폰, TV 에서 plex를 실행하여 동영상을 봐야 한다. 트랜스코더 기능으로 네트워크 트래픽, CPU 사용 리소스를 개선으로 내장그래픽의 GPU는 반드시 필요하다
5. opencloud 서버에서 파일 버전 컨트롤 기능은 정말로 좋다.
누군가 홈서버를 구축한다면?
1. 말리고 싶다. ㅠㅠ
2. 사진, 동영상은 외장하드 또는 하드디스크에 백업을 받는것이 가장 저렴하다.
3. 그럼에도 불구하고 홈서버를 유지하기 위해서는 노력, 시간, 비용이 들어 간다.
글과 사진 보시면..
그게 아닌가 보네요.
HDD 1개당 월 7~9kwh 입니다.
개인적으로 TrueNAS 구성하여 12TB HDD 8개 구성했는데 전력소모량이 70~80khw 였습니다. 1등급 냉장고 2대 입니다. 결국 구성후 월 1회 정도 사용하고 있어서 디스크 엔클러져로 변경 예정중입니다.
ddr5 넘어가고 싶은데 못넘어 가고 있습니다. ㅠㅠ
이거 몇년을 더 버텨야 할지... 불행중 다행은 메인보드, HDD 여유분이 있어서 최소 5년은 버틸듯 합니다.
esxi만 익숙하다가 갑자기 다른거 쓰니 어려웠는데 무료로 쓰기는 딱 좋더라구요.
가성비로는 좋습니다. 패스스루도 완벽하지는 않지만 자유가 있는 편이며, 예전과는 달리 업데이트를 해도 어지간해서 VM 멈추는 현상없이 안정적으로 잘 돌아갑니다.
미니스포럼에는 SFP+ 10Gbe가 있어서 Synology NAS 와 PC들에게 모두 10Gbe 넣으면서 전체 구성은 마쳤는데... 지난달 전기요금 받아보고 이게 맞나 싶기도 합니다. 사실 돌리는 SW에 비하면 너무 오버스펙이기도 합니다.
사용중인 서버에서 윈도우 서버 2003, 2008 있다면 esxi 좀더 좋습니다.
proxmox 는 윈도우 10 이상, windows 2012 이상 부터는 나쁘지 않은거 같습니다.
리눅스 기반이라면... proxmox 가 나쁘지 않습니다.
10g 구성하다, 전력 때문에 포기했습니다. 하시더라도 광으로 하세요...
7200 rpm HDD 를 ZFS 구성시, SMB 멀티 채널 2.5g 2개 포트면 속도 잘 나옵니다.
또 요기서 2.5g lacp 들어가면 스위치 가격이 올라갑니다. ㅎㅎ
전략 요금얼마나 나오시나요? 집에 컴터에 인덕션까지 다 돌렸더니 전기세가 감당이 안되어서 야간에만 구동되도록 설정을 바꿨거든요. 저야 제가 일하는 시간에만 서버가 동작하면 되어서.. 더 저전력으로 갈아타야하나 싶기도하고 지금은 시놀나스를 사용하고 있는데 성능이 정말 안타깝습니다. 저도 운좋게 램과 디스크가 저렴할때 대량 구매해서 용량은 넉넉한데 시퓨가 정말 최악이라... 뭔가 vm을 더 늘이고 싶은데 시퓨가 딸려서 이러지도 저러지도 못하고 있습니다.
더불어 고성능으로가면 전력소모에 의한 누진세가 걱정되어서 쉽게 올리지도 못하겠고 고민만 있습니다
26년 3월 부터 proxmox 로 이전 했고, 6월 부터 개인용 UPS를 사용해씁니다.
스위치는 WS-C296L-16TS-LL 를 3만원에 중고로 구입했으며, 기가비트 스위치이며 팬리스 무소음에 Cisco IOS 가능하여 엔터프라이즈 환경을 구현 가능 합니다.
스위치, UPS 를 사용하지 않고, i350-t4 네트워크 카드를 사용하지 않으면 월 37~40kwh 정도 예상합니다.
nvme, ssd, hdd 를 같이 사용하는 관계로 LACP 기능 및 UPS 는 반드시 필요하여 월 10~13kwh 를 추가 소용하여 평균 50~55kwh 정도 소모 하고 있습니다.
HDD 1개 추가시 월 7~9kwh 추가 됩니다.
정성스러운 답변 감사합니다. 저도 전력 측정을 먼저 해봐야겠습니다.
전기요금이 많이나와서 고민인데.. 전력측정해보고 범인부터 특정해야겠습니다.
다시 한번 감사합니다.
이럴 경우 자원할당이 잘게 나눠지면서 자원활용에 문제가 있지 않나요?
물론 자원을 공유하고 나눠쓰는 옵션이 있긴 하지만 파편화에 따른 자원효율은 많이 떨어질 것 같습니다.
이럴경우 Docker VM을 만들어서 서비스를 하나의 통에 넣는게 더 효율적일 것 같습니다.
스토리지를 직접 컨트롤하는 OMV 같은건 별도 VM으로 유지하되 일반 서비스를 하나 또는 두세개 그룹으로 나눠서 docker VM을 구성하면 훨씬 간결해질 것 같습니다.
9년전에 esxi 6.0 부터 시작된 VM 대부분입니다.
쥐어 짜내듯히 할 수 있지만, 백업-복구 등이 편하도록 VM 을 너무 쪼갰습니다.
6.0 백업을 받으려면, 서비스를 내리고 받았습니다. 그때 당시에도 vcenter를 셋팅하지 않았던 이유가 라이센스, 전력, 리소스 낭비로 하지 않아서 백업을 위해 VM 쪼개서 하면 서비스 중단을 최소화 했습니다.
자원활용에는 1가지 문제가 있습니다. 내장 그래픽 패스스루하여 vm에 할당시 최대 2개의 VM을 지원합니다. 현재는 Immich, plex vm 에만 활당하여 트랜스코더를 사용하여 cpu 점유율을 낮추어서 cpu 리소스를 확보 하여 평균 30~35% 정도의 확보하였습니다. (내장 그래픽에 많은 기대를 하면 안되겠지만, 2개는 부족합니다)
메모리, 디스크 등의 문제는 없습니다. 각 os 별 최적화를 하였고, 나름 lxc로 마이그레이션도 했습니다.
postgresql, mariaDB, 관리용Windows 왜 별다른 셋팅은 없습니다. (esxi 사용할때는 windows 별다른 셋팅을 하지 않아도 잘 구동했는데 proxmox 에서는 좀 신경을 써야 안정화가 됩니다)
조금도 효율화를 해야 하는데, 현업이 아니라서... 적당 수준에 머물렀습니다.
이러다 관심이 높아지면 고도화, 튜닝 하겠지만... 현업에 충실한 관계로 계속 지연 중입니다.
서비스들이 저와 비슷하게 구성된것 보니 반갑습니다~ ^^
저도 저전력 미니서버를 우분투로 구현했었는데 백업도 신경써야 하고 24시간 켜져 있는 것도 신경을 써야하더라고요.
한번 집중해서 이것저것 다 처리해놓으면 나중에 신경 쓸 일이 크게 없겠지만 처음 구축할 때 정말 많은 노력과 시행착오가...
그래서 그냥 속편하게, 비싸지만 aws 쓰고 있습니다.
소형 데이터 센터를 만들어 놓으셨네요. 저두 하려다. 전기요금도 그렇고 돌릴만한 서비스가 없어서 포기했습니다. 가끔 10g 네트워크 구성하고. 뉴타닉스 하이퍼바이저 AHV 구성도 잠시 생각했지만 일이 너무 커지고, 고작 돌리는게 postgresql, mariadb , 동접 사용자는 최대 5명 미만인데... 오버 스펙이라서 안하고 있습니다.
10년만 젊었다면 몸값 올린다고 했을터인데... 그때는 구글링만 가능했고, 지금은 ai 가 도와주니 난이도는 무척 떨어졌습니다.
아무튼 대단 하십니다.
pulse 한번 사용해보세요~
https://github.com/rcourtman/pulse
시놀로지 기본 패키지는 별로 쓰지도 않아서 이럴거면 그냥 리눅스서버 운영할까 항상 고민합니다. ㅎ 심지어 리눅스 컨테이너도 여러개 올라가있어요.....