딥러닝 데탑 여러대 vs딥러닝 서버

3. 학생들 올 때마다 GPU 3090까진 아니더라도 3080급에 가깝게 내주실 수 있나요?
그렇지 않으면 학생들이 동시에 수행하기 어렵습니다. 그러니 본인이 쓸 PC를 따로 빼고 아에 워크스테이션 형식으로 별도 사용하도록 만드는게 전체적인 부분에서 좋습니다. 학생들에게 머신러닝 돌릴 데스크탑을 주면 학생들 사용하다가 사용자 바뀌면 새로 셋팅하셔야 합니다. 중앙 관리될 수 있게 해두시는게 좋아요.
요새 PC 하드웨어 성능이 많이 개선돼서 새로운 하드웨어 나왔다고 해서 이전 세대 부품들 못쓰는 거 아닙니다.
머신러닝 돌리시는게 훨씬 더 중요하시니 학생들 업무용 PC는 최소한으로 수행할 정도로 맞추고(I5나 I7, 램 8기가 나 16기가 이상) 워크스테이션에 집중하는게 나을 듯 싶습니다.

그리고 데탑의 경우에는 대부분 64GB 이상 구성하기 힘듭니다.
제가 사용하는 PC도 48GB로 일반 업무용도로는 충분한데 머신러닝 학습하느라 지금 메모리 사용률 97% 유지합니다. 일반 데스크탑으로 구성하면 추후 메모리 부족해서 제대로 연구 못할 수 도 있어요.

댓글이 안달리네요. 아래 답변 참고 부탁드립니다.

제가 견적받은 워크스테이션의 벤더사는 슈퍼마이크로이고, 견저받은 곳은 슈퍼솔루션 이란 업체입니다.
여기서 이걸 공유한다고 해서 문제가 될 것 같진 않아 공개적으로 씁니다.
다른 벤더사들의 기준으로는 슈퍼마이크로를 조립식 워크스테이션으로 생각하는 경우도 있다고 하는데 그래도 개인이 조립하는 것보단 괜찮다고 생각듭니다. 다른 벤더사는 견적받아본적 없어 모르겠습니다.
관련 업무로 인해 견적요청하고 견적 받은 업체들 중에는 동일한 벤더사에 동일한 하드웨어를 사용하는데도 900만원 차이가 나는 경우도 있습니다. 아마 중간 마진과 유통과정에서의 수수료라고 생각합니다.
지금 구매진행단계인데 상대적으로 다른 업체에 비해 저렴하긴 한데 소프트웨어 설치 지원은 부족하다고 느껴지네요. 연구실이나 연구자마다 다르긴 하겠지만 저희연구실에선 텐서플로우를 사용하는데, OS나 CUDA 드라이버, cuDNN 라이브러리는 설치해주는데 그 외 jupyter notebook이나 tensorflow 설치까지는 안해주네요.
사실 어려운 업무라기 보단 귀찮은 업무긴 하지만 아쉽더라구요.

워크스테이션으로 두어야 학생들이 연구용으로만 사용하고, 다른 용도로 사용하기 힘들어집니다. 인수인계 하는 부분에서도 편하구요.

제 지도교수님께서 일반 PC 조립 업체에 구매 전 테스트해본다고 대여하신 적이 있는데 그 때 느낀점은 일반 조립 PC 형식으로 구매하는 건 비싸고, 시스템 구성자체가 불안정하다고 느꼈습니다.(이 업체는 이렇게 단점을 써버려서 공개하긴 힘드네요.)
가격이야 애초에 차이가 나는 부분이니깐 넘어갑니다.
시스템 구성 자체에 불안정함을 느낀건 2가지 입니다. 하나는 파워를 두 개를 구성하였는데, GPU에만 연결된 것이랑 GPU와 메인보드에 연결된 것 하나를 하더라구요. 대부분 워크스테이션에서 파워 두 개를 사용하게 되면 파워 하나가 망가지더라도 보조 파워로 시스템이 안정적이게 하는데, 이런 구성은 둘 중 하나라도 망가지면 전체 시스템 자체를 사용못하게 되더라구요.(업체에선 GPU

(업체에선 GPU 피크 시 전력을 안정적으로 구성하려고 그렇게 했다고는 하는데...좀 더 좋은 파워를 하나 쓰는게 더 낫지 않나 싶었습니다.) 다른 하나는 GPU 쿨링 시스템을 수냉식으로 했던데, 수냉 연결된 관이 망가지면 마찬가지로 내부 장비가 고장날 것이구요. 그리고 GPU를 수냉식으로 개조한 것인데 이를 엔비디아에서 A/S 해줄지가 걱정되구요.
굳이 벤더사랑 비교하여 장점이라면 알아서 필요한 프로그램 설치까지 지원해준다는 점...이거네요.
벤더사에서 제조한 워크스테이션과 랙은 기본적으로 IDC에서 동작할걸 고려하여 소음을 고려하지 않고 발열을 신경쓰다보니 큰 문제없는 것으로 알고 있습니다.

도스토예프스키님의 말에 좀 첨언을 하자면,

RTX3090, 3080의 경우

엔비디아 회사에서 내놓는 제품 : FE(이하 FE)
각 회사에서 내놓는 제품(기가바이트 아수스등) : ( 이하 비레퍼)

인지에 따라서 수냉으로 개조시 AS가 가능한지 안가능한지 달라질수 있습니다.

수냉으로 개조시 AS보낼때는 보통 원래 나왔던대로 복구 해야합니다.

+ 그리고 파워를 두 개 쓰는 이유는
RTX 3090, 3080 비레퍼를 쓰면 각 GPU의 바이오스를 각 회사가 풀어버려서 전력 소모를 극한으로 끌어 올리는게 가능해서 입니다.
RTX3090의 경우 풀로드시 450W까지 먹기도 합니다.(하나의 그래픽 카드 입니다)

그래서 오히려 요즘 워크 스테이션에는 파워를 두개 장착하기도 합니다. + 보통 티타늄 이상의 등급을 넣습니다.

말씀하신 sw들 다 깔아주면 편하긴할거같네요 아마도 tf대신 pytorch를 쓰는거 이외엔 다 비슷할거 같은데 설치해야할 것들이..탑스쿨처럼 대학원 인력이 풍부하지 않아서 서버 관리가 잘 될지 걱정이지만. 아무튼 최대한 가격도 경쟁력있고 필요한 sw 설치에 대학원생들에게 기본 서버 관련 교육도 해주는 업체로 좀 찾아봐야겠네요. 많은 도움 주셔서 감사합니다!

+ 그리고,

수냉시스템의 경우(커스텀 수냉이라고 하죠)

맡기는 업체의 숙련도에 따라서 수냉 시스템의 완성도가 달라집니다.

용산 업체중에서 이런 워크스테이션을 주로 다루는 업체가 주로 존재합니다.

제임스와트님 이야기 들으니 참 신경쓸게 많네요....되게 복잡하군요.....워크스테이션 맞추기가....ㅠㅠㅋㅋ

수냉 공냉 아직 제대로 워크스테이션에 대해서 알아보질 않아 잘은 모르지만 관리가 수월하다하서 (물론 단점도 많겠지만) 공냉으로 해야겠구나 정도 생각하고 있었습니다. 어차피 초반엔 3090 2장정도 달까 생각해서요

도스토예프스키 님과 제 이야기를 종합해서 말씀드리자면(도스토예프스키님께서 말씀하고자 하는게 모르겠지만.)

1. 학생들 개인용 데스크탑은 i5 or i7+ 32GB 정도로 맞추시는게 좋습니다. 요즘 프로그램들 무거워서 32는 넣어야 겠더라구요.. (저도 학생이지만..)
+ DDR4 -> DDR5 대격변의 시기라 교수님께서 어떤걸 선택할지는 교수님의 선택.

2. 워크스테이션은 전문적으로 하는 곳을 추천드린다.. 입니다.

3. 커스텀 수냉 시스템은 섣불리 아무업체나 맡겼다간 돈만 날리는 경우가 되니, 업체를 잘 찾으셔야 합니다.

그리고 따로 서버실이 아니고 일반 오피스에 놔두기에 워크스테이션 소음은 생활소음 수준인가요?

음 공랭으로 비래퍼로 2장이면

아마 위에 배치되는 GPU가.. 좀 많이 뜨거우실겁니다…

네 제임스 와트님 정리 감사합니다!

HPC같은 리눅스 클러스터.. 쌩 공냉이면 귀 찢어지고

커스텀 수냉으로 하시면 조용할겁니다.

외장 라디로 아예 물통을 빼서 저소음 팬으로 도배해버리면 되거든요.

조립 워크스테이션을 PC업체에 맡기면 가장 큰 문제가 위에 언급한 것과 같이 업체를 잘 골라야 합니다.
유명한 곳들은 큰 문제가 안생기게 하겠지만 그렇지 않은 곳은 수냉 쿨러 잘못했다가 고장이라도 나면 큰일납니다.

메모리는 한글이나 워드, 엑셀 정도 사용하면 16GB로도 충분합니다.
머신러닝한다면 아무래도 메모리에 데이터 적재하다보니...메모리 사용량이 모자릅니다. 저는 WSL에 ubuntu 설치하여 사용중인데 37GB 정도 사용합니다.
머신러닝에 사용한다면 최소 메모리가 32GB라고 생각합니다.
벤더사에서 워크스테이션이나 랙을 받으면 시끄럽긴 합니다. 공냉으로 발열잡기 위해 조그만한 쿨러가 빠르게 회전하다보니깐요. 그렇기 때문에 역으로 공냉으로도 벤더사에선 충분히 발열을 잡기도 합니다.
연구실이나 사무실을 제외한 다른 공간에 보관하기 어렵다면 멀리 두면 그나마 덜하겠지만 쿨러의 회전하는 고주파 소리가 들릴 가능성이 더 높습니다.
학과교수님들과 문의해서 서버 보관할 공간을 찾아보시거나, 마땅히 없으시면 소음을 참으시거나 수냉을 고려하셔야 합니다.
앞서 얘기한거처럼 수냉을 쓰게 되면 업체를 잘 선정해야 합니다.

답변 감사드립니다! 그럼 pc당 가격은 얼마나하나요? 한 4-5대 넘어가면 워크스테이션을 서버로 두는거보다 가격이 많이 나올거 같긴한데....그리고 그럼 아까 위에 글처럼 학생 하나가 쓰다가 나가면 딥러닝 환경 구축을 다시 개인별 셋팅하는 이런 불편한 점은 혹시 없을까요?

우선 저희 연구실은 신생 연구실이고 저는 서버를 담당하는 학생인점 먼저 말씀드립니다. 현재 저희 연구실에선 개인PC 100만원 정도 선에서 제공을 하고 서버는 GPU 제외하고 250만원 선에서 맞춥니다. GPU는 3090이나 3090ti를 달고 있습니다. 하나의 서버에는 개인 계정을 추가하고 가상환경과 주피터랩으로 접속 후, 개별 환경을 구성해서 사용합니다. 제가 계산했을 땐 워크스테이션 한 두개를 나눠 사용하는 것보다 고성능PC를 여러대 두는 게 구성원들 스케줄링 면에서도 효율적이고 가격도 저렴하더라구요.

다른댓글에서 워크스테이션을 추천드린 이유는 학생들로 하여금 그게 연구 목적이라고 인식시키기 위함이였습니다.
상위권 대학원생들의 경우에는 연구실에서 게임을 하는 경우가 드물고 하더라도 스피커 등을 통해 소리가 들릴 일이 없어 상대적으로 덜하겠지만, 제가 박사학위 졸업한 대학교는 여기서 언급도 안되는 연구중점대학이였는데 그렇게 만들기 힘들었습니다.
제가 졸업하고 나서 몇학기 지난 뒤 지도교수님께서 다니셨던 모교의 타과에 이직하시면서 저도 같이 갔습니다.(교수님이시니 제 신분이 무엇인지 추측가능하다고 생각합니다.)
기존에 있던 연구실의 문제점때문에 지도교수님께서 새로 운영할 연구실에선 일반 업무용 PC엔 GPU를 포함시키지 않겠다고 저에게 통보를 하였고, 사실 저도 그거에 동의합니다.
제가 느꼈던 연구실 생활 중 연구용 워크스테이션 관련하여 불합리함을 크게 느꼈고, 적어도 제가 있는 동안에는 그렇게 하지 못하기 위함도 큽니다.
사실 앞서 얘기한것 처럼 그렇게 상위권 대학원이 아니다 보니 연구실 내 박사과정을 지낸 사람이 제가 두번째였고, 선배는 2년 정도 차이가 납니다. 그리고 제가 첫박사졸업생이 되었고, 이것만 말해도 참 다이나믹했었다 를 느낄 거라고 생각합니다.(혹시나 해서 말하지만 지도교수님께서 괴수는 아닙니다. 진짜 착하신 교수님들 중 한분입니다.)
연구과제 수행하면서 구매했던 GPU 서버들이 있는데, 제가 불합리함이라고 느꼈던 것은 제대로된 연구는 하지 않고 그 선배가 첫 박사과정생이고, 나이와 학부 전부 선배라고 생각해서였는지 자기가 쓰고 싶으면 쓰는 잘못된 생각을 하였고, 그건 연구실 생활 관점에서 재앙에 가까웠습니다. 다행히 학과에서 구매한 서버들을 저희 지도교수님께서 관리하게 되었고, 그걸 실질적으로 관리한 것은 저였기 때문에 연구하는데 부족하지 않았습니다.
재앙이라고 한 이유는 외국인 석사가 졸업하면서 그 학생이 사용하던 워크스테이션을 그 선배가 사용하였고, 연구목적으로 사용했다면 재앙이라고 표현을 안했겠지만 유튜브 영상이나, 게임하

재앙이라고 한 이유는 외국인 석사가 졸업하면서 그 학생이 사용하던 워크스테이션을 그 선배가 사용하였고, 연구목적으로 사용했다면 재앙이라고 표현을 안했겠지만 유튜브 영상이나, 게임하는데만 사용하니 그 리소스가 참 안타까웠습니다. 같이 생활하면서 참 힘들었고, 저는 그 선배가 연구실을 늦게 나오거나 안 나온게 더 좋았습니다. 왜냐면 저를 방해하진 않았으니깐요(제가 민감한거 아닙니다. 모니터 스피커로 다 들렸습니다.). 그리고 연구실에서 가장 성능 좋을 GPU가 있는 PC와 워크스테이션을 각 각 하나씩 본인이 두 개나 사용하였습니다.(혹시나 제가 없을때 혹은 집에서 연구한 것이라고 생각할 수 있는데 원래 하던분야에서 교수님께서 수주한 연구 주제로 머신러닝으로 크게 전공이 바뀌면서 그 선배는 사실상 저 없으면 간단한 것도 수행시키지 못합니다. 대학원생활하면서 실무적인 일은 제가 두 배로 한 느낌이네요. 지도교수님께서 시킨 일때문에 저한테 도와달라고 했습니다. -_-;)
워크스테이션이 인수인계하면서 괜찮다 하는 부분은 다시 설치하지 않아도 되고, 그러니 이러한 문제점에서 벗어날 수 있다고 생각한겁니다.
일반 데스크탑이면 제대로 관리할 수 있는 대학원생이 있으면 상관없지만, 제 선배처럼 자신이 사용하는 PC나 워크스테이션은 연구실 내에서 가장 좋아야 한다라는 꼰대 식 생각을 하고 있는 대학원생이 있으면 연구실 운영이 힘들어집니다.
그래서 일반 업무용 PC와 워크스테이션 분리를 얘기한 것입니다. 교수님께서 학생들을 제대로 관리할 수 있거나 믿을만한 학생이 있으면 데스크탑으로 하셔도 되지만 그렇지 않으면 일반 PC와 연구용 워크스테이션을 분리시키는 것을 추천드립니다.

그 얘기를 왜 제 댓글에...

도스토...님 경험담 감사합니다!
근데 아담 스미스님한테 질문이 있는데요 개인 pc말고 gpu 제외하고 서버는 뭘 의미하나요? gpu 포함하면 대략 한 500정도되는 일반 데탑을 의미하는거 같은데 그걸 서버처럼 쓰신다는거 같고....이게 맞나요? 맞다면 이걸 한두세명 학생들이 공유하는 개념인가요? 뭔가 워크스테이션 공유랑 비슷한거같은데 더 저렴한 버전의 데탑을 소그룹?으로 랩전체가 아닌 나눠서 쓰는식인거 같은데 처음 들어본 운영방식이라 이 해석이 맞나해서 질문합니다

넵 아마 이해하시는 게 맞을 겁니다. GPU가 없는 개인pc를 제공해주면서 연구에 필요한 학습용 서버는 GPU가 포함된 고성능 PC를 여러대 사용합니다. 초기에 학습 환경을 구성할 때 코랩과 같은 환경을 목표로 하였고 워크스테이션 견적과 고성능 PC의 견적, 효율성을 따졌을 때 고성능 PC를 여러 대 두었을 때 더 효과적이라 판단했습니다. (사실 교수님 보단 제 의견이 강하게 작용하였습니다.. ㅎ...) 서버로 사용하는 고성능PC엔 3090 혹은 3090ti가 멀티 GPU로 구성되어있고 연구에 있어 크게 부족함이 없다고 생각했습니다. 워크스테이션 한 두개를 두고 모든 구성원이 스케줄을 짜서 사용하는 것보단 워크스테이션을 두고 구성원들 간 불필요한 커넥션을 줄이는 것을 목적으로 두었습니다.
결과적으로 현재 서버 사용으로 발생하는 연구적인 불편이나 구성원들 간 트러블 없이 운용 되고 있습니다.

운영은 하나의 웹 서버를 구축하고 개인 계정을 할당한 후 사용중이지 않은 GPU서버에 접속하는 식입니다. 후에 공영 데이터베이스 서버에 저장된 코드와 데이터를 불러오는 시스템입니다.
초기 구성이 어려워 시간을 많이 투자하였긴 했지만... 이후 고성능PC를 추가하면서 발생하는 시간적 비용은 감소해서 편합니다.. ㅎ

큰 계산이 요구되는 딥러닝 계산같은건 안해서 가능한가보네요. 왠지 일단 데탑으로 하는건 램도 그렇고 왠지 배치사이즈 크면 학습에 한계가 있을거 같은데 그런건 괜찮나요? 그리고 고성능 pc당 몇명이 공유를 하시나요?

일단은 고성능 PC한대에 두 명을 배치하는 걸 기준으로 하고 있으나 라운드 로빈 식으로 비어있는 서버에 접속하게끔 구성해서 사용자는 어떤 서버를 사용하는지 체감을 못하도록 되어있습니다. 딥러닝 학습 같은 경우 3090급으로 멀티 GPU를 사용하기도 하고 램도 최대로 맞췄기 때문에 어지간히 큰 데이터가 아니면 학습엔 무리가 없었습니다. 그 이상의 데이터에서 메모리 문제는 데이터를 전처리 후 pickle로 만들던가 모델링을 효율적으로 생성하던가 하는 식으로 스크립트에서 해결하도록 합니다. 코딩 능력을 키울수 있도록 말이죠..

사용하시는 서버가? 저는 델 640에 titan xp 사용중인데걔는 NvLink없는 거겠죠?

Jupyterlab 도커로 올려서 하는게 훨씬 효율이 잘 나와요