Συνθεση 3970x - server.

[gdp77]

39 minutes ago, adpanos said:

 

Όλες οι μητρικές που έχω κοιτάξει, δουλεύουν με 4εις κάρτες τοποθετημένες επάνω με  2X PCI-E X16 και 2X PCI-E X8

 

Καθαρό layout για τοποθέτηση 4X GPU με ανεμιστήρα δυο θέσεων είναι και αυτή.

 

https://www.skroutz.gr/s/21295261/Asrock-TRX40-Creator.html

 

 

όπως και η

https://www.skroutz.gr/s/21293763/Gigabyte-TRX40-Designare.html

 

 

Σωστός! Δεν ξέρω τι κοιτούσα και μου ξέφυγαν αυτές.... Φταίει μάλλον που μου είχαν βγει τα μάτια στην οθόνη από το πρωί με δουλειά.

[GoMaR]

5 hours ago, shattered said:

αρχικά να τονίσω ότι δεν έχω ιδέα αν σας βολεύει κάτι τέτοιο (ή μπορεί να μείνει εντός budget)

αλλά αφού θέλετε πυρήνες+ram

μήπως να δείτε κάτι σε epyc (7002 series)
(πχ εδώ σε single socket https://www.supermicro.com/en/products/motherboard/H11SSL-i

εδώ σε dual socket https://www.supermicro.com/en/products/motherboard/H11DSi-NT

και οι 2 είναι pci-e v3.0
αν χρειάζεστε το pci-e v4.0
https://www.gigabyte.com/Server-Motherboard/MZ32-AR0-rev-10#ov)

 

επίσημα με 2tb ecc ram

βέβαια συγκριτικά με threadripper σίγουρα θα χάσει σε single core
 

 

 

Οχι οχι, δε χρειαζομαστε κατι τετοιο, γιατι δε θα παρει την μορφη του σερβερ με την εννοια που γνωριζουμε ολοι.  Απλα το λεμε ετσι για να το ξεχωριζουμε απο τους υπολοιπους σταθμους εργασιας (3900x + 2 GPU ο καθε ενας)

Δεν ειναι η αναγκη μας τοσο η χρηση πυρηνων οσο των καρτων.



 

5 hours ago, gdp77 said:

 

Ίσως είναι no-go για το project σας, αλλά νομίζω δεν υπάρχουν PCIe 4.0 riser cables αυτή τη στιγμή στην αγορά. Μόνο με πολύ ποιοτικά (και ακριβά ~75€/riser) riser cables μπορεί να παίξετε, αλλά δεν υπάρχει 100% εγγύηση και θα είναι hit and miss και άγνωστο τι σταθερότητα θα δώσουν, πράγμα που δεν θα θέλετε να ρισκάρετε για server κατάσταση... Αν έχω δίκιο, τότε δεν θα αποφύγετε το 850άρι για μητρική που να χωράει 4 γομαρο-gpu

 

https://www.gigabyte.com/Motherboard/TRX40-AORUS-XTREME-rev-10#kf

 

 

Πάντως αν χρειάζεστε όλες οι GPU να παίζουν x16, τότε πρέπει να εξετάσετε σοβαρά EPYC λύση.

 

Εποχες PCIE V3  και 4χ να επαιζαν ολες οι καρτες δεν χανουν καθολου σε αποδοση. 
Οποτε δεν θα υπαρξει θεμα.
Τωρα για τους riser, ειναι ενα θεμα οπως λες, αλλα ο λογος που επιλεγουμε αυτη τη μεθοδο ειναι καθαρα για το airflow των καρτων. Οι καρτες που θα μπουνε ειναι με 2 fans και οχι blower σχεδιασμος.(Κατι που προτεινεται σε 4χ setups)

 

Το μηχανημα δε θα τρεχει μερα νυχτα ουτε θα "σκαβει" 24/7.
Αναλογα με τις αναγκες των project, θα μπαινει σε λειτουργια με την αναλογη διαχειριση.
Θα μπορουσε ενα τετοιο μηχανημα να ειναι σταθμος εργασιας επισης.. Εφοσον εχουμε καταληξει σε επεξεργαστη, μητρικη μαλλον (μου αρεσει η GIGA designare - αυτη με τα 650E)
Μνημες μενουν τωρα που θα πρεπει να δω απο απο το QVL list..

[salde]

51 minutes ago, GoMaR said:

Μνημες μενουν τωρα που θα πρεπει να δω απο απο το QVL list..

OK να το δεις και αν βρεις να διαλέξεις από εκεί αλλά μην ασφυκτιάς στα πλαίσια του QVL. Σχεδόν όλα αναγράφουν εκεί ορισμένα μόνο από τα μοντέλα που θα δουλέψουν, μην φοβηθείς να αγοράσετε αν βρείτε άλλες που σας κάνουν και δεν αναφέρονται στη λίστα. Για ασυμβατότητες μνημών πιο σίγουρο είναι να διαβάσεις στο εγχειρίδιο της μητρικής, αν αναφέρει κάτι συγκεκριμένο στο κεφάλαιο με τις μνήμες (χωρητικότητες που μπορεί να ζητούν συγκεκριμένη διάταξη κλπ).

Γενικά, σε τέτοια builds που υπάρχουν απαιτήσεις και ξεφεύγουν από το εντελώς απλό, είναι καλή ιδέα να διαβάζει προκαταβολικά (προ αγοράς) ο ενδιαφερόμενος το εγχειρίδιο της μητρικής μπας και πάρει μυρωδιά για πιθανά προβλήματα-ιδιοτροπίες της συγκεκριμένης που θα αγοραστεί.

[shattered]

1 hour ago, GoMaR said:

 

Οχι οχι, δε χρειαζομαστε κατι τετοιο, γιατι δε θα παρει την μορφη του σερβερ με την εννοια που γνωριζουμε ολοι.  Απλα το λεμε ετσι για να το ξεχωριζουμε απο τους υπολοιπους σταθμους εργασιας (3900x + 2 GPU ο καθε ενας)

Δεν ειναι η αναγκη μας τοσο η χρηση πυρηνων οσο των καρτων.

Εποχες PCIE V3  και 4χ να επαιζαν ολες οι καρτες δεν χανουν καθολου σε αποδοση. 
Οποτε δεν θα υπαρξει θεμα.

τότε με το καλό ο 3970x
κάτι για τις κάρτες
αν έχετε σκοπό μετά να πάτε σε παραπάνω κάρτες λίγο προσοχή να κάνει σωστό pci-e bifurcation(νομίζω έτσι το λένε) η μητρική (να σπάει δηλαδή ένα x16 σε 2x8 ή 1x8+2x4 κλπ κλπ)

 

δεν ξέρω τι μεγέθη αρχείων χρειάζεστε
μήπως το 10GBe που έχει η asrock creator είναι κάτι που θα πρέπει να υπολογίσετε?

[gdp77]

2 hours ago, shattered said:

δεν ξέρω τι μεγέθη αρχείων χρειάζεστε
μήπως το 10GBe που έχει η asrock creator είναι κάτι που θα πρέπει να υπολογίσετε?

 

Σωστή σκέψη. Με 4 GPU πάνω στο mobo δεν θα έχουν επιλογή αναβάθμισης σε 10Gbps lan. Η Designare υποστηρίζει βέβαια WiFi 6, αλλά αυτό φτάνει σε ιδανικές συνθήκες ~2,4 Gbps.

[GoMaR]

Πάντως μπορεί να είναι μεγάλα να αρχεία αλλά δε τρώμε bottleneck απο το χιλιαρι δίκτυο..

Δλδ ποτέ δεν είπαμε να είχαμε πιο γρήγορο δίκτυο. 

[jax7480]

Τρωτε απο τους δισκους τοτε.

[GoMaR]

Αυτό που θέλω να πω είναι ότι μας αρκεί η ταχύτητα που έχουμε με το δίκτυο.

Εσύ Ζάχο πότε θα το στήσεις το μηχανάκι;

[gdp77]

1 hour ago, GoMaR said:

Αυτό που θέλω να πω είναι ότι μας αρκεί η ταχύτητα που έχουμε με το δίκτυο.

Εσύ Ζάχο πότε θα το στήσεις το μηχανάκι;

 

Μήπως να το ξανασκεφτείτε; Είχατε τέτοιον "server" μέχρι σήμερα; Οι ανάγκες πρόσβασης από πολλούς σταθμούς εργασίας ταυτόχρονα ίσως σας δημιουργήσει την ανάγκη αναβάθμισης της δικτύωσης και θα βρεθείτε μπροστά σε τοίχο... Δεν ξέρω ποιο θα είναι ακριβώς το workload, εσείς ξέρετε.

4 hours ago, jax7480 said:

Τρωτε απο τους δισκους τοτε.

Μπα δεν νομίζω. Ακόμα και καβουρδιστήρια μηχανικοί το τερματίζουν το 1Gbps δίκτυο, τουλάχιστον στη σειριακή ανάγνωση μεγάλων αρχείων. Μάλλον εννοεί ότι δεν τους ενόχλησε ποτέ η ταχύτητα του δικτύου. Αλλά τώρα που πολλοί χρήστες θα χρησιμοποιούν τον "server" ταυτόχρονα, πιθανόν να αισθανθούν το bottleneck

[GoMaR]

Μην αναλανωνομαστε σε περιττα πραγματα παρακαλω

 

4 minutes ago, gdp77 said:

 

Μήπως να το ξανασκεφτείτε; Είχατε τέτοιον "server" μέχρι σήμερα; Οι ανάγκες πρόσβασης από πολλούς σταθμούς εργασίας ταυτόχρονα ίσως σας δημιουργήσει την ανάγκη αναβάθμισης της δικτύωσης και θα βρεθείτε μπροστά σε τοίχο... Δεν ξέρω ποιο θα είναι ακριβώς το workload, εσείς ξέρετε.

Μπα δεν νομίζω. Ακόμα και καβουρδιστήρια μηχανικοί το τερματίζουν το 1Gbps δίκτυο, τουλάχιστον στη σειριακή ανάγνωση μεγάλων αρχείων. Μάλλον εννοεί ότι δεν τους ενόχλησε ποτέ η ταχύτητα του δικτύου. Αλλά τώρα που πολλοί χρήστες θα χρησιμοποιούν τον "server" ταυτόχρονα, πιθανόν να αισθανθούν το bottleneck

Κανενας χρηστης δεν θα χρησιμοποιει τον σερβερ. 
Την δουλεια θα την κανει μονος του.  Οπως ειμαστε μεχρι τωρα, (αριθμος μηχανηματων - farms) ετσι θα ειμαστε και μετα, απλα το ενα θα ειναι πολυ πιο δυνατο.
Για αυτο ειπα εξαρχης οτι μη το δουμε με την λογικη του σερβερ που οι περισσοτεροι γνωριζουν. Με το workflow που εχουμε σαν γραφειο, μας αρκει το 1gbps.
 

[gdp77]

16 minutes ago, GoMaR said:

Μην αναλανωνομαστε σε περιττα πραγματα παρακαλω

 

Κανενας χρηστης δεν θα χρησιμοποιει τον σερβερ. 
Την δουλεια θα την κανει μονος του.  Οπως ειμαστε μεχρι τωρα, (αριθμος μηχανηματων - farms) ετσι θα ειμαστε και μετα, απλα το ενα θα ειναι πολυ πιο δυνατο.
Για αυτο ειπα εξαρχης οτι μη το δουμε με την λογικη του σερβερ που οι περισσοτεροι γνωριζουν. Με το workflow που εχουμε σαν γραφειο, μας αρκει το 1gbps.
 

Επειδή δεν θα έπρεπε να θεωρείται περιττή η συζήτηση και μια που ζήτησες ιδέες: Πώς τροφοδοτείτε με εργασίες τον "server"; Πάτε και τα βάζετε με στικάκι τα αρχεία προς επεξεργασία (λέμε τώρα); Μέσω δικτύου; Πώς ακριβώς γίνεται η δουλειά; Γιατί τώρα όπως γράφεις το μηχάνημα θα είναι "πιο δυνατό". Και πιο πάνω έχεις γράψει ότι στο μέλλον θα βάλετε και πιο ισχυρές κάρτες γραφικών. Μήπως λοιπόν κάποια στιγμή φτάσετε να τρώτε bottleneck στο δίκτυο;

 

Εάν όχι, τότε έχεις ήδη καταλήξει στην designare, τον επεξεργαστή τον ξέρεις, μνήμες θα πάρεις από QVL (αν και δεν παίζει να έχεις θέμα ό,τι και να διαλέξεις), είσαι έτοιμος.

Έγινε επεξεργασία Ιανουάριος 12, 2020 από gdp77

[GoMaR]

Βρε συ, ειναι απλο. Απλα δε γνωριζετε το workflow μας και τις απαιτησεις της δουλειας. ΔΕΝ κανουμε συνεχομενη χρηση δικτυου και απο πολλους χρηστες για να τρωμε μπουκαλι.
Επισης, ειτε μια καρτα εχει ενα μηχανημα ειτε 4, τα δεδομενα που θα τραβηξει απο το δικτυο μεσα ειναι τα ιδια. Ειτε εχουμε 1 καρτα 2070 εχουμε ειτε 4 χ 2080ti.
Σκεψου πως θα αντικαταστησει ενα μηχανημα με 2 καρτες και λιγοτερους πυρηνες με 4 καρτες και παραπανω πυρηνες / μνημη. Τιποτα αλλο.
Το στηνουμε αυτο για λογους αδειων και στα VFX simulations θα γινεται σε αυτο το μηχανημα που μεχρι προτεινος γινοταν στο παλιο. Απλα θα τα κανει πιο γρηγορα. Η αποθηκευση των αρχειων θα γινεται τοπικα για αρχη και μετα μεταφορα στο δικτυο. Οπως καναμε μεχρι τωρα δηλαδη χωρις να εχουμε καποιους περιορισμους σε ταχυτητες κλπ.


 

[adpanos]

Πρέπει να δεις αν η οποιαδήποτε μητρική επιλέξεις, σπάει τα PCI-E σε κομμάτια.

 

Από εκεί και πέρα εγώ δεν θα έβαζα riser.

Βρες ένα κουτί της προκοπής για καλό αερισμό , ακόμα και ανοικτό και θα είσαι ΟΚ.

Το κόστος των Riser δώσε το κάπου αλλού.

[gdp77]

1 minute ago, adpanos said:

Το κόστος των Riser δώσε το κάπου αλλού.

Με μια γρήγορη αναζήτηση που έκανα δεν φαίνεται να υπάρχουν riser που παίζουν με PCIe Gen 4 (ακόμα και αν η κάρτα είναι gen3). Κάποια πολύ ακριβά riser με υποστήριξη gen3 είναι hit and miss με το gen4. Και εγώ πιστεύω ότι δεν αξίζει.

[GoMaR]

Και εγω ειμαι κατα των rizer να ειμαι ειλικρινης αλλα αν ειχαμε blower καρτες, δε θα το συζητηγαμε καθολου γμτ. Αλλα αυτο το sandwitch που θα γινει με 4 καρτες (2 φανς ολες) το φοβομαστε αρκετα...
Τα περισσοτερα μηχανηματα που βλεπω με 4 καρτες ειανι ολες blower...
Ξερουμε καποιο κουτι με "ανεση" χωρου; 

[gdp77]

6 minutes ago, adpanos said:

Πρέπει να δεις αν η οποιαδήποτε μητρική επιλέξεις, σπάει τα PCI-E σε κομμάτια.

 

 

Τι ακριβώς εννοείς;

[adpanos]

πριν 2 λεπτά, το μέλος gdp77 έγραψε:

Με μια γρήγορη αναζήτηση που έκανα δεν φαίνεται να υπάρχουν riser που παίζουν με PCIe Gen 4 (ακόμα και αν η κάρτα είναι gen3). Κάποια πολύ ακριβά riser με υποστήριξη gen3 είναι hit and miss με το gen4. Και εγώ πιστεύω ότι δεν αξίζει.

 

Για αυτό και εγώ το αναφέρω.

Πιο πολύ θα μπλέξει.

 

Προσωπικά θα έπαιρνα κάρτες με κλασικό blower για να βγαίνεί πίσω ο ζεστός αέρας και τις κάρτες εντός του combo / tower

 

 

[GoMaR]

Ναι βρε συ, αλλα αν πω στο αφεντικο σκασε αλλα 2 χιλιαρικα για 4 καρτες blower.. μαλλον θα μεινω χωρις δουλεια 

[adpanos]

πριν 1 λεπτό, το μέλος gdp77 έγραψε:

 

Τι ακριβώς εννοείς;

 

Η ASUS  το είχε κάνει πρώτη. Μπορούσες σε κάθε μια από τις PCI-E να ορίσεις ανά 4 ή ανά 8  ξεχωριστά τα lanes για οδήγηση διαφορετικών περιφερειακών.

Η Ασους το έκανε για να κουμπώνει μέχρι και 4-εις NVME σε κάθε PCI-E X16  μέσω της πλακέτας που είχε κυκλοφορήσει στην αγορά.

πριν 1 λεπτό, το μέλος GoMaR έγραψε:

Ναι βρε συ, αλλα αν πω στο αφεντικο σκασε αλλα 2 χιλιαρικα για 4 καρτες blower.. μαλλον θα μεινω χωρις δουλεια 

 

 

ΑΑΑΑΑΑΑΑΑ, τις έχετε ήδη τις κάρτες.

 

Τότε θα βρούμε κουτί σωστό για να μην έχεις θέμα.

 

[GoMaR]

Η εικονα θα ειναι τετοια..







Αυτο σημαινει θα κλεινουμε το καλοριφερ στη δουλεια..