• Welkom bij Audiofreaksforum, Audio, Hifi, Luidsprekers, Buizen. Graag inloggen of registreren.
 

streamen?

Gestart door sybrand, 17 december 2018, 16:40:41

Vorige topic - Volgende topic

Rogers Hifi

Citaat van: Bloom op 21 oktober 2019, 20:46:17Het hele systeem werkt met een redundantie van 2:1 in de opslagchunks en dus niet in de harde schijven. Daardoor kun je vrijelijk kiezen welke harde schijven van welke capaciteit je in de diverse opslagservers steekt. De regels voor redundante chunks zijn dat ze niet op dezelfde schijf en liefst ook niet op dezelfde server mogen voorkomen als een originele chunk. Ik heb geen back-up van het geheel, maar dat komt omdat het gewoon teveel is en ik zou niet weten waar naartoe ik dat zou moeten back-uppen zodat het ook nog efficiënt gebeurt. LizardFS ondersteunt wel een back-upprincipe: ik zou een of meer opslagservers kunnen definiëren als write-only en dat er voor elke originele chunk een back-upchunk daarop moet worden aangemaakt. Dan heb je in feite een 3:1 redundantie, maar in de praktijk hoeft dat zelfs niet. Tenslotte moet er in deze configuratie al heel veel tegelijk misgaan om alles om zeep te helpen. Dan moet ik al denken aan een brand of zo.

De 158 TiB is voor zowel originele als dubbelchunks. Dus ongeveer de helft is nuttig, de andere helft is redundant. Het systeem gaat wel flexibel om met een gebrek aan vrije ruimte: dan wordt de voorkeur gegeven aan data opslaan en kun je dus originele chunks hebben zonder redundantie, die markeert hij dan als "in danger" en dan moet je zo snel mogelijk voor extra schijven zorgen.
Mijn huidige setup bevat:
Opslagserver 1: 2x4, 10 en 2x8 TB --> totaal 35 TiB capaciteit
Opslagserver 2: gebouwd en staat klaar, nog geen harde schijven, 6 schijven mogelijk
Opslagserver 3: 6x4 TB --> totaal 22 TiB capaciteit
Opslagserver 4: 4, 3x10, 2x4 TB --> totaal 38 TiB capaciteit
Opslagserver 5: 8, 2x10, 2x8, 10, 2x8 TB --> 64 TiB capaciteit
Totale capaciteit: 158 TiB (alles hierboven is afgerond en levert bij samentelling 159 op, maar 158 is dan juister)
De opslagservers en de metadataserver die alles bestuurt zitten in een eigen netwerk en op een eigen bloedsnelle switch. Er is telkens maar één netwerkkabel per server in gebruik, maar voor wat ik ermee doe heb ik niet meer nodig. Wie meer prestaties nodig heeft kan natuurlijk meer kabels gebruiken om meer bandbreedte te hebben, upgraden naar 10G en eventueel gebruik maken van een supersnelle cachende opslagserver met ssd's ipv hdd's.

Het redundantiesysteem met chunks ipv drives werkt perfect. Ik kan probleemloos meerdere schijven verliezen en zelfs een complete opslagserver zonder dat ik één byte aan data verlies. Het voornaamste single point of failure is de metadataserver. Daar zou ik nog een tweede van kunnen indienstnemen zodat er een failover is, maar het ergste wat daar kan gebeuren is dat het hele opslagsysteem een tijdlang onbruikbaar is zolang die metadataserver niet hersteld is. De metadata wordt wél gebackupt en dat elke 5 seconden, dus die kan niet verloren raken (tenzij weer een brand of zo).

Voor een mission critical systeem zou ik uiteraard de zaken anders aanpakken. Dan zou er een cluster van metadataservers komen, verschillende profielen van opslagservers met verschillende regels en eventueel andere redundantieregels. En 10G netwerken uiteraard.
Momenteel kan ik probleemloos met vijf gebruikers tegelijk 1080p films weergeven zonder enig probleem, dus ben ik tevreden.

Persoonlijk hou ik zelf meer van een universele opstelling, waarbij elke server dezelfde opslagomvang heeft. Hier is wel alles dubbel geconnecteerd en steeds wordt er gebackupt. Niet dat ik het hier doe gebruiken, maar met 4 man in 4k kijken vormt geen enkel probleem (zonder enige belemmering)

Bloom

Een van de reden waarom ik van RAID af wou is juist dat je gedwongen was in één systeem dezelfde harde schijven te gebruiken en als er een vervangen moest worden, had je een dagenlange herbouwtijd. Daar wou ik vanaf.
De samenvatting ziet er via de webinterface zo uit: