3
Suche Programm, dass ein Netzwerkcache realisiert vglw. wie Speicherhierachie im PC
Hey liebe administrator-Community
Ich habe mal eine Frage. Gibt es ein Programm, dass ein Netzwerkcache realisiert – vergleichsweise mit der Speicherhierachie im Computer (L1-,L2-, L3-Cache, RAM, Auslagerungsdatei)?
Seitdem ich Informatik studiere und gelernt habe wie die Speicherhierachie im Computer funktioniert (und ich es eigentlich total genial finde), fehlt mir sowas eigentlich im Netzwerk.
Wie soll das Programm funktionieren oder wie stelle ich mir vor sollte es funktionieren?
Es gibt ein riesengroßen Speicher im Netzwerk (NAS ggf. mit RAID und Backup), der aber nur relativ langsam ist. Ggf. ist die Anbindung zum Netzwerk schon schnell (LWL oder Gigabit-Ethernet), aber die Clients haben eine langsame Anbindung (Wireless oder sogar UMTS/GPRS) zum NAS.
Rein hypothetisch haben nun alle Clients in diesem Netzwerk eine zusätzliche kleinere Festplatte oder Partition (wobei gilt: Gesamtkapazität NAS > lokale Festplatte/Partition).
Mein Wunsch wäre nun, dass dem Client bei Zugriff auf der lokalen Festplatte alle(!!!) Dateien des NAS (Verzeichnisstruktrur + Ordner) angezeigt wird, aber nicht physisch darauf gespeichert ist. Auf der Festplatte sind nur die Dateien gespeichert, die oft genutzt werden oder algorithmisch als nächstes benutzt wird. Dabei gilt, dass die Festplatte schon immer voll ist. Das heißt bei Zugriff auf Datei xyz wird geschaut, ob auf der Festplatte physich vorhanden; wenn ja, Cache-Hit und die Datei wird dem Nutzer präsentiert; falls nein, Cache-Miss, Datei wird vom NAS geholt und eine alte Datei wird auf der physichen Platte verdrängt. Bei Erstellen von neuen Dateien oder Änderungen werden die Änderungen je nach Prinzip (es gibt mehrere) sofort auf den NAS zurückgeschrieben.
Also eigentlich genauso wie die Speicherhierachie im Computer funktioniert
Jetzt suche ich genau so ein Programm, der das implementiert – sozusagen der Speichercontroller/Verwalter der ganzen Geschichte.
Gibt es sowas? Oder müsste man theoretisch gesehen ein neues Dateisystem entwickeln? Wenn es das nicht gibt und kein neues Dateisystem entwickelt werden muss – welches Dateisystem würde dies unterstützen?
Danke für eure Antworten
Gruß
Stefan
Ich habe mal eine Frage. Gibt es ein Programm, dass ein Netzwerkcache realisiert – vergleichsweise mit der Speicherhierachie im Computer (L1-,L2-, L3-Cache, RAM, Auslagerungsdatei)?
Seitdem ich Informatik studiere und gelernt habe wie die Speicherhierachie im Computer funktioniert (und ich es eigentlich total genial finde), fehlt mir sowas eigentlich im Netzwerk.
Wie soll das Programm funktionieren oder wie stelle ich mir vor sollte es funktionieren?
Es gibt ein riesengroßen Speicher im Netzwerk (NAS ggf. mit RAID und Backup), der aber nur relativ langsam ist. Ggf. ist die Anbindung zum Netzwerk schon schnell (LWL oder Gigabit-Ethernet), aber die Clients haben eine langsame Anbindung (Wireless oder sogar UMTS/GPRS) zum NAS.
Rein hypothetisch haben nun alle Clients in diesem Netzwerk eine zusätzliche kleinere Festplatte oder Partition (wobei gilt: Gesamtkapazität NAS > lokale Festplatte/Partition).
Mein Wunsch wäre nun, dass dem Client bei Zugriff auf der lokalen Festplatte alle(!!!) Dateien des NAS (Verzeichnisstruktrur + Ordner) angezeigt wird, aber nicht physisch darauf gespeichert ist. Auf der Festplatte sind nur die Dateien gespeichert, die oft genutzt werden oder algorithmisch als nächstes benutzt wird. Dabei gilt, dass die Festplatte schon immer voll ist. Das heißt bei Zugriff auf Datei xyz wird geschaut, ob auf der Festplatte physich vorhanden; wenn ja, Cache-Hit und die Datei wird dem Nutzer präsentiert; falls nein, Cache-Miss, Datei wird vom NAS geholt und eine alte Datei wird auf der physichen Platte verdrängt. Bei Erstellen von neuen Dateien oder Änderungen werden die Änderungen je nach Prinzip (es gibt mehrere) sofort auf den NAS zurückgeschrieben.
Also eigentlich genauso wie die Speicherhierachie im Computer funktioniert
Jetzt suche ich genau so ein Programm, der das implementiert – sozusagen der Speichercontroller/Verwalter der ganzen Geschichte.
Gibt es sowas? Oder müsste man theoretisch gesehen ein neues Dateisystem entwickeln? Wenn es das nicht gibt und kein neues Dateisystem entwickelt werden muss – welches Dateisystem würde dies unterstützen?
Danke für eure Antworten
Gruß
Stefan
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 206009
Url: https://administrator.de/contentid/206009
Printed on: April 25, 2024 at 23:04 o'clock
3 Comments
Latest comment
Hallo,
caching von Zugriffen auf Fileshares ist ein alter Hut & gibt es in verschiedenen Formen. Halbwegs weit verbreitet sind WAN-Beschleunigungs-Appliances. Die analysieren transportierte Daten auf Applikationsebene - sprich: erkennen es, wenn im Datenverkehr Zugriff auf eine Datei auf einem NAS angefragt wird. Die Antwort cachen sie. Wird die Datei ein zweites Mal angefragt, so prüfen sie gegenüber dem Fileserver ob sie noch die aktuellste Version halten, und liefern ggf. die gecachte Kopie aus.
Eine andere Methode wäre DFS-R, bei der (über Windows) der Inhalt von Verzeichnissen fortlaufend zwischen Servern repliziert wird, alle Server halten also alle Daten in der jeweils aktuellsten Form. Über DFS-N können dann die verschiedenen Verzeichnisse unter einem (für alle Server gleichen) UNC-Pfad veröffentlicht werden, der Client greift jeweils auf die nächstliegenden Daten zu. Derartige Replikationsmechnismen bieten auch die Storage-Hersteller für ihre NAS-Gateway-Produkte.
Willst du den Client in das Caching mit einbeziehen, dann wäre MS BranchCache (im "Distributed"-Mode) das Mittel der Wahl.
Gruß
Filipp
caching von Zugriffen auf Fileshares ist ein alter Hut & gibt es in verschiedenen Formen. Halbwegs weit verbreitet sind WAN-Beschleunigungs-Appliances. Die analysieren transportierte Daten auf Applikationsebene - sprich: erkennen es, wenn im Datenverkehr Zugriff auf eine Datei auf einem NAS angefragt wird. Die Antwort cachen sie. Wird die Datei ein zweites Mal angefragt, so prüfen sie gegenüber dem Fileserver ob sie noch die aktuellste Version halten, und liefern ggf. die gecachte Kopie aus.
Eine andere Methode wäre DFS-R, bei der (über Windows) der Inhalt von Verzeichnissen fortlaufend zwischen Servern repliziert wird, alle Server halten also alle Daten in der jeweils aktuellsten Form. Über DFS-N können dann die verschiedenen Verzeichnisse unter einem (für alle Server gleichen) UNC-Pfad veröffentlicht werden, der Client greift jeweils auf die nächstliegenden Daten zu. Derartige Replikationsmechnismen bieten auch die Storage-Hersteller für ihre NAS-Gateway-Produkte.
Willst du den Client in das Caching mit einbeziehen, dann wäre MS BranchCache (im "Distributed"-Mode) das Mittel der Wahl.
Gruß
Filipp
Hallo Stefan
Bist du fündig geworden ? Oder hast du Ambitionen im Rahmen deines Informatikstudiums selbst soetwas zu entwickeln ?
lg Michael
Bist du fündig geworden ? Oder hast du Ambitionen im Rahmen deines Informatikstudiums selbst soetwas zu entwickeln ?
lg Michael
Ich vermute, dass Stefan hier nach einem halben Jahr nicht mehr hereinschaut.
Ich hab nun trotzdem weitergegoogelt und folgendes gefunden.
Ich hab kein 3rd Party Tool gefunden, das clientseitig genau das macht was Stefan skizziert hat.
Es gibt neuerdings einige Caching Möglichkeiten, um Clients mittels SSD zu beschleunigen. zB mit kleinen speziellen caching SSDs mit Zusatz SW oder Hybrid SSDs oder grossen teuren SSDs
Die Microsoft Offline Files gehen in die Richtung, aber es muss vorher genau definiert werden, welche Folders Offline gehalten werden sollen. Geht aber nicht für XP, Mac oder Linux.
Ich habe mich gefragt ob dann bei einer 2 Byte Änderung immer die ganze 10 MB Datei synchronisiert werden muss ? Nein ab Vista gibt es soetwas wie "differential write block writes"
Die MS BranchCache Technik setzt auf den Offline Files auf. Und soweit ich das jetzt verstanden habe, müsste dies im "distributed mode" auch ohne Server funktionieren. Das NAS muss SMB verstehen und der BranchCache muss aktiviert sein.
Ob er richtig eingestellt ist und funktionert, kann man mit den Befehlen "netsh branchcache show status all" überprüfen. Im Performance Monitor kann man auch BranchCache Hits und Misses überwachen.
Alles in allem aber recht aufwändig.
Michael
Ich hab nun trotzdem weitergegoogelt und folgendes gefunden.
Ich hab kein 3rd Party Tool gefunden, das clientseitig genau das macht was Stefan skizziert hat.
Es gibt neuerdings einige Caching Möglichkeiten, um Clients mittels SSD zu beschleunigen. zB mit kleinen speziellen caching SSDs mit Zusatz SW oder Hybrid SSDs oder grossen teuren SSDs
Die Microsoft Offline Files gehen in die Richtung, aber es muss vorher genau definiert werden, welche Folders Offline gehalten werden sollen. Geht aber nicht für XP, Mac oder Linux.
Ich habe mich gefragt ob dann bei einer 2 Byte Änderung immer die ganze 10 MB Datei synchronisiert werden muss ? Nein ab Vista gibt es soetwas wie "differential write block writes"
Die MS BranchCache Technik setzt auf den Offline Files auf. Und soweit ich das jetzt verstanden habe, müsste dies im "distributed mode" auch ohne Server funktionieren. Das NAS muss SMB verstehen und der BranchCache muss aktiviert sein.
Ob er richtig eingestellt ist und funktionert, kann man mit den Befehlen "netsh branchcache show status all" überprüfen. Im Performance Monitor kann man auch BranchCache Hits und Misses überwachen.
Alles in allem aber recht aufwändig.
Michael
