Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Suche Programm, dass ein Netzwerkcache realisiert vglw. wie Speicherhierachie im PC

Frage Netzwerke

Mitglied: Oelti86

Oelti86 (Level 1) - Jetzt verbinden

03.05.2013 um 16:04 Uhr, 1795 Aufrufe, 3 Kommentare

Hey liebe administrator-Community

Ich habe mal eine Frage. Gibt es ein Programm, dass ein Netzwerkcache realisiert – vergleichsweise mit der Speicherhierachie im Computer (L1-,L2-, L3-Cache, RAM, Auslagerungsdatei)?

Seitdem ich Informatik studiere und gelernt habe wie die Speicherhierachie im Computer funktioniert (und ich es eigentlich total genial finde), fehlt mir sowas eigentlich im Netzwerk.

Wie soll das Programm funktionieren oder wie stelle ich mir vor sollte es funktionieren?
Es gibt ein riesengroßen Speicher im Netzwerk (NAS ggf. mit RAID und Backup), der aber nur relativ langsam ist. Ggf. ist die Anbindung zum Netzwerk schon schnell (LWL oder Gigabit-Ethernet), aber die Clients haben eine langsame Anbindung (Wireless oder sogar UMTS/GPRS) zum NAS.
Rein hypothetisch haben nun alle Clients in diesem Netzwerk eine zusätzliche kleinere Festplatte oder Partition (wobei gilt: Gesamtkapazität NAS > lokale Festplatte/Partition).
Mein Wunsch wäre nun, dass dem Client bei Zugriff auf der lokalen Festplatte alle(!!!) Dateien des NAS (Verzeichnisstruktrur + Ordner) angezeigt wird, aber nicht physisch darauf gespeichert ist. Auf der Festplatte sind nur die Dateien gespeichert, die oft genutzt werden oder algorithmisch als nächstes benutzt wird. Dabei gilt, dass die Festplatte schon immer voll ist. Das heißt bei Zugriff auf Datei xyz wird geschaut, ob auf der Festplatte physich vorhanden; wenn ja, Cache-Hit und die Datei wird dem Nutzer präsentiert; falls nein, Cache-Miss, Datei wird vom NAS geholt und eine alte Datei wird auf der physichen Platte verdrängt. Bei Erstellen von neuen Dateien oder Änderungen werden die Änderungen je nach Prinzip (es gibt mehrere) sofort auf den NAS zurückgeschrieben.

Also eigentlich genauso wie die Speicherhierachie im Computer funktioniert

Jetzt suche ich genau so ein Programm, der das implementiert – sozusagen der Speichercontroller/Verwalter der ganzen Geschichte.

Gibt es sowas? Oder müsste man theoretisch gesehen ein neues Dateisystem entwickeln? Wenn es das nicht gibt und kein neues Dateisystem entwickelt werden muss – welches Dateisystem würde dies unterstützen?

Danke für eure Antworten

Gruß
Stefan
Mitglied: filippg
03.05.2013, aktualisiert um 17:52 Uhr
Hallo,

caching von Zugriffen auf Fileshares ist ein alter Hut & gibt es in verschiedenen Formen. Halbwegs weit verbreitet sind WAN-Beschleunigungs-Appliances. Die analysieren transportierte Daten auf Applikationsebene - sprich: erkennen es, wenn im Datenverkehr Zugriff auf eine Datei auf einem NAS angefragt wird. Die Antwort cachen sie. Wird die Datei ein zweites Mal angefragt, so prüfen sie gegenüber dem Fileserver ob sie noch die aktuellste Version halten, und liefern ggf. die gecachte Kopie aus.
Eine andere Methode wäre DFS-R, bei der (über Windows) der Inhalt von Verzeichnissen fortlaufend zwischen Servern repliziert wird, alle Server halten also alle Daten in der jeweils aktuellsten Form. Über DFS-N können dann die verschiedenen Verzeichnisse unter einem (für alle Server gleichen) UNC-Pfad veröffentlicht werden, der Client greift jeweils auf die nächstliegenden Daten zu. Derartige Replikationsmechnismen bieten auch die Storage-Hersteller für ihre NAS-Gateway-Produkte.
Willst du den Client in das Caching mit einbeziehen, dann wäre MS BranchCache (im "Distributed"-Mode) das Mittel der Wahl.

Gruß

Filipp
Bitte warten ..
Mitglied: Boomerang63
08.01.2014 um 12:57 Uhr
Hallo Stefan

Bist du fündig geworden ? Oder hast du Ambitionen im Rahmen deines Informatikstudiums selbst soetwas zu entwickeln ?

lg Michael
Bitte warten ..
Mitglied: Boomerang63
09.01.2014 um 11:10 Uhr
Ich vermute, dass Stefan hier nach einem halben Jahr nicht mehr hereinschaut.
Ich hab nun trotzdem weitergegoogelt und folgendes gefunden.

Ich hab kein 3rd Party Tool gefunden, das clientseitig genau das macht was Stefan skizziert hat.

Es gibt neuerdings einige Caching Möglichkeiten, um Clients mittels SSD zu beschleunigen. zB mit kleinen speziellen caching SSDs mit Zusatz SW oder Hybrid SSDs oder grossen teuren SSDs

Die Microsoft Offline Files gehen in die Richtung, aber es muss vorher genau definiert werden, welche Folders Offline gehalten werden sollen. Geht aber nicht für XP, Mac oder Linux.
Ich habe mich gefragt ob dann bei einer 2 Byte Änderung immer die ganze 10 MB Datei synchronisiert werden muss ? Nein ab Vista gibt es soetwas wie "differential write block writes"

Die MS BranchCache Technik setzt auf den Offline Files auf. Und soweit ich das jetzt verstanden habe, müsste dies im "distributed mode" auch ohne Server funktionieren. Das NAS muss SMB verstehen und der BranchCache muss aktiviert sein.

Ob er richtig eingestellt ist und funktionert, kann man mit den Befehlen "netsh branchcache show status all" überprüfen. Im Performance Monitor kann man auch BranchCache Hits und Misses überwachen.

Alles in allem aber recht aufwändig.
Michael
Bitte warten ..
Neuester Wissensbeitrag
Windows 10

Powershell 5 BSOD

(8)

Tipp von agowa338 zum Thema Windows 10 ...

Ähnliche Inhalte
Grafik
gelöst Suche Programm um Bilder zu verkleinern (10)

Frage von fox14ch zum Thema Grafik ...

Batch & Shell
Tipps für PC Listen - Programm (6)

Frage von RisingPhoenix zum Thema Batch & Shell ...

Video & Streaming
gelöst Suche nach Programm um mehrere MP4 Files zu einer zu kombinieren (8)

Frage von Stefan007 zum Thema Video & Streaming ...

Heiß diskutierte Inhalte
Microsoft
Ordner mit LW-Buchstaben versehen und benennen (21)

Frage von Xaero1982 zum Thema Microsoft ...

Netzwerkmanagement
gelöst Anregungen, kleiner Betrieb, IT-Umgebung (18)

Frage von Unwichtig zum Thema Netzwerkmanagement ...

Windows Update
Treiberinstallation durch Windows Update läßt sich nicht verhindern (17)

Frage von liquidbase zum Thema Windows Update ...