Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Suche Programm, dass ein Netzwerkcache realisiert vglw. wie Speicherhierachie im PC

Frage Netzwerke

Mitglied: Oelti86

Oelti86 (Level 1) - Jetzt verbinden

03.05.2013 um 16:04 Uhr, 1808 Aufrufe, 3 Kommentare

Hey liebe administrator-Community

Ich habe mal eine Frage. Gibt es ein Programm, dass ein Netzwerkcache realisiert – vergleichsweise mit der Speicherhierachie im Computer (L1-,L2-, L3-Cache, RAM, Auslagerungsdatei)?

Seitdem ich Informatik studiere und gelernt habe wie die Speicherhierachie im Computer funktioniert (und ich es eigentlich total genial finde), fehlt mir sowas eigentlich im Netzwerk.

Wie soll das Programm funktionieren oder wie stelle ich mir vor sollte es funktionieren?
Es gibt ein riesengroßen Speicher im Netzwerk (NAS ggf. mit RAID und Backup), der aber nur relativ langsam ist. Ggf. ist die Anbindung zum Netzwerk schon schnell (LWL oder Gigabit-Ethernet), aber die Clients haben eine langsame Anbindung (Wireless oder sogar UMTS/GPRS) zum NAS.
Rein hypothetisch haben nun alle Clients in diesem Netzwerk eine zusätzliche kleinere Festplatte oder Partition (wobei gilt: Gesamtkapazität NAS > lokale Festplatte/Partition).
Mein Wunsch wäre nun, dass dem Client bei Zugriff auf der lokalen Festplatte alle(!!!) Dateien des NAS (Verzeichnisstruktrur + Ordner) angezeigt wird, aber nicht physisch darauf gespeichert ist. Auf der Festplatte sind nur die Dateien gespeichert, die oft genutzt werden oder algorithmisch als nächstes benutzt wird. Dabei gilt, dass die Festplatte schon immer voll ist. Das heißt bei Zugriff auf Datei xyz wird geschaut, ob auf der Festplatte physich vorhanden; wenn ja, Cache-Hit und die Datei wird dem Nutzer präsentiert; falls nein, Cache-Miss, Datei wird vom NAS geholt und eine alte Datei wird auf der physichen Platte verdrängt. Bei Erstellen von neuen Dateien oder Änderungen werden die Änderungen je nach Prinzip (es gibt mehrere) sofort auf den NAS zurückgeschrieben.

Also eigentlich genauso wie die Speicherhierachie im Computer funktioniert

Jetzt suche ich genau so ein Programm, der das implementiert – sozusagen der Speichercontroller/Verwalter der ganzen Geschichte.

Gibt es sowas? Oder müsste man theoretisch gesehen ein neues Dateisystem entwickeln? Wenn es das nicht gibt und kein neues Dateisystem entwickelt werden muss – welches Dateisystem würde dies unterstützen?

Danke für eure Antworten

Gruß
Stefan
Mitglied: filippg
03.05.2013, aktualisiert um 17:52 Uhr
Hallo,

caching von Zugriffen auf Fileshares ist ein alter Hut & gibt es in verschiedenen Formen. Halbwegs weit verbreitet sind WAN-Beschleunigungs-Appliances. Die analysieren transportierte Daten auf Applikationsebene - sprich: erkennen es, wenn im Datenverkehr Zugriff auf eine Datei auf einem NAS angefragt wird. Die Antwort cachen sie. Wird die Datei ein zweites Mal angefragt, so prüfen sie gegenüber dem Fileserver ob sie noch die aktuellste Version halten, und liefern ggf. die gecachte Kopie aus.
Eine andere Methode wäre DFS-R, bei der (über Windows) der Inhalt von Verzeichnissen fortlaufend zwischen Servern repliziert wird, alle Server halten also alle Daten in der jeweils aktuellsten Form. Über DFS-N können dann die verschiedenen Verzeichnisse unter einem (für alle Server gleichen) UNC-Pfad veröffentlicht werden, der Client greift jeweils auf die nächstliegenden Daten zu. Derartige Replikationsmechnismen bieten auch die Storage-Hersteller für ihre NAS-Gateway-Produkte.
Willst du den Client in das Caching mit einbeziehen, dann wäre MS BranchCache (im "Distributed"-Mode) das Mittel der Wahl.

Gruß

Filipp
Bitte warten ..
Mitglied: Boomerang63
08.01.2014 um 12:57 Uhr
Hallo Stefan

Bist du fündig geworden ? Oder hast du Ambitionen im Rahmen deines Informatikstudiums selbst soetwas zu entwickeln ?

lg Michael
Bitte warten ..
Mitglied: Boomerang63
09.01.2014 um 11:10 Uhr
Ich vermute, dass Stefan hier nach einem halben Jahr nicht mehr hereinschaut.
Ich hab nun trotzdem weitergegoogelt und folgendes gefunden.

Ich hab kein 3rd Party Tool gefunden, das clientseitig genau das macht was Stefan skizziert hat.

Es gibt neuerdings einige Caching Möglichkeiten, um Clients mittels SSD zu beschleunigen. zB mit kleinen speziellen caching SSDs mit Zusatz SW oder Hybrid SSDs oder grossen teuren SSDs

Die Microsoft Offline Files gehen in die Richtung, aber es muss vorher genau definiert werden, welche Folders Offline gehalten werden sollen. Geht aber nicht für XP, Mac oder Linux.
Ich habe mich gefragt ob dann bei einer 2 Byte Änderung immer die ganze 10 MB Datei synchronisiert werden muss ? Nein ab Vista gibt es soetwas wie "differential write block writes"

Die MS BranchCache Technik setzt auf den Offline Files auf. Und soweit ich das jetzt verstanden habe, müsste dies im "distributed mode" auch ohne Server funktionieren. Das NAS muss SMB verstehen und der BranchCache muss aktiviert sein.

Ob er richtig eingestellt ist und funktionert, kann man mit den Befehlen "netsh branchcache show status all" überprüfen. Im Performance Monitor kann man auch BranchCache Hits und Misses überwachen.

Alles in allem aber recht aufwändig.
Michael
Bitte warten ..
Ähnliche Inhalte
Windows Tools
gelöst Suche Programm um Log auszuwerten + Mail notify (3)

Frage von NetzwerkDude zum Thema Windows Tools ...

Grafik
gelöst Suche Programm um Bilder zu verkleinern (10)

Frage von fox14ch zum Thema Grafik ...

Backup
gelöst Suche nach einem vernünftigen Backup Programm für KMU (8)

Frage von Leo-le zum Thema Backup ...

Batch & Shell
gelöst Suche Batch-Programm zum Zusammenfügen zweier PDF-Dateien (3)

Frage von Sinzal zum Thema Batch & Shell ...

Neue Wissensbeiträge
Sicherheits-Tools

Sicherheitstest von Passwörtern für ganze DB-Tabellen

(1)

Tipp von gdconsult zum Thema Sicherheits-Tools ...

Peripheriegeräte

Was beachten bei der Wahl einer USV Anlage im Serverschrank

(9)

Tipp von zetboxit zum Thema Peripheriegeräte ...

Windows 10

Das Windows 10 Creators Update ist auf dem Weg

(6)

Anleitung von BassFishFox zum Thema Windows 10 ...

Heiß diskutierte Inhalte
Batch & Shell
gelöst ZIP-Archive nach Dateien durchsuchen und Pfade ausgeben (33)

Frage von evinben zum Thema Batch & Shell ...

Router & Routing
Routingproblem in Homerouter-Kaskade mit Raspi (19)

Frage von Oldschool zum Thema Router & Routing ...

Server
Freenas schlechte Schreib Performance bei NFS (16)

Frage von janosch12 zum Thema Server ...

Windows Server
Fehler Vertrauensstellung im AD (14)

Frage von thomas-99 zum Thema Windows Server ...