Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Suche Programm, dass ein Netzwerkcache realisiert vglw. wie Speicherhierachie im PC

Frage Netzwerke

Mitglied: Oelti86

Oelti86 (Level 1) - Jetzt verbinden

03.05.2013 um 16:04 Uhr, 1823 Aufrufe, 3 Kommentare

Hey liebe administrator-Community

Ich habe mal eine Frage. Gibt es ein Programm, dass ein Netzwerkcache realisiert – vergleichsweise mit der Speicherhierachie im Computer (L1-,L2-, L3-Cache, RAM, Auslagerungsdatei)?

Seitdem ich Informatik studiere und gelernt habe wie die Speicherhierachie im Computer funktioniert (und ich es eigentlich total genial finde), fehlt mir sowas eigentlich im Netzwerk.

Wie soll das Programm funktionieren oder wie stelle ich mir vor sollte es funktionieren?
Es gibt ein riesengroßen Speicher im Netzwerk (NAS ggf. mit RAID und Backup), der aber nur relativ langsam ist. Ggf. ist die Anbindung zum Netzwerk schon schnell (LWL oder Gigabit-Ethernet), aber die Clients haben eine langsame Anbindung (Wireless oder sogar UMTS/GPRS) zum NAS.
Rein hypothetisch haben nun alle Clients in diesem Netzwerk eine zusätzliche kleinere Festplatte oder Partition (wobei gilt: Gesamtkapazität NAS > lokale Festplatte/Partition).
Mein Wunsch wäre nun, dass dem Client bei Zugriff auf der lokalen Festplatte alle(!!!) Dateien des NAS (Verzeichnisstruktrur + Ordner) angezeigt wird, aber nicht physisch darauf gespeichert ist. Auf der Festplatte sind nur die Dateien gespeichert, die oft genutzt werden oder algorithmisch als nächstes benutzt wird. Dabei gilt, dass die Festplatte schon immer voll ist. Das heißt bei Zugriff auf Datei xyz wird geschaut, ob auf der Festplatte physich vorhanden; wenn ja, Cache-Hit und die Datei wird dem Nutzer präsentiert; falls nein, Cache-Miss, Datei wird vom NAS geholt und eine alte Datei wird auf der physichen Platte verdrängt. Bei Erstellen von neuen Dateien oder Änderungen werden die Änderungen je nach Prinzip (es gibt mehrere) sofort auf den NAS zurückgeschrieben.

Also eigentlich genauso wie die Speicherhierachie im Computer funktioniert

Jetzt suche ich genau so ein Programm, der das implementiert – sozusagen der Speichercontroller/Verwalter der ganzen Geschichte.

Gibt es sowas? Oder müsste man theoretisch gesehen ein neues Dateisystem entwickeln? Wenn es das nicht gibt und kein neues Dateisystem entwickelt werden muss – welches Dateisystem würde dies unterstützen?

Danke für eure Antworten

Gruß
Stefan
Mitglied: filippg
03.05.2013, aktualisiert um 17:52 Uhr
Hallo,

caching von Zugriffen auf Fileshares ist ein alter Hut & gibt es in verschiedenen Formen. Halbwegs weit verbreitet sind WAN-Beschleunigungs-Appliances. Die analysieren transportierte Daten auf Applikationsebene - sprich: erkennen es, wenn im Datenverkehr Zugriff auf eine Datei auf einem NAS angefragt wird. Die Antwort cachen sie. Wird die Datei ein zweites Mal angefragt, so prüfen sie gegenüber dem Fileserver ob sie noch die aktuellste Version halten, und liefern ggf. die gecachte Kopie aus.
Eine andere Methode wäre DFS-R, bei der (über Windows) der Inhalt von Verzeichnissen fortlaufend zwischen Servern repliziert wird, alle Server halten also alle Daten in der jeweils aktuellsten Form. Über DFS-N können dann die verschiedenen Verzeichnisse unter einem (für alle Server gleichen) UNC-Pfad veröffentlicht werden, der Client greift jeweils auf die nächstliegenden Daten zu. Derartige Replikationsmechnismen bieten auch die Storage-Hersteller für ihre NAS-Gateway-Produkte.
Willst du den Client in das Caching mit einbeziehen, dann wäre MS BranchCache (im "Distributed"-Mode) das Mittel der Wahl.

Gruß

Filipp
Bitte warten ..
Mitglied: Boomerang63
08.01.2014 um 12:57 Uhr
Hallo Stefan

Bist du fündig geworden ? Oder hast du Ambitionen im Rahmen deines Informatikstudiums selbst soetwas zu entwickeln ?

lg Michael
Bitte warten ..
Mitglied: Boomerang63
09.01.2014 um 11:10 Uhr
Ich vermute, dass Stefan hier nach einem halben Jahr nicht mehr hereinschaut.
Ich hab nun trotzdem weitergegoogelt und folgendes gefunden.

Ich hab kein 3rd Party Tool gefunden, das clientseitig genau das macht was Stefan skizziert hat.

Es gibt neuerdings einige Caching Möglichkeiten, um Clients mittels SSD zu beschleunigen. zB mit kleinen speziellen caching SSDs mit Zusatz SW oder Hybrid SSDs oder grossen teuren SSDs

Die Microsoft Offline Files gehen in die Richtung, aber es muss vorher genau definiert werden, welche Folders Offline gehalten werden sollen. Geht aber nicht für XP, Mac oder Linux.
Ich habe mich gefragt ob dann bei einer 2 Byte Änderung immer die ganze 10 MB Datei synchronisiert werden muss ? Nein ab Vista gibt es soetwas wie "differential write block writes"

Die MS BranchCache Technik setzt auf den Offline Files auf. Und soweit ich das jetzt verstanden habe, müsste dies im "distributed mode" auch ohne Server funktionieren. Das NAS muss SMB verstehen und der BranchCache muss aktiviert sein.

Ob er richtig eingestellt ist und funktionert, kann man mit den Befehlen "netsh branchcache show status all" überprüfen. Im Performance Monitor kann man auch BranchCache Hits und Misses überwachen.

Alles in allem aber recht aufwändig.
Michael
Bitte warten ..
Ähnliche Inhalte
Windows Tools
gelöst Suche Programm um Log auszuwerten + Mail notify (3)

Frage von NetzwerkDude zum Thema Windows Tools ...

Grafik
gelöst Suche Programm um Bilder zu verkleinern (10)

Frage von fox14ch zum Thema Grafik ...

Windows 8
gelöst Suche Möglichkeit zum Verlangsamen von Kartenspiel-Programm (8)

Frage von Sinzal zum Thema Windows 8 ...

Backup
gelöst Suche nach einem vernünftigen Backup Programm für KMU (8)

Frage von Leo-le zum Thema Backup ...

Neue Wissensbeiträge
Windows 10

Windows 8.x oder 10 Lizenz-Key aus dem ROM auslesen mit Linux

(6)

Tipp von Lochkartenstanzer zum Thema Windows 10 ...

Tipps & Tricks

Wie Hackt man sich am besten in ein Computernetzwerk ein

(40)

Erfahrungsbericht von Herbrich19 zum Thema Tipps & Tricks ...

Heiß diskutierte Inhalte
Windows 10
gelöst Windows 10 Home "Netzlaufwerk nicht bereit" (19)

Frage von Oggy01 zum Thema Windows 10 ...

DNS
gelöst Komplette TLD Überschreiben bzw eigene Definieren (10)

Frage von Herbrich19 zum Thema DNS ...

Exchange Server
gelöst RU 17 Exchange 2010 . Erfahrungen? (10)

Frage von keine-ahnung zum Thema Exchange Server ...

Datenbanken
gelöst MySQL Zeiterfassungs-Problematik (wer ist eingecheckt) (9)

Frage von NativeMode zum Thema Datenbanken ...