Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Suche Programm, dass ein Netzwerkcache realisiert vglw. wie Speicherhierachie im PC

Mitglied: Oelti86

Oelti86 (Level 1) - Jetzt verbinden

03.05.2013 um 16:04 Uhr, 1857 Aufrufe, 3 Kommentare

Hey liebe administrator-Community

Ich habe mal eine Frage. Gibt es ein Programm, dass ein Netzwerkcache realisiert – vergleichsweise mit der Speicherhierachie im Computer (L1-,L2-, L3-Cache, RAM, Auslagerungsdatei)?

Seitdem ich Informatik studiere und gelernt habe wie die Speicherhierachie im Computer funktioniert (und ich es eigentlich total genial finde), fehlt mir sowas eigentlich im Netzwerk.

Wie soll das Programm funktionieren oder wie stelle ich mir vor sollte es funktionieren?
Es gibt ein riesengroßen Speicher im Netzwerk (NAS ggf. mit RAID und Backup), der aber nur relativ langsam ist. Ggf. ist die Anbindung zum Netzwerk schon schnell (LWL oder Gigabit-Ethernet), aber die Clients haben eine langsame Anbindung (Wireless oder sogar UMTS/GPRS) zum NAS.
Rein hypothetisch haben nun alle Clients in diesem Netzwerk eine zusätzliche kleinere Festplatte oder Partition (wobei gilt: Gesamtkapazität NAS > lokale Festplatte/Partition).
Mein Wunsch wäre nun, dass dem Client bei Zugriff auf der lokalen Festplatte alle(!!!) Dateien des NAS (Verzeichnisstruktrur + Ordner) angezeigt wird, aber nicht physisch darauf gespeichert ist. Auf der Festplatte sind nur die Dateien gespeichert, die oft genutzt werden oder algorithmisch als nächstes benutzt wird. Dabei gilt, dass die Festplatte schon immer voll ist. Das heißt bei Zugriff auf Datei xyz wird geschaut, ob auf der Festplatte physich vorhanden; wenn ja, Cache-Hit und die Datei wird dem Nutzer präsentiert; falls nein, Cache-Miss, Datei wird vom NAS geholt und eine alte Datei wird auf der physichen Platte verdrängt. Bei Erstellen von neuen Dateien oder Änderungen werden die Änderungen je nach Prinzip (es gibt mehrere) sofort auf den NAS zurückgeschrieben.

Also eigentlich genauso wie die Speicherhierachie im Computer funktioniert

Jetzt suche ich genau so ein Programm, der das implementiert – sozusagen der Speichercontroller/Verwalter der ganzen Geschichte.

Gibt es sowas? Oder müsste man theoretisch gesehen ein neues Dateisystem entwickeln? Wenn es das nicht gibt und kein neues Dateisystem entwickelt werden muss – welches Dateisystem würde dies unterstützen?

Danke für eure Antworten

Gruß
Stefan
Mitglied: filippg
03.05.2013, aktualisiert um 17:52 Uhr
Hallo,

caching von Zugriffen auf Fileshares ist ein alter Hut & gibt es in verschiedenen Formen. Halbwegs weit verbreitet sind WAN-Beschleunigungs-Appliances. Die analysieren transportierte Daten auf Applikationsebene - sprich: erkennen es, wenn im Datenverkehr Zugriff auf eine Datei auf einem NAS angefragt wird. Die Antwort cachen sie. Wird die Datei ein zweites Mal angefragt, so prüfen sie gegenüber dem Fileserver ob sie noch die aktuellste Version halten, und liefern ggf. die gecachte Kopie aus.
Eine andere Methode wäre DFS-R, bei der (über Windows) der Inhalt von Verzeichnissen fortlaufend zwischen Servern repliziert wird, alle Server halten also alle Daten in der jeweils aktuellsten Form. Über DFS-N können dann die verschiedenen Verzeichnisse unter einem (für alle Server gleichen) UNC-Pfad veröffentlicht werden, der Client greift jeweils auf die nächstliegenden Daten zu. Derartige Replikationsmechnismen bieten auch die Storage-Hersteller für ihre NAS-Gateway-Produkte.
Willst du den Client in das Caching mit einbeziehen, dann wäre MS BranchCache (im "Distributed"-Mode) das Mittel der Wahl.

Gruß

Filipp
Bitte warten ..
Mitglied: Boomerang63
08.01.2014 um 12:57 Uhr
Hallo Stefan

Bist du fündig geworden ? Oder hast du Ambitionen im Rahmen deines Informatikstudiums selbst soetwas zu entwickeln ?

lg Michael
Bitte warten ..
Mitglied: Boomerang63
09.01.2014 um 11:10 Uhr
Ich vermute, dass Stefan hier nach einem halben Jahr nicht mehr hereinschaut.
Ich hab nun trotzdem weitergegoogelt und folgendes gefunden.

Ich hab kein 3rd Party Tool gefunden, das clientseitig genau das macht was Stefan skizziert hat.

Es gibt neuerdings einige Caching Möglichkeiten, um Clients mittels SSD zu beschleunigen. zB mit kleinen speziellen caching SSDs mit Zusatz SW oder Hybrid SSDs oder grossen teuren SSDs

Die Microsoft Offline Files gehen in die Richtung, aber es muss vorher genau definiert werden, welche Folders Offline gehalten werden sollen. Geht aber nicht für XP, Mac oder Linux.
Ich habe mich gefragt ob dann bei einer 2 Byte Änderung immer die ganze 10 MB Datei synchronisiert werden muss ? Nein ab Vista gibt es soetwas wie "differential write block writes"

Die MS BranchCache Technik setzt auf den Offline Files auf. Und soweit ich das jetzt verstanden habe, müsste dies im "distributed mode" auch ohne Server funktionieren. Das NAS muss SMB verstehen und der BranchCache muss aktiviert sein.

Ob er richtig eingestellt ist und funktionert, kann man mit den Befehlen "netsh branchcache show status all" überprüfen. Im Performance Monitor kann man auch BranchCache Hits und Misses überwachen.

Alles in allem aber recht aufwändig.
Michael
Bitte warten ..
Ähnliche Inhalte
Windows Tools

Suche Programm zum dateien suchen und Ersetzen mit Wildcat Suche

gelöst Frage von sfera-haizaWindows Tools5 Kommentare

Grüßt euch, ich nutze zzT. das Programm InfoRapid Suchen & Ersetzen um HTML / PHP Dateien zu durchsuchen bzw. ...

Windows XP

Neuer PC mit alten Programmen

gelöst Frage von wiedhalmWindows XP15 Kommentare

Hallo Experten! Nach dem mein etwas älterer PC (ca 10 Jahre) mit lautem Geräusch seinen Geist aufgeben hat, meine ...

Batch & Shell

Tipps für PC Listen - Programm

Frage von RisingPhoenixBatch & Shell6 Kommentare

Guten Tag, Ich habe vor ein paar Wochen angefangen ein Batch Programm zu schreiben indem man die Informationen von ...

Netzwerke

Programm ausführen von anderen PC

Frage von StewieNetzwerke7 Kommentare

Hallo und guten Abend Ich habe folgendes Problem und hoffe dass ihr mir weiterhelfen könnt Ich habe diese Situation ...

Neue Wissensbeiträge
Windows 10
Zero-Day-Lücke in Microsoft Edge
Information von kgborn vor 1 TagWindows 10

In Microsofts Edge-Browser klafft wohl eine nicht geschlossene (0-Day) Sicherheitslücke im Just In Time Compiler (JIT Compiler) für Javascript. ...

Sicherheit
Microsoft und Skype: Sicherheit
Information von kgborn vor 1 TagSicherheit

Die Tage gab es ja einige Berichte zur Sicherheit des Skype-Updaters. Der Updater von Skype läuft unter dem Konto ...

Datenschutz

Behörden ignorieren Sicherheitsbedenken gegenüber Windows 10

Information von Penny.Cilin vor 2 TagenDatenschutz8 Kommentare

Hallo, passend zum Thema Ablösung LIMUX in München ein interessanter Beitrag dazu: Behörden ignorieren Sicherheitsbedenken gegenüber Windows 10 Anscheinend ...

Sicherheit
Information Security Hub Munich airport
Information von brammer vor 2 TagenSicherheit

Hallo, Neues Center für Cyber Kriminalität am Münchener Flughafen brammer

Heiß diskutierte Inhalte
DSL, VDSL
Mindestgeschwindigkeiten DSL Telekom
Frage von justlukasDSL, VDSL14 Kommentare

Hallo zusammen, Seit diesem Jahr habe ich Verständnisprobleme mit dem Verhalten der Telekom. Wir haben seit einem Jahr VDSL ...

Switche und Hubs
LANCOM-Switch: Probleme (no link) mit SFP-Modulen?
Frage von THETOBSwitche und Hubs11 Kommentare

Hi zusammen, ich habe folgendes Problem: Und zwar habe ich an einem Standort drei Switche verbaut - LANCOM GS-2326P+, ...

Firewall
RB2011 Firewall Rule eine bestimmte Mac oder IP Adresse nicht zu blockieren
Frage von lightmanFirewall10 Kommentare

Hallo liebes Forum mit ihren Spezialisten. Ich habe meine Firewall so konfiguriert das kein Endgerät ohne meine Speziellen Erlaubnis ...

Humor (lol)
Was könnte man mit einem Server machen? Idee gesucht
Frage von 2SeitenHumor (lol)10 Kommentare

Hey Zusammen Ich habe einen alten HP G2 Rackserver zu Hause rumliegen. 28GB Ram, 1xAMD Prozi mit etwa 2GHz. ...