8
Traffic-Monitoring mit Squid
Hallo zusammen,
bei uns gibt es eine von allen Mitarbeiter unterschriebene Betriebsvereinbarung, das die Systeme ausschließlich zu beruflichen Zwecken zu nutzen sind und auch dementsprechend überwacht werden dürfen. Bisher wurde allerdings kein Monitoring durchgeführt und eine private Internetnutzung der Mitarbeiter während der Pausenzeiten geduldet.
Jetzt ist es allerdings vorgekommen, das durch einzelne Mitarbeiter die Internetnutzung soweit zugenommen hat, das für alle anderen eine "normale" Nutzung nicht mehr möglich war!!!
Eine Auswertung auf der Firewall hat eindeutig unseren Proxy (Squid 3.0stable25 auf Debian Lenny) als Quelle identifiziert. Leider komme ich an dieser Stelle mit der Ermittlung der Verursacher nicht weiter, da anscheinend im access.log nicht sämtlicher Traffic protokolliert wird.
Eine Auswerung mit dem Tool Internet Access Monitor (http://www.redline-software.com/eng/products/iam/) ) liefert zwar einen eindeutigen Trend, jedoch zeigt mir die Auswertung dort nur einen wesentlich geringeren Anteil des tatsächlichen Traffics an.
Welche Einstellung muß ich im Squid vornehmen, damit sämtlicher Traffic protokolliert wird?
Die Einstellung für das Logformat ist bisher folgende:
logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %>Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh
mfg
Harald
bei uns gibt es eine von allen Mitarbeiter unterschriebene Betriebsvereinbarung, das die Systeme ausschließlich zu beruflichen Zwecken zu nutzen sind und auch dementsprechend überwacht werden dürfen. Bisher wurde allerdings kein Monitoring durchgeführt und eine private Internetnutzung der Mitarbeiter während der Pausenzeiten geduldet.
Jetzt ist es allerdings vorgekommen, das durch einzelne Mitarbeiter die Internetnutzung soweit zugenommen hat, das für alle anderen eine "normale" Nutzung nicht mehr möglich war!!!
Eine Auswertung auf der Firewall hat eindeutig unseren Proxy (Squid 3.0stable25 auf Debian Lenny) als Quelle identifiziert. Leider komme ich an dieser Stelle mit der Ermittlung der Verursacher nicht weiter, da anscheinend im access.log nicht sämtlicher Traffic protokolliert wird.
Eine Auswerung mit dem Tool Internet Access Monitor (http://www.redline-software.com/eng/products/iam/) ) liefert zwar einen eindeutigen Trend, jedoch zeigt mir die Auswertung dort nur einen wesentlich geringeren Anteil des tatsächlichen Traffics an.
Welche Einstellung muß ich im Squid vornehmen, damit sämtlicher Traffic protokolliert wird?
Die Einstellung für das Logformat ist bisher folgende:
logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %>Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh
mfg
Harald
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 154973
Url: https://administrator.de/contentid/154973
Printed on: April 26, 2024 at 13:04 o'clock
8 Comments
Latest comment
Hallo,
das ist eigenartig.... Ich sehe eigentlich nicht, dass etwas fehlt.
Magst Du vielleicht mal eine andere Auswertungssoftware testen? Ich habe in einem solchen Fall "Sawmill" genutzt...
Was fehlt denn?
Phil
das ist eigenartig.... Ich sehe eigentlich nicht, dass etwas fehlt.
Magst Du vielleicht mal eine andere Auswertungssoftware testen? Ich habe in einem solchen Fall "Sawmill" genutzt...
Was fehlt denn?
Phil
Hallo,
noch eine Ergänzung:
ich habe einen Squid3, bei dem sogar die logformat-Zeile ganz auskommentiert ist. Sogar bei diesem Squid kann ich alles auswerten!
Phil
noch eine Ergänzung:
ich habe einen Squid3, bei dem sogar die logformat-Zeile ganz auskommentiert ist. Sogar bei diesem Squid kann ich alles auswerten!
Phil
Hallo,
danke für deine Mühe. Wir haben hier zusätzlich zum Squid-Log und dem Firewall-Log, noch Port-Mirroring auf dem Internet-Switch, dort greifen wir direkt alle Pakete ab und machen eine Traffic-Analyse. Dort und in der Firewall sehen wir, das der fragliche Traffic über den Sqid läuft! Wenn ich jetzt die Datenmenge per Port-Mirroring ermittle und mit der im Squid protokollierten Datenmenge vergleiche, dann fehlen im Squid etliche GB!
Ich vermute deshalb, das irgendwie im Squid nicht alles protokolliert wird - das bezieht sich jetzt aber nur auf die heruntergeladene Datenmenge.
mfg
Harald
danke für deine Mühe. Wir haben hier zusätzlich zum Squid-Log und dem Firewall-Log, noch Port-Mirroring auf dem Internet-Switch, dort greifen wir direkt alle Pakete ab und machen eine Traffic-Analyse. Dort und in der Firewall sehen wir, das der fragliche Traffic über den Sqid läuft! Wenn ich jetzt die Datenmenge per Port-Mirroring ermittle und mit der im Squid protokollierten Datenmenge vergleiche, dann fehlen im Squid etliche GB!
Ich vermute deshalb, das irgendwie im Squid nicht alles protokolliert wird - das bezieht sich jetzt aber nur auf die heruntergeladene Datenmenge.
mfg
Harald
Hallo,
puh... das ist schwierig.
Ich bin mir nicht sicher, aber IMHO werden ja z.B. HTTPS-Verbindungen transparent durchgereicht und nicht voll geloggt.
Vielleicht ist das der fehlende Traffic.
Phil
puh... das ist schwierig.
Ich bin mir nicht sicher, aber IMHO werden ja z.B. HTTPS-Verbindungen transparent durchgereicht und nicht voll geloggt.
Vielleicht ist das der fehlende Traffic.
Phil
Hallo Phil,
möglich, das das HTTPS-Traffic ist - kann man den größenmäßig doch irgendwie erfassen?
Evtl mit einer neuen Squid-Version? (3.0stable25 --> 3.1.9)
mfg
Harald
möglich, das das HTTPS-Traffic ist - kann man den größenmäßig doch irgendwie erfassen?
Evtl mit einer neuen Squid-Version? (3.0stable25 --> 3.1.9)
mfg
Harald
Hallo,
da kenne ich leider keine Möglichkeit per Squid das auszuwerten.
Mir fällt da nur eine Variante ein: Per IPTables... Du kannst per IPTables den ausgehenden Verkehr loggen lassen und dann per reverse-lookup versuchen, das Ganze auszuwerten.
Phil
da kenne ich leider keine Möglichkeit per Squid das auszuwerten.
Mir fällt da nur eine Variante ein: Per IPTables... Du kannst per IPTables den ausgehenden Verkehr loggen lassen und dann per reverse-lookup versuchen, das Ganze auszuwerten.
Phil
Hallo Phil,
danke für deine Hilfe. Ich denke, das ganze mit iptables auszuwerten wird zu aufwändig (außerdem habe ich die Befürchung, das das die Performance negativ beeinflußt).
Wir werden das glaube ich anders lösen (müssen)
mfg
Harald
danke für deine Hilfe. Ich denke, das ganze mit iptables auszuwerten wird zu aufwändig (außerdem habe ich die Befürchung, das das die Performance negativ beeinflußt).
Wir werden das glaube ich anders lösen (müssen)
mfg
Harald
Hallo,
auf die Performance geht das nicht wirklich! Das kannst Du entspannt sehen bei IPTables.
Ob es Sinn macht, ist natürlich die andere Frage
Phil
auf die Performance geht das nicht wirklich! Das kannst Du entspannt sehen bei IPTables.
Ob es Sinn macht, ist natürlich die andere Frage
Phil