Anti Spam Community

Posts 1-9 of 9

Thomas Wallutis Premium Member
The company name is only visible to registered members.

Wie viel SPAM ist "normal"?
Hallo zusammen,

wir haben hier bei einem Kunden ein kleines Problem: seine CISCO ASA mit eingebauten TrendMicro SPAM- und Virenfilter scheint an die Grenzen seiner Leistungsfähigkeit angekommen zu sein. Bei der Auswahl des Gerätes sind wir damals von 50 Benutzern ausgegangen. Es scheint jetzt aber so, als würde das Gerät unter der Last der SPAM-Abwehr zusammenbrechen. Hier mal die Statistik der letzten 30 Tage[1]:

Heute letzte 7 Tage letzte 30 Tage
Virus 18 52 106
Spyware 5 7 17
SPAM 14961 82473 329071

Ist so ein Aufkommen normal (d.h. wir haben zu knapp kalkuliert) oder bekommt der Kunde nur viel SPAM?

[1] Die Zahlen aus der TrendMicro Weboberfläche weichen hiervon (nach unten) ab, was mich etwas verwirrt.

Bis denn

Thomas
- 13 Nov 2008, 09:42 am
Thomas Wallutis wrote: > Hallo zusammen, > > wir haben hier bei einem Kunden ein kleines Problem: seine CISCO ASA > mit eingebauten TrendMicro SPAM- und Virenfilter scheint an die > Grenzen seiner Leistungsfähigkeit angekommen zu sein. Bei der Auswahl > des Gerätes sind wir damals von 50 Benutzern ausgegangen. Es scheint > jetzt aber so, als würde das Gerät unter der Last der SPAM-Abwehr > zusammenbrechen. Hier mal die Statistik der letzten 30 Tage[1]: > > Heute letzte 7 Tage letzte > 30 Tage > Virus 18 52 > 106 > Spyware 5 7 17 > SPAM 14961 82473 329071 > > Ist so ein Aufkommen normal (d.h. wir haben zu knapp kalkuliert) oder > bekommt der Kunde nur viel SPAM? > > [1] Die Zahlen aus der TrendMicro Weboberfläche weichen hiervon (nach > unten) ab, was mich etwas verwirrt. > > Bis denn > > Thomas
Nils Decker Premium Member Group moderator
The company name is only visible to registered members.

Re: Wie viel SPAM ist "normal"?
Hallo Thomas,

was Du abklären solltest ist vor Allem, wie die Statistiken genau erstellt werden. Wenn Verbindungen (also Mails deren Inhalt nie angenommen wurde) mitgezählt wurden, ist die Statistik nicht besonders groß. Rund 90% dieser Nachrichten werden dann im Normalfall direkt (auf SMTP Ebene) abgewiesen.

Über die letzten 30 Tage würde das dann 0.1*329071=32907 Nachrichten machen. Das verteilt auf 30 Tage macht gemittelt etwa 1000 pro Tag, verteilt über 50 User macht etwa 200 Spams pro User und Tag (wahrscheinlich werden Adressen wie info@ und support@ u.Ä. davon einen größeren Anteil haben).

Wenn die Verbindungen allerdings ausgenommen wurden, ist es schon ziemlich viel weil die Anzahl der tatsächlichen Verbindungen dann um rund 90% höher läge. Wichtig ist auch noch zu wissen ob die Lösung einzelne Verbindungen die bspw. durch greylisting warten gelassen wurden, bei Wiederkehr als separate Verbindung zählen und somit die Statistiken künstlich aufblähen. Das könnte im übrigen auch den Unterschied zu den web-based Statistiken erklären.

Auch noch wichtig: wie groß ist die durchschnittliche Nachrichtengröße. ~30KB?! Das bestimmt ja im Endeffekt wie viel Arbeit der Filter hat.

Grüße, Nils
This post was modified on 13 Nov 2008 at 10:19 am.
- 13 Nov 2008, 10:18 am
Nils Decker wrote: > Hallo Thomas, > > was Du abklären solltest ist vor Allem, wie die Statistiken genau > erstellt werden. Wenn Verbindungen (also Mails deren Inhalt nie > angenommen wurde) mitgezählt wurden, ist die Statistik nicht > besonders groß. Rund 90% dieser Nachrichten werden dann im Normalfall > direkt (auf SMTP Ebene) abgewiesen. > > Über die letzten 30 Tage würde das dann 0.1*329071=32907 Nachrichten > machen. Das verteilt auf 30 Tage macht gemittelt etwa 1000 pro Tag, > verteilt über 50 User macht etwa 200 Spams pro User und Tag > (wahrscheinlich werden Adressen wie info@ und support@ u.Ä. davon > einen größeren Anteil haben). > > Wenn die Verbindungen allerdings ausgenommen wurden, ist es schon > ziemlich viel weil die Anzahl der tatsächlichen Verbindungen dann um > rund 90% höher läge. Wichtig ist auch noch zu wissen ob die Lösung > einzelne Verbindungen die bspw. durch greylisting warten gelassen > wurden, bei Wiederkehr als separate Verbindung zählen und somit die > Statistiken künstlich aufblähen. Das könnte im übrigen auch den > Unterschied zu den web-based Statistiken erklären. > > Auch noch wichtig: wie groß ist die durchschnittliche > Nachrichtengröße. ~30KB?! Das bestimmt ja im Endeffekt wie viel > Arbeit der Filter hat. > > Grüße, Nils
Thomas Wallutis Premium Member
The company name is only visible to registered members.

Re^2: Wie viel SPAM ist "normal"?
Hi,

eine Menge interessanter Fragen. Sow ie ich es verstehe, werden die Verbindungsversuche gegen eine lokale Datenbank und live gegen einen Onlineservice geprüft. Ich vermute mal dass hier viel Traffic erzeugt wird, der letztendlich den normalen Internetzugang verschlechtert.

Aber ich werde jetzt mal tiefer einsteigen und (bei Interesse) die weiteren Ergebnisse hier posten.

Bis denn

Thomas
- 13 Nov 2008, 10:31 am
Thomas Wallutis wrote: > Hi, > > eine Menge interessanter Fragen. Sow ie ich es verstehe, werden die > Verbindungsversuche gegen eine lokale Datenbank und live gegen einen > Onlineservice geprüft. Ich vermute mal dass hier viel Traffic erzeugt > wird, der letztendlich den normalen Internetzugang verschlechtert. > > Aber ich werde jetzt mal tiefer einsteigen und (bei Interesse) die > weiteren Ergebnisse hier posten. > > Bis denn > > Thomas
Nils Decker Premium Member Group moderator
The company name is only visible to registered members.

Re^3: Wie viel SPAM ist "normal"?
Interessiert auf jeden Fall.

Ich kenne die Produkte von TM nicht so genau, aber evtl. könnte es helfen wenn Du die (virtuelle?!) RAM-Zuweisung für den Spamfilter erhöhst. Was ist denn genau das Problem? Kapazität? Was heißt das? Verzögerung bei der Auslieferung oder generelle Performance des Servers? Was macht der noch außer Spams zu filtern?

Grüße
- 13 Nov 2008, 10:39 am
Nils Decker wrote: > Interessiert auf jeden Fall. > > Ich kenne die Produkte von TM nicht so genau, aber evtl. könnte es > helfen wenn Du die (virtuelle?!) RAM-Zuweisung für den Spamfilter > erhöhst. Was ist denn genau das Problem? Kapazität? Was heißt das? > Verzögerung bei der Auslieferung oder generelle Performance des > Servers? Was macht der noch außer Spams zu filtern? > > Grüße
Thomas Wallutis Premium Member
The company name is only visible to registered members.

Re^4: Wie viel SPAM ist "normal"?
Hi,

ok, jetzt habe ich selbst das gemacht, was ich sonst kritisiere: zu wenig Information geliefert;-)

Wir reden über eine CISCO ASA 5510 mit 256 MB Hauptspeicher. Eingebaut in das Gerät ist das Produkt "TrendMicro InterScan for CISCO CSC SSM", was das Folgende macht:

- Virenfilterung SMTP, HTTP, POP3, IMAP4, FTP
- SPAM-Filterung
- Contentfilterung
- URL Blocking

Der Kunde nutzt zur Arbeit bei seinen Kunden VPN-Verbindungen (MS PPTP, CISCO etc.). Der Internetzugriff soll sehr langsam sein und die VPN-Verbindungen funktioniern schlecht bis gar nicht. Da das vor dem Wechsel der Firewall (Angeblich) nicht war, muss das Problem bei der CISCO ASA liegen.

Schaue ich mir allerdings die Ressourcen auf der ASA an, dann langweilt sich der Prozessor zu Tode und Speicher ist auch genug da.

Ich tippe deshalb auf die Verstopfung der Internetleitung durch die Realtime-Überprüfungen.

Bis denn

Thomas
- 13 Nov 2008, 11:06 am
Thomas Wallutis wrote: > Hi, > > ok, jetzt habe ich selbst das gemacht, was ich sonst kritisiere: zu > wenig Information geliefert;-) > > Wir reden über eine CISCO ASA 5510 mit 256 MB Hauptspeicher. > Eingebaut in das Gerät ist das Produkt "TrendMicro InterScan for > CISCO CSC SSM", was das Folgende macht: > > - Virenfilterung SMTP, HTTP, POP3, IMAP4, FTP > - SPAM-Filterung > - Contentfilterung > - URL Blocking > > Der Kunde nutzt zur Arbeit bei seinen Kunden VPN-Verbindungen (MS > PPTP, CISCO etc.). Der Internetzugriff soll sehr langsam sein und die > VPN-Verbindungen funktioniern schlecht bis gar nicht. Da das vor dem > Wechsel der Firewall (Angeblich) nicht war, muss das Problem bei der > CISCO ASA liegen. > > Schaue ich mir allerdings die Ressourcen auf der ASA an, dann > langweilt sich der Prozessor zu Tode und Speicher ist auch genug da. > > Ich tippe deshalb auf die Verstopfung der Internetleitung durch die > Realtime-Überprüfungen. > > Bis denn > > Thomas
Tobias Knecht Premium Member
The company name is only visible to registered members.

Re^5: Wie viel SPAM ist "normal"?
Hallo zusammen,

ich kenne das Szenario, dass die Leitung dicht ist wegen zuviele externer Abfragen. Das Problem ist der Teufelskreis der dahinter hängt. Ist die externe Abfrage zu langsam bleibt die Connection offen und zieht damit wieder die Bandbreite nach unten. Du drehst Dir also langsam aber sicher den Hahn zu.

Was für eine Leitung wird denn dort genutzt? Wie schnell? Synchron oder Asynchron?

Was helfen kann ist, wenn man einen Teil des Traffics vermindert, indem man sich von bestimmten Informationen einen rsync holt. Beispielsweise Sapmhaus PBL. Damit kann man eigentlich nichts falsch machen.
Ich kenne aber die Produkte von Cisco auch nicht so gut und weiß nicht ob das möglich ist.

Ansonsteen bleibt noch meine eigentliche Lieblingslösung. Holt euch einen V-Server bei irgendeinem Provider und setzt diesen als MX ein. Dort sollte es keine Bandbreitenprobleme geben und Ihr könnt schonmal vorfiltern. Das sollte die Bandbreite entlasten und auch bessere Ergebnisse liefern als mit der Cisco alleine.

Gruß Tobias
This post was modified on 13 Nov 2008 at 11:20 am.
- 13 Nov 2008, 11:19 am
Tobias Knecht wrote: > Hallo zusammen, > > ich kenne das Szenario, dass die Leitung dicht ist wegen zuviele > externer Abfragen. Das Problem ist der Teufelskreis der dahinter > hängt. Ist die externe Abfrage zu langsam bleibt die Connection offen > und zieht damit wieder die Bandbreite nach unten. Du drehst Dir also > langsam aber sicher den Hahn zu. > > Was für eine Leitung wird denn dort genutzt? Wie schnell? Synchron > oder Asynchron? > > Was helfen kann ist, wenn man einen Teil des Traffics vermindert, > indem man sich von bestimmten Informationen einen rsync holt. > Beispielsweise Sapmhaus PBL. Damit kann man eigentlich nichts falsch > machen. > Ich kenne aber die Produkte von Cisco auch nicht so gut und weiß > nicht ob das möglich ist. > > Ansonsteen bleibt noch meine eigentliche Lieblingslösung. Holt euch > einen V-Server bei irgendeinem Provider und setzt diesen als MX ein. > Dort sollte es keine Bandbreitenprobleme geben und Ihr könnt schonmal > vorfiltern. Das sollte die Bandbreite entlasten und auch bessere > Ergebnisse liefern als mit der Cisco alleine. > > Gruß Tobias
Nils Decker Premium Member Group moderator
The company name is only visible to registered members.

Re^6: Wie viel SPAM ist "normal"?
Hi Thomas,

was Tobias schreibt (MX vorschalten) ist tatsächlich eine der geschickteren Lösungen die es gibt damit die Prozesse sich nicht gegenseitig auf dem TM Server Killen bzw. verzögern. Bei Interesse an Werbung, via PM.

Gateway Lösungen haben den Vorteil, dass Sie eben den größten Mist (wie erwähnt, 90% und mehr aller Spams) schon vor eintreffen auf das eigentlich Netzwerk/ die eigentliche Infrastruktur erkennen. Das hat vor allem Load Vorteile macht aber auch das ganze Netzwerk sicherer und sauberer

Schönen Feierabend (falls schon in Sicht ;-))
- 13 Nov 2008, 5:27 pm
Nils Decker wrote: > Hi Thomas, > > was Tobias schreibt (MX vorschalten) ist tatsächlich eine der > geschickteren Lösungen die es gibt damit die Prozesse sich nicht > gegenseitig auf dem TM Server Killen bzw. verzögern. Bei Interesse an > Werbung, via PM. > > Gateway Lösungen haben den Vorteil, dass Sie eben den größten Mist > (wie erwähnt, 90% und mehr aller Spams) schon vor eintreffen auf das > eigentlich Netzwerk/ die eigentliche Infrastruktur erkennen. Das hat > vor allem Load Vorteile macht aber auch das ganze Netzwerk sicherer > und sauberer > > Schönen Feierabend (falls schon in Sicht ;-))
Thomas Wallutis Premium Member
The company name is only visible to registered members.

Re^7: Wie viel SPAM ist "normal"?
Hi,

eine der ursprünglich angebotenen Alternativen sah einen dedizierten Server in der DMZ vor; wurde vom Kunden aber nicht akzeptiert.

Ich sage es mal so: schon in der jetzigen Konstellation kann der Kunde genug strubbelig machen[1], da möchte ich mir nicht noch einen vServer ans Bein binden.

Ich habe jetzt erst mal alles Überflüssige abgedreht; wenn das nicht hilft, dann schalte ich die Realtime-Überprüfung (Online-Abfrage bei TrendMicro) mal testweise ab.

Interessanterweise soll das Ganze aber erst seit zwei Tagen so schlimm sein.

Bis denn

Thomas Wallutis

[1] fragt lieber nicht....
- 13 Nov 2008, 5:45 pm
Thomas Wallutis wrote: > Hi, > > eine der ursprünglich angebotenen Alternativen sah einen dedizierten > Server in der DMZ vor; wurde vom Kunden aber nicht akzeptiert. > > Ich sage es mal so: schon in der jetzigen Konstellation kann der > Kunde genug strubbelig machen[1], da möchte ich mir nicht noch einen > vServer ans Bein binden. > > Ich habe jetzt erst mal alles Überflüssige abgedreht; wenn das nicht > hilft, dann schalte ich die Realtime-Überprüfung (Online-Abfrage bei > TrendMicro) mal testweise ab. > > Interessanterweise soll das Ganze aber erst seit zwei Tagen so > schlimm sein. > > Bis denn > > Thomas Wallutis > > [1] fragt lieber nicht....
Oliver Hamel Premium Member
The company name is only visible to registered members.

Re^8: Wie viel SPAM ist "normal"?
Genau diese Online-Abfrage würde ich nicht deaktivieren, da durch Reputationsdatenbanken, welche über DNS abgefragt werden, ein Großteil des Load von der lokalen Maschine genommen wird.
Der DNS-Abfragedienst gleicht IP-Adressen mit der Trend Micro Reputationsdatenbank ab. Abhängig vom Hersteller sind hier mehr oder weniger bekannte Spammer gelistet. Bspw. spricht Trendmicro von 1.6 Milliarden IP's und Ironport von 30% des weltweiten Emailtraffic (Marketing?!).

Im ersten Schritt wird die Reputation Score per DNS ermittelt. Ist diese entsprechend Ihrer Regelbasis Negativ, so wird diese Verbindung bereits vor den speicherintensiven Routinen wie Spam- und AV-Tests beendet.

a) Mit Reputation: Durchlaufen der lokalen Emailpipeline für einen Bruchteil der Mails.
Ein DNS Request gegen die Online-Reputationsdatenbank. Hier handelt es sich um Bytes und es werden in der Praxis ca. 80-90% der Mails direkt abgewiesen. Datenbanken großer Hersteller sind hoch performant und DNS kann lokal per QoS priorisiert werden. (Bspw.: "Mailserver Listener" -> "Reputationsdatenbank").
Mail die nicht durch die Reputation abgewiesen werden durchlaufen anschliessend die lokale Email Pipeline.

oder

b) Ohne Reputation: Durchlaufen der lokalen Email Pipeline für jede Mail.
(Bspw.: "Mailserver Listener" -> "Message Filter" -> "Anti-Spam" -> "Anti-Virus" -> "Content-Filter" -> "Virus-Outbreak-Filter" -> "...").
- 14 Nov 2008, 11:05 am
Oliver Hamel wrote: > Genau diese Online-Abfrage würde ich nicht deaktivieren, da durch > Reputationsdatenbanken, welche über DNS abgefragt werden, ein > Großteil des Load von der lokalen Maschine genommen wird. > Der DNS-Abfragedienst gleicht IP-Adressen mit der Trend Micro > Reputationsdatenbank ab. Abhängig vom Hersteller sind hier mehr oder > weniger bekannte Spammer gelistet. Bspw. spricht Trendmicro von 1.6 > Milliarden IP's und Ironport von 30% des weltweiten Emailtraffic > (Marketing?!). > > Im ersten Schritt wird die Reputation Score per DNS ermittelt. Ist > diese entsprechend Ihrer Regelbasis Negativ, so wird diese Verbindung > bereits vor den speicherintensiven Routinen wie Spam- und AV-Tests > beendet. > > a) Mit Reputation: Durchlaufen der lokalen Emailpipeline für einen > Bruchteil der Mails. > Ein DNS Request gegen die Online-Reputationsdatenbank. Hier handelt > es sich um Bytes und es werden in der Praxis ca. 80-90% der Mails > direkt abgewiesen. Datenbanken großer Hersteller sind hoch performant > und DNS kann lokal per QoS priorisiert werden. (Bspw.: "Mailserver > Listener" -> "Reputationsdatenbank"). > Mail die nicht durch die Reputation abgewiesen werden durchlaufen > anschliessend die lokale Email Pipeline. > > oder > > b) Ohne Reputation: Durchlaufen der lokalen Email Pipeline für jede > Mail. > (Bspw.: "Mailserver Listener" -> "Message Filter" -> "Anti-Spam" -> > "Anti-Virus" -> "Content-Filter" -> "Virus-Outbreak-Filter" -> "...").