WORK IN PROGRESS - THIS DOCUMENT IS CURRENTLY BEEING CHANGED AND NOT RELIABLE IN ANY WAY - DONT READ OR GET CONFUSED

Spambekämpfung

Der Goldfisch hat ein neues System zur Spambekämpfung.

Jede BenutzerIn kann ab sofort individuell und einfach einstellen, ab welcher Grenze ein Mail als Spam markiert werden soll und was dann damit passieren soll.

Das ging zwar auch schon bisher, aber nur mit Hilfe von “mailrules” - ab sofort geht das einfacher und verlässlicher.

Einführung

Der Goldfisch prüft alle mails darauf, ob sie spam sind oder nicht. Für jedes Mail vergibt er einen Spamscore, d.h. einen Wahrscheinlichkeitswert dafür, wie wahrscheinlich das mail Spam ist.

Jede BenutzerIn kann nun einen Grenzwert=Spamlevel einstellen, ab welcher Wahrscheinlichkeit der Server das Email als Spam betrachten soll und was dann mit diesen Mails passieren soll. (und sogar Ausnahmen festlegen)

Spamlevel/Spamscore

  • extrem hohe wahrscheinlichkeit : spamlevel = 7 nur sehr Wahrscheinliche Spammails werden als solche gekennzeichnet. Es kommen also etliche Spammails dennoch in die Inbox, dafür gehen relativ wenige emails verloren
  • sehr hohe wahrscheinlichkeit : spamlevel = 5. die meisten spammails werden gefiltert und nur wenige emails gehen verloren. Dennoch werden einige Spams noch immer durchkommen
  • hohe wahrscheinlichkeit : spamlevel = 2.5. fast jeder spam wird erkannt, aber auch ein paar mails pro woche werden fälschlich als spam erkannt.


Spam mit einer superlativ hohen Wahrscheinlichkeit (spamscore>10) werden vom server unabhängig von BenutzerInneneinstellungen nicht angenommen.

Spambox



Spam der abhängig vom Spamlevel als Spam gekennzeichnet wurde, kann nun am Server in einen Unterordner verschoben, gelöscht oder einfach durchgelassen werden.

  • Unterordner : Hier kann man eingeben, in welchen Unterordner der Spam gespeichert werden soll. Er verstopft dann nicht den Posteingang und man kann alle paar Tage mal reinschauen, ob nicht doch ein “gutes” email dabei war. Hier empfiehlt sich, einfach Junk einzugeben, weil das ist der Unterordner den auch Thunderbird defaultmässig verwendet.
  • Löschen: wenn man als Unterordner *delete* eingibt, wird das mail gelöscht. Keine Sorgen mit Spam. aber keine Chance, ein irrtümlich als Spam markiertes mail jemals wieder zu Gesicht zu bekommen
  • Durchlassen: wenn man den Unterordner leer lässt dann wird Spam markiert, kommt aber dennoch in die Inbox. BenutzerInnen, die nur Thunderbird benutzen und dort eingestellt haben, dass Spam automatisch verschoben werden soll, können diese Option wählen. Wird aber von mir nicht empfohlen.



Ganz wichtig ist es, die Spambox regelmässig durchzusehen und alte Spams zu löschen, damit der Server nicht in gespeichertem Spam erstickt.

Ausnahmen

Im Feld Whitelist kann man emailadressen eingeben, die auf jeden Fall nicht als Spam markiert werden - egal was. Das ist manchmal praktisch, wenn emails von bestimmten Leuten immer wieder in den Spamordner kommen.

Wo stelle ich das ein?

Domainmasters ()


  • Ein Wert grösser als 10 bedeuted dass das mail sehr sicher Spam ist und der Goldfisch löscht das mail automatisch.

Spam ist ein Problem. Am goldfisch laufen etliche Spamfilter, um das Problem in den Griff zu bekommen und Spam als solchen zu erkennen, zu markieren und eventuell auch gleich zu löschen. (technische Details für Interessierte am Ende)

Die Filter können jedoch nie zu 100% sagen, ob eine mail spam oder nicht-spam ist, sondern nur eine Art Wahrscheinlichkeit (einen spam-score) angeben.

Die Grenze, ab welchem spamscore der goldfisch eine mail als spam markiert ist hier wesentlich. Je kleiner die Grenze, desto weniger SPAM kommt durch, aber desto höher ist auch die Wahrscheinlichkeit, dass einige wenige gute mails (HAM) fälschlich markiert werden.

Der Goldfisch setzt die Grenze mittlerweile relativ niedrig an. Statt dem empfohlenen Grenzwert von 5 werden mails schon ab 2.5 als SPAM markiert. Der Goldfisch markiert die Mail aber nur. Wenn er sie auch löschen oder verschieben soll, muss man ihm das auch sagen, wie im nächsten Schritt beschrieben.

Ich selbst bekomme an meine Adresse pro Tag ca. 1000 spammails und der goldfisch filtert ca. 90-95% davon aus. Den Rest erledigt der Thunderbird-JUNK-Filter (s.u.) und 10 pro Tag erledige ich selbst.

automatisches Löschen

Der Goldfisch markiert die mails nur, aber löscht sie nicht automatisch. Das will und darf er gar nicht. Aber JedeR kann ganz einfach eine sogenannte Regel am goldfisch definieren, die den SPAM automatisch löscht oder in einen eigenen Unterordner verschiebt (Verschieben geht nur wer den IMAP-Zugang benutzt, siehe mailaccess).

Das automatische Löschen hat den Vorteil, dass die Mail weg ist und man nie mehr daran denken muss.Wenns allerdings doch kein SPAM war, dann ist sie weg für immer.

Das Verschieben in einen speziellen Unterordner hebt die mails noch eine Weile auf und man kann gelegentlich reinschauen, ob doch eine gute mail auch dabei ist. Allerdings muss man diesen Unterordner regelmässig ausleeren. (Bitte !!)

Wer die mails also in einen Unterordner verschieben statt löschen will, muss in seinem Mailprogramm so einen Unterordner erstellen. Am besten benennt man ihn spam. Und nicht zum Ausleeren vergessen !!

Im nächsten Schritt erstellen wir eine Regel, die den SPAM automatisch löscht oder verschiebt.

SPAM-Regel am goldfisch

Für das Erstellen von mailregeln am goldfisch gibts das (schon etwas alte) webinterface:

web-interface mit verschlüsseltem Zugang
oder web-interface mit unverschlüsseltem Zugang

Das Erstellen einer SPAM-Regel ist ganz einfach und dauert nur vier Schritte:

  • Schritt 1 : Anmelden mit eurem Benutzernamen und passwort.
  • Schritt 2 : Clicken des Buttons ADD NEW = neue Regel erstellen
  • Schritt 3 : als Type wählen wir spam und Adresse lassen wir auf alle. Dann clicken wir auf WEITER
  • Schritt 4 : Im Feld SUBBOX geben wir den Namen des Unterordners ein, wo die Spammails hinverschoben werden sollen. Wollen wir die mails löschen, dann geben wir hier *delete* ein. (mit dem stern/asterix vorne und hinten). Die restlichen Felder lassen wir unberührt. (aktiv bleibt auf ja, term auf nein und rank auf 1). Dann klicken wir FERTIG und sind fertig.


Das wars. ehrlich. Alles was jetzt kommt, ist das Fein-Tuning, um noch weniger SPAM zu bekommen.
Wer das nicht will/braucht, kann gleich mit dem Lesen aufhören, oder sich das Kapitel über den JUNK-Filter von Thunderbird ansehen.

individuelle SPAM-Regel am Goldfisch


für Fortgeschrittene und Neugierige:

Die Grenze, ab welchem SPAM-Score der goldfisch eine mail als spam markiert ist derzeit bei 2.5. Man kann diese Grenze nun auch für sich persönlich in einer Regel anpassen, um zB allen SPAM mit einem score ab 7 zu löschen und den mit einem score ab 2.5 in einen unterordner zu geben. Oder man hat Angst, dass bei 2.5 doch zuviele gute mails wegkommen und will die Grenze für sich auf 5 stellen.

Man erstellt die Regel wie oben, nur fügt man nach dem namen des unterordners noch ein Leerzeichen und die persönliche Spamgrenze an.

Beispiel: wir wollen allen spam ab score=7 löschen und allen mails ab score=2 in einen unterordner:

Regel1:

type=spam  adresse=alle
aktiv=Ja term=Ja rank=1
subbox=*delete* 7



Regel2:

type=spam  adresse=alle
aktiv=Ja term=Ja rank=2
subbox=spam 2


Nutzen des JUNK-Filters von Mozilla-Thunderbirds

Wer den Thunderbird als Emailprogramm benutzt, was ich nur zu 100% empfehlen kann, kann zusätzlich zur SPAM-Regel am Goldfisch die Thunderbird-interne JUNK-Erkennung benutzen. Junk ist hier das gleiche wie SPAM. Dieser ebenfalls selbstlernende Filter erkennt nach ein bisschen Übung sehr zuverlässig einen guten Teil der SPAM-mails, die der goldfisch durchlässt.\

aktivieren des Junk-Filters

Als erstes erstellt man einen Unterordner für den Junk mit dem namen junk und aktiviert den JUNK-Filter unter tools -> Junk Mail und setzt folgende Einstellungen:

  • :OK: move incoming messages determined as junk to
    • :OK: other : junk on my@mailadress
    • :OK: delete junk-mails older than 5 days
  • :OK: when I manually mark a mail as junk
    • :OK: move to JUNK-folder

Trainieren des junk-Filters

Jetzt schiebt man allen Junk, den man schon hat, in den Junk-Ordner und lässt alle guten mails in der Inbox. Dann markiert man alle mails in der Inbox (das sind nur gute jetzt !!) und clickt auf messages -> mark -> NICHT JUNK. Jetzt weiss der Filter was wir für gute mails halten. Dann markieren wir alle mails im junk-folder (das sind nur SPAM) und markieren alle und clicken auf messages -> mark -> JUNK. Der Filter weiss jetzt, was wir für böse mails halten.

Wenn nun eine neue SPAM-mail kommt, die der goldfisch übersehen hat, dann erkennt der Thunderbird sie im besten Fall und verschiebt sie von selbst in den junk-ordner. Wenn er sie nicht erkennt, dann erkennen wir sie und markieren sie und drücken entweder die Taste J, oder clicken den JUNK-button oder clicken auf messages -> mark -> JUNK. Dann lernt der Filter dazu und verschiebt die mail automatisch in den Junk folder. Und wenn mal eine gute mail versehentlich in den Junk-Folder rutscht, dann markieren wir sie dort und markieren sie als nicht JUNK.

Die offizielle Dokumentation findet sich unter http://developer.mozilla.org/en/docs/Fighting_Junk_Mail_with_Netscape_7.1

Tips & Tricks

Thunderbird kennt SpamAssassin

Thunderbird erkennt das SPAM-Flag von SpamAssassin. Es gibt dafür ein Setting in den JUNK-mail-controls. Man kann sich die Serverregel am goldfisch also auch sparen. Allerdings mit dem Preis, dass der client die spam-mails vom server laden muss, was zeit und Bandbreite beansprucht.

Helping improve the SPAM-Detection

If you maintain a clean spam/junk-folder that contains only spammail including spammails that has not been detected by goldfisch. (a maintained thunderbird-junk-folder would be excellent) we can include this folder in the autolearning-process for the spam-filter on goldfisch. If you are willing to share, please let me know. (pilsl@goldfisch.at)

technical details


used anti-spam-tools


goldfisch uses the following tools to detect spam:

  • spamassassin with autolearning bayes-database at a current treshold of 2.5 !!
  • DCC
  • PYZOR
  • Razor2
  • realtime honeypot-adresses


However detecting spam is difficult and lot of spam is coming through. Goldfisch does not afford any commercial anti-spam-tools like gmail or gmx do.

Spam-Statistics


The Distribution of spam-score on serveral classes of mails on goldfisch can be viewed at The HamSpam-Statistic.
The statistic is updated daily. Please note that the different mail-classes are collected from different samples for technical reasons. So dont compare the number of mails, but only the distribution !!
At the moment there is no statistic to show the absolut values of mailclasses like spam/ham/unadressed ...

 
goldfisch/tech/spam.txt · Last modified: 2008/03/06 17:12 by peter