Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Frage Internet E-Mail

Postfix - 1.000.000 Mails pro Stunde?

Mitglied: floriannn

floriannn (Level 1) - Jetzt verbinden

04.09.2006, aktualisiert 18.10.2012, 12806 Aufrufe, 6 Kommentare

Hallo zusammen,

ich suche nach einer Lösung bis zu 1.000.000 E-Mails pro Stunde zu verschicken. Für alle die sich mit diesem Thema etwas schwer tun: Es handelt sich hierbei nicht um Spam! Ich biete eine webbasierte Software zur Steuerung von E-Mail Marketing Kampagnen (PHP, Perl, Postgresql, Postfix). Dabei verpflichten sich meine Kunden vertraglich ausschliesslich permission basierte Adressen zu verwenden (Double Optin). Bin mit meinem momentanen Mailserver bei diversen großen ISPs auf der Whitelist komme aber nicht über eine Versandmenge von ca. 60.000 E-Mails pro Stunde.
Ein neuer Auftrag macht mir zu schaffen, weil es hierbei darum geht wesentlich größere Mengen in kürzerer Zeit zu verschicken als ich das bisher mache. Mein Ziel ist es ca. 1.000.000 E-Mails pro Stunde verschicken zu können und ich weiss nicht genau wo ich ansetzen muss. Sieht irgendjemand eine Möglichkeit das mit Postfix zu bewerkstelligen? Kann man Postfix sinnvoll clustern und so die Versandkapazität erhöhen. Ich habe von einigen kommerziellen Lösungen gehört, wie zum Beispiel port25.com und strongmail.com. Meint ihr sowas kann man auch mit open source erreichen?

Vielen Dank für jeden Tipp und Hinweis. Gruß,
Florian
Mitglied: Kisho
04.09.2006, aktualisiert 18.10.2012
Ich halbe selbst einen Postfix Emailserver und erreiche in der Stunde gerade mal um die 15 000 Mails, wenn ich lokal bleibe. Habe dafür extra ein Script geschrieben, weil ich sehen wollte, wie hoch die CPU Auslastung wird.
Postfix hat außerdem Intervale wo er die Emails verschickt z.B. alle 30 Sek. Diese kann man, meines Wissens, umstellen.

Ich denke Postfix wird dafür nicht genug Power haben und Module wie Virenscanner, Spamfilter ect. verlangsamen die Sache natürlich gewaltig.
Ich kann mir auch gut vorstellen das mehr CPU Leistung, auch mehr Emailleistung für Postfix bietet.

Ich weiß es ehrlich gesagt auch nicht ob man da noch etwas großartig optimieren kann, aber mir konnt ja auch keiner mit meinem Postfix Problem helfen.
Siehe hier: http://www.administrator.de/forum/postfix-smtp-server-mit-mx-zonen-uebe ...
Bitte warten ..
Mitglied: floriannn
04.09.2006 um 11:51 Uhr
Hi,

danke für dein Antwort. Bei deinem Problem kann ich dir vielleicht helfen... Siehe original Thread.

Gruß,
Florian
Bitte warten ..
Mitglied: carg
04.09.2006 um 12:07 Uhr
HI,

ich glaube nicht, dass Du dies mit nur einem Rechner schaffen wirst. z.B. ist ja die Bandbreite irgendwann zu ende und auch die empfangenden Mailserver werden Dich bremsen.
Um solche Mengen zu verschicken wirst Du wenigstens 15 Server brauchen.
Wieviele eMails sind es denn am Tag? Weil man muß ja nicht alles innerhalb von 30 Minuten verschicken, sondern hat ggf. mehr Zeit.
So oder so wirste aber nicht um ein "cluster" herumkommen. Man bedenke alleine die Bounces .... ist sicher auch nicht wenig.

gruß

ps.: es ist nicht so kriegsentscheidend welchen MTA Du verwendest. Zum versenden sollte der eh recht simpel eingestellt sein - also ohne große checks.
Bitte warten ..
Mitglied: floriannn
04.09.2006 um 14:01 Uhr
Hi,

danke für deine Antwort. Das Thema Bandbreite hatte mich zunächst auch ins Grübeln gebracht, aber nach einigen Checks habe ich festgestellt, dass ich auf dem Server eine effektive Bandbreite von ca. 50 Mbit habe. Bei einer durchschnittlichen Mailgröße von 13 kB bräuchte ich für 1.000.000 Mio E-Mails 12 GB/Stunde Datendurchsatz mit den eben genannten 50 Mbit stehen mir aber ca. 22 GB/Stunde zur Verfügung. Und ehrlich gesagt würden mir zunächst ja auch schon 500.000 die Stunde reichen

Mein Postfix ist bereits recht simple eingestellt, keine großen Checks, lokaler DNS, einige Tuning Massnahmen, so dass ich wie gesagt auf ca. 60.000 pro Stunde komme. Jetzt brauche ich noch jemanden der mir den Postifx auf 120.000 tunen kann und weiss wie man Postfix clustert ;)

Danke und Gruß,
Florian
Bitte warten ..
Mitglied: Kisho
04.09.2006 um 15:02 Uhr
Ich glaube das es nicht möglich ist Postfix selbst zu clustern.
Ich hatte mal in einem Beowolf Cluster Postfix laufen, aber richtig geclustert wurde der Postfix trotzdem nicht.

Zum tunen kann ich das offizielle HowTo empfehlen: http://www.postfix.org/TUNING_README.html#rope

Interessant ist auf der Postfix Tunig Readme folgendes Zitat:
"Although Postfix can be configured to run 1000 SMTP client processes at the same time, it is rarely desirable that it makes 1000 simultaneous connections to the same remote system. For this reason, Postfix has safety mechanisms in place to avoid this so-called "thundering herd" problem. " <--- das könnte was werden. So 150 000 werden wohl drinnen sein.

Und das hier ist, zum Thema DNS lookup tuning, noch interessant:
http://software.newsforge.com/article.pl?sid=05/05/12/1510200&tid=7 ...

Ich denke langsam das es vom Grundsatz her machbar sein sollte über 100 000 Emails pro Stunde zu verschicken. Denke aber das Hardware und Internetbandbreite letztendlich das Problem darstellen.
Das größere Problem werden wahrscheinlich die SMTP Server am anderen Ende sein die, die Emails empfangen werden. So gmx, yahoo, gmail usw. hat ja auch ne Clusterfarm von Emailservern, ansonsten würden viele Emailbesitzer dort mehrere Tage warten, bis sie eine Email verschicken können bzw. empfangen haben, aber die haben auch mehrere Gbit Bandbreite *G*.
Bitte warten ..
Mitglied: carg
04.09.2006 um 15:10 Uhr
Hi,

was Du meinst ist die theoretische Bandbreite. Da ist ja doch noch ein wenig Protokoll overhead.

Aber egal. Dein Problem ist auch nicht wirklich die Bandbreite, sondern die Geschwindigkeit beim Verarbeiten der emails.
Ich weiß nicht wie Du die zu verschickenden eMails erzeugst, aber wahrscheinlich ist es einfacher diese schon dort auf mehrere Mailserver zu verteilen. Man könnte z.B. eine Art DNS-Round-Robin mit mehreren Host-A Einträgen verwenden. Es kommt aber wirklich auch die Application an die die eMails erstellt und dann an die verschiedenen Mailserver gibt.
Wenn das Scriptgesteuert ist, dann ist das recht einfach zu implementieren. So als Schnellschuß (nicht durchdacht!!) :
sendene email%20 (modulo 20)
wenns aufgeht:
host a als mailhost
wenn 1 überbleibt:
host b asl mailhost
etc.etc.
Sicher ist es besser in z.b. 100'er oder 1000'er Schritten den Host zu wechseln. Aber nur so als Gedanke.

Gruß patrick
Bitte warten ..
Ähnliche Inhalte
Linux
Postfix: Annahme von Mails
Frage von schneerunzelLinux

Hallo zusammen, ich habe seit über eine Jahr ein Zarafa Server mit einem Postfix dadrunter. Bisher hatten wir nur ...

Linux
Ankommende Mails mit Postfix nicht weiterleiten
Frage von todestoasterLinux6 Kommentare

Hi, Ich habe das Problem, dass mein Mailserver eingehende Mails immer weiterleitet. Im Netz finde ich nur Anleitungen, wie ...

Exchange Server
Exchange 2013 - Durchschnittlicher E-Mail-Durchsatz nach Stunden
gelöst Frage von BirdyBExchange Server7 Kommentare

Guten Morgen zusammen, zur Analyse der Auslastung unserer Einsatzzentrale würde die zuständige Bereichsleitung gerne wissen, wieviele Mails im Schnitt ...

RedHat, CentOS, Fedora
Postfix lokale Kopie der Mail und Relay an Exchange Server
Frage von addamainRedHat, CentOS, Fedora7 Kommentare

Hallo zusammen, ich würde gerne ein Archiv bei einem Exchange Server selber zusammenbasteln. Ich möchte, dass das Archiv auf ...

Neue Wissensbeiträge
Linux

Meltdown und Spectre: Linux Update

Information von Frank vor 1 TagLinux

Meltdown (Variante 3 des Prozessorfehlers) Der Kernel 4.14.13 mit den Page-Table-Isolation-Code (PTI) ist nun für Fedora freigegeben worden. Er ...

Tipps & Tricks

Solutio Charly Updater Fehlermeldung: Das Abgleichen der Dateien in -Pfad- mit dem Datenobject ist fehlgeschlagen

Tipp von StefanKittel vor 2 TagenTipps & Tricks

Hallo, hier einmal als Tipp für alle unter Euch die mit der Zahnarztabrechnungssoftware Charly von Solutio zu tun haben. ...

Sicherheit

Meltdown und Spectre: Wir brauchen eine "Abwrackprämie", die die CPU-Hersteller bezahlen

Information von Frank vor 2 TagenSicherheit12 Kommentare

Zum aktuellen Thema Meltdown und Spectre: Ich wünsche mir von den CPU-Herstellern wie Intel, AMD oder ARM eine Art ...

Sicherheit

Meltdown und Spectre: Realitätscheck

Information von Frank vor 2 TagenSicherheit10 Kommentare

Die unangenehme Realität Der Prozessorfehler mit seinen Varianten Meltdown und Spectre ist seit Juni 2017 bekannt. Trotzdem sind immer ...

Heiß diskutierte Inhalte
E-Mail
Erfahrungen mit hMailServer gesucht
Frage von it-fraggleE-Mail10 Kommentare

Hallo, meine neue Stelle möchte einen eigenen Mailserver. Ich als Linuxkind war direkt geistig mit Postfix dabei. Leider wollen ...

Firewall
Penetrationstester-Labor - Firewalls
Frage von Oli-nuxFirewall9 Kommentare

Mich würde interessieren warum man beim Einrichten eines Penetrationstester-Labor (VMs) die Firewall der Systeme deaktivieren soll? Hat das nur ...

Entwicklung
VBS: alle PDF-Dateien in einem Ordner gleichzeitig öffnen
gelöst Frage von JuweeeEntwicklung9 Kommentare

Hallo, ich habe in deiner Ordnerstruktur (.\Tagesberichte\xx.18\) mehrere dynamische PDF-Formulare (mit LCD erstellt). Die Berichtsformulare sind im Layout alle ...

Netzwerkgrundlagen
IPv6 Inter-VLAN Routing
gelöst Frage von clSchakNetzwerkgrundlagen7 Kommentare

Hi ich befasse mich gerade mit der Implementierung von IPv6 was bisher (in einem VLAN) korrekt funktioniert inkl. DNS ...