Regeln für Sender- und Empfängeradressen mit Postfix

Hallo,
ich habe einen E-Mail Server(darfu läuft Postfix) und eine Reihe von sehr viele E-Mail User und Verteiler. Ein Verteiler ist ist eine all-Adresse, so dass wenn der Verteiler angesprochen wird, alle User eine E-Mail bekommen. Mein Problem: Diese all-Adresse kann von jedem User angesprochen werden und das möchte ich nicht. Diese E-Mail Adresse darf nur von zwei oder drei Personen angesprochen werden. Geht das mit Postfix, dass man da eine Regel einführt vonwegen, wenn User A an die Adresse schreibt, dann lass gewähren, Mail von allen anderen Usern bitte löschen??. Die Firewall ist hier nutzlos, weil sich alle hinter der Firewall befinden.