MM Relation beidseitig löschen

Ich habe ein problem mit MM-Relationen.
Ich habe 2 Tabellen: "User" und "Abzeichen". Ein "User" kann 0-x viele "Abzeichen" erhalten, ein "Abzeichen" hingegen kann an 0-x "User" verliehen werden. Dabei habe ich eine MM Relation aufgebaut.

Wenn ich einem Nutzer dann das Abzeichen zuweise, weise ich diesem zunächst den Benutzer zu.

Sprich:

Abzeichen->setUser(User);
User->setAbzeichen(Abzeichen);

Somit hab ich die nötigen Daten in meinen beiden Relationstabellen. Wenn ich aber nun einen Benutzer bearbeite und dort die Auswahl der Abzeichen, die dem Benutzer zugeordnet sind, so werden die Abzeichen nur vom benutzer gelöscht. Ich möchte aber anders herum auch den Benutzer vom Abzeichen löschen.

Ist das möglich?

Das ist doch konzeptionell schon komisch, oder? Wenn beide Relationen die selben Informationen enthalten, dann reich doch eine mm-Verbindung, egal in welche Richtung, um die Relation abzubilden und Daten aus User- und Abzeichen-Sicht im Frontend auszugeben. Dann hat sich dieses Problem auch schon erledigt.

Ich habe vor 2 verschiedene Seiten darzustellen.

1. Zeige mir alle Abzeichen eines Benutzers.
2. Zeige mir alle Benutzer die ein bestimmtes Abzeichen haben.

Das würde nicht so leicht funktionieren, wenn die Relation nur in eine Richtung gespannt wird :-(

Doch, dass lässt sich sql-technisch beides auch mit 1 Relation abbilden.