So, ich habe etwas experimentiert und denke die Lösung gefunden zu haben.
Also ein temporärer Wechsel des Switches (16-Port -> 8-Port) hat nichts gebracht.
Alle Geräte mit Ausnhame des Servers deaktivieren hat auch nichts gebracht.
Auch Kombinationen der beiden Ansätze hat nichts gebracht.
Der Versuch die Ports an welchen die SCTV Boxen hänge mit QoS auf High zu stellen scheint das Problem jedoch behoben zu haben.
Also:
Port: Internet-Box -> High
Port: Switch1 - Switch2 -> High
Port: SCTV Box1 + 2 -> High
Ich hoffe, dass andere auch von dieser Lösung profitieren können.