Update:
Ein grosser Fortschritt ist mir noch gelungen. Und zwar hab ich die Einstellung doch noch gefunden mit welchem man das (unnötige) Transcoding (grösstenteils) abschalten kann. Im Swisscom TV 2.0 Client selbst (nicht im Webinterface der Servereinstellungen) verbirgt sich hinter dem Plex-Username oben rechts ein Menü mit Einstellungen. Dort steuert man die Client-Einstellungen. Dort bei Videoqualität auf das Maximum stellen (20 Mbps) und bei der Gelegenheit auch noch gleich das Kreuzchen bei Audio bei AC3 und DTS setzen (wenn die angeschlossenen Geräte dies beherrschen).
Mit diesen Einstellungen liessen sich die meisten meiner 1080p mkv Files ruckelfrei abspielen. Allerdings gibt es im TV Box Client die Option "Original" bei der Videoqualität nicht. Das Maximum ist wie gesagt 20 Mbps. Daher werden Videos, welche mit einer höheren Bitrate als 20 Mbps codiert sind immer noch transcodiert. Aber damit kann ich leben, dann spiel ich eben solche Files über andere Wege ab, oder codiere sie im Vorfeld mit einer tieferen Bitrate neu. Bei Plex werde ich mal anfragen ob man die Option "Original" noch einfügen kann.
Ansonsten lässt sich der Plexclient jetzt geniessen, läuft soweit für mich rund (genug).