Kurze Antwort: Ja, grundsätzlich kannst du IPv6 ausgeschaltet lassen, ohne dass dies spürbare Folgen hat. Im vorliegenden Fall mag dies sinnvoll sein.
Lange Antwort: Abgesehen von solchen speziellen Konstellationen bin ich eigentlich überhaupt kein Freund davon, dass man IPv6 ausschaltet. In der vorliegenden Situation ist die hauptsächliche Ursache des Problems die schlampige IPv6-Implementierung in Android, und nebensächlich die 6rd-Technik von Swisscom. Da man an beiden Dingen selbst nichts ändern kann, bleibt nur die völlige Deaktivierung von IPv6 auf dem Router als Workaround. Damit schüttet man zwar das Kind mit dem Bade aus, aber das Problem ist umgangen. Man könnte deswegen z.B. eine Fehlermeldung an Google oder den Gerätehersteller absetzen, die Erfolgschancen schätze ich aber als sehr gering ein.