Entweder auf den Telefonen selbst von der Basisstation abmelden, oder falls Du auf ganz sicher gehen willst im Web-GUI des Routers unter dem Menu “Telefonie” die alten Handhelds löschen.
Bevor Du die alten Telefone entsorgst, die Telefone selbst dann am besten noch auf Werkseinstellungen zurücksetzen.