Komisches NAT Problem

[Byteschubser]

Hallo Zusammen

ich habe ein seltsames NAT Problem. Meine Netztopologie ist wie im Bild.

Problem: VLAN22 und VLAN1 kommen nicht ins Internet.

Ich kann aus allen VLANs (auch VLAN1 und VLAN22) die interne wie auch die externe IP Adresse der IB3 anpingen. Ein Routing Problem innerhalb meines Netzes schliesse ich daher aus.

Es gibt einen Workaround: Ich NAT'te VLAN1 und VLAN22 auf die externe IP Adresse der FW-EXT. Dann kommen VLAN1 und VLAN22 ins Internet.

Der oben erwähnte Ping funktioniert auch ohne NAT. 

Ich bin nun langsam am Ende mit meinem Latein. Hat die IB3 irgend ein Problem mit den Netzen 10.250.250.0/27 und 192.168.1.0/24 oder warum funktionieren genau diese beiden nicht?

Viele Grüsse

Byteschubser

[PowerMac]

Interessantes Problem. Vorstellbar wäre ein Konflikt mit dem IP-Range des Gästenetzwerks der IB3, allerdings liegt dieses im Range 10.128.0.0/16 und sollte sich eigentlich nicht mit deinen internen Netzen überschneiden.

Wenn du dem VLAN22 testweise einen anderen Range gibst (z.B. innerhalb/ausserhalb des Ranges 10.128.0.0/9), funktioniert es dann?

[millernet]

Du hast also quasi ein Tripple-NATing im Einsatz? VLAN21 auf VLAN20 auf VLAN10 ins Internet? Oder wird alles bis zur FW-EXT geroutet? Was genau soll dein Setup bezwecken, ausser eine gute Job-Garantie bei Netzwerkproblemen? 🙂  Hobby?

[PowerMac]

@millernet: soweit ich @Byteschubser verstehe, lässt er die ganze NATerei ausschliesslich auf der IB3 laufen. Lediglich zu Testzwecken hat er ein weiteres NAT auf der Pfsense eingerichtet. Netzwerktechnisch ist das sauberer als Double-NAT.

Ob man sich die vielen VLANs und Subnetze in variablen Kleingrössen antun will muss jeder selber wissen. Gibt ja vielleicht Gründe dafür.

[Byteschubser]

Hallo @PowerMac 

deine Analyse ist richtig. NAT nur auf der IB3 und zusätzlich zu Testzwecke auf der FW-EXT und nur bei den beiden Problem-VLAN. 

Ich betreibe strickte LAN Trennung:

- Admin

- INTERN

- IoT

- Gäste-WLAN

- Gäste-LAN

- DMZ

Ich werde mal die IP Adressen in den beiden Problem-VLANs austauschen. Downtime hat nicht unbedingt einen grossen WAF 😋

[millernet]

Bei deinem Setup schlägt das Geek-Herz natürlich höher. Ich betreibe auch eine saubere Netz-Segmentation (Management, IoT, LAN, Guest). Lässt sich aber mit Unifi Equipment sehr einfach lösen und konfigurieren. ("Einfach" ist ein relativer Begriff, wenn man im Berufsalltag auf die Cisco CLI zugreifen muss um solche Dinge zu konfigurieren. Die CLI der EdgeMax Serie von Ubiquiti ist aber auch nicht zu verachten.)

Ich habe zwar einen Layer 3 Switch, verwende diesen aber nicht für Routing Aufgaben, da man ACL's pflegen müsste um gewisse Zugriffe einzuschränken und 10 Gigabit-Routing brauche ich im Heimnetzwerk (noch) nicht. Daher habe ich noch einige "private" Fragen:

• Alle Netze am Cisco-Switch (VLAN32, 31, 22 , 30 , 1) sind voll geroutet ohne ACL's? Danach per default route übers Transportsubnetz VLAN21 zur Firewall.
• Sind beide Firewalls virtualisiert?  (Welchen Hypervisor?)
• Welche Hardware ? Ich habe die Erfahrung gemacht, dass Lüfter auch in geschlossenen Abstellräumlichkeiten einen eingeschränkten WAF haben. Mit U1/2 Equipment kommt man da nicht weit. 
• Hast du Snort aktiv auf einer der Firewalls? Welche Performance erreichst du da? Nach meiner langjährigen Erfahrung hat pfSense eine weniger gute Performance mit Snort unter Proxmox als OPNsense mit Suricata bei nativem Intel Hyperscan. Mit OPNsense hast du auch nicht die genialen Plugins wie Snort oder pfblocker. OPNsense ist aber virtualisierungs-freundlicher als pfSense. Am besten performt pfSense als dedizierte HW Appliance. Seit ich Gigabit-Internet habe, musste ich diverse Versuchsreihen durchführen. Ich kann nicht damit leben, durch IPS-Systeme meine Bandbreite auch nur um wenige Mbit/s zu reduzieren. 
• (Im Pro-Bereich empfehle ich eine Fortigate. Diese frisst auch Gigabit-Datenströme mit vollem IPS-Regelwerk inkl. SSL-Inspection ohne jegliche Probleme. )

[Byteschubser]

---

@millernet  schrieb:

Bei deinem Setup schlägt das Geek-Herz natürlich höher. Ich betreibe auch eine saubere Netz-Segmentation (Management, IoT, LAN, Guest). Lässt sich aber mit Unifi Equipment sehr einfach lösen und konfigurieren. ("Einfach" ist ein relativer Begriff, wenn man im Berufsalltag auf die Cisco CLI zugreifen muss um solche Dinge zu konfigurieren. Die CLI der EdgeMax Serie von Ubiquiti ist aber auch nicht zu verachten.)

Ich habe nur noch beim WLAN Unifi Equipment. Ich bin da bzgl. IPTV und IGMP nicht glücklich geworden. Die Unifi Switche haben da irgendwie ein Problem mit. 

Ich habe zwar einen Layer 3 Switch, verwende diesen aber nicht für Routing Aufgaben, da man ACL's pflegen müsste um gewisse Zugriffe einzuschränken und 10 Gigabit-Routing brauche ich im Heimnetzwerk (noch) nicht. Daher habe ich noch einige "private" Fragen:

• Alle Netze am Cisco-Switch (VLAN32, 31, 22 , 30 , 1) sind voll geroutet ohne ACL's? Danach per default route übers Transportsubnetz VLAN21 zur Firewall.

Noch ist es so. Sobald ich den Fehler gefunden habe - oder entschieden habe mit dem zusätzlichen NAT zu leben - kommen auf den L3 Switch ACL's drauf. 

---

• Sind beide Firewalls virtualisiert?  (Welchen Hypervisor?)
• Welche Hardware ? Ich habe die Erfahrung gemacht, dass Lüfter auch in geschlossenen Abstellräumlichkeiten einen eingeschränkten WAF haben. Mit U1/2 Equipment kommt man da nicht weit. 

Die beiden Firewall sind auf eine ESXi virtualisiert. Die darunter liegende Hardware ist ein Supermicro X10SDV-4C-TLN4F mit 96GB RAM (im Bild ESX01) und einem Synology NAS (im Bild STORAGE01) als Storage. 

Switche sind:

1x 3560CX-PC8

2x 2960CX-PC8

1x 2960CG-8TC

1x 2960C-8TC

Das Rack hängt im Heizungskeller, die Switche sind alle lüfterlos. Der WAF ist somit erreicht 😁

---

• Hast du Snort aktiv auf einer der Firewalls? Welche Performance erreichst du da? Nach meiner langjährigen Erfahrung hat pfSense eine weniger gute Performance mit Snort unter Proxmox als OPNsense mit Suricata bei nativem Intel Hyperscan. Mit OPNsense hast du auch nicht die genialen Plugins wie Snort oder pfblocker. OPNsense ist aber virtualisierungs-freundlicher als pfSense. Am besten performt pfSense als dedizierte HW Appliance. Seit ich Gigabit-Internet habe, musste ich diverse Versuchsreihen durchführen. Ich kann nicht damit leben, durch IPS-Systeme meine Bandbreite auch nur um wenige Mbit/s zu reduzieren. 
• (Im Pro-Bereich empfehle ich eine Fortigate. Diese frisst auch Gigabit-Datenströme mit vollem IPS-Regelwerk inkl. SSL-Inspection ohne jegliche Probleme. )

---

Ich hatte früher die ASTARO (heute Sophos) oder auch Selbstbaulösungen mit Shorewall. Bin aber wegen wegen der immer grösser werdenden Funktionsbeschneidung im Bereich Gratis-Lizenz weg von ASTARO (Sophos). Und Shorewall war dann bei komplexen Sachen doch recht pflegeaufwändig als ein System mit Klicki Bunti GUI.  Eigentlich möchte ich an pfSense (jedenfalls die FW-EXT) im Moment nichts ändern. Das QoS läuft tadellos und der IGMP Proxy fürs IPTV funktioniert auch tadellos. 

Gigabit-Internet im Sinne von 1000MBit/s ist bei mir derzeit kein Thema. Ich habe rund 330/80. 

[millernet]

Danke für die Antworten und die Einblicke. Ich kann dir auch empfehlen, bei pfSense zu bleiben. Wie bereits beschrieben, schätze ich es auf Grund der vielen Plugins (Snort, pfBlocker) mehr als OPNsense. Wenn du kein Gigabit hast, dann ist auch virtualisiertes und nicht optimiertes pfSense mit aktivem Snort immer noch performant genug. Gigabit Internet war bei mir eine schlechte Idee, denn die Investitionen wurden unnütz hochgeschraubt :-). Ich hatte mehrere Jahre OPNsense auf ESXi und dann Proxmox virtualisiert in Betrieb und war zufrieden damit. Die Performance von Suricate konnte ich durch einbinden des nativen Intel-Prozessors, statt der KVM-Variante, über Proxmox massiv erhöhen, da Inter Hyperscan bei Suricata ab ca. 300 Mbit/s Pflicht wird. Alles lief auf einem Supermicro 5018D-FN8T, welchen ich jetzt leider im Keller eingelagert habe. Die Lüfter des Gerätes sind einfach mit der Zeit zu laut geworden und der Druck seitens Ehefrau stieg. Das Rauschen war bis ins Wohnzimmer zu hören. Ich habe meinen Rechner auf einen Ryzen 3900X geupdated und die alten Komponenten (Intel i7-6700) in einem Fractal Design Gehäuse als Hypervisor Host für Proxmox recycelt. Jetzt hört man nichts mehr. Danach habe ich noch auf dem Supermicro pfSense mal nativ und ohne Hypervisor installiert, selbstverständlich mit Snort und pfBlocker aktiv. Diese Hardware-Kombi wird von netgate auch aktiv als Firewall vertrieben und liefert locker 1 Gigabit/s Durchsatz. Die gleiche Variante mit Proxmox Hypervisor und VM-Optimierung gemäss netgate (https://docs.netgate.com/pfsense/en/latest/virtualization/virtualizing-pfsense-with-proxmox.html) lieferte nur ca. 800 Mbit/s und die Performance war nicht zuverlässig abrufbar. Jetzt bin ich bei einer Unifi Dream Machine (nicht die Pro) gelandet, welche alle meine Ansprüche erfüllt: Leise, effizient und voller Gigabit Durchsatz bei aktivem IPS mit vollem Regelwerk. Bei Lastspitzen dreht der Lüfter der DreamMachine aber auch hoch und es wird auch bei geschlossener Tür ein Rauschen hörbar. Dies DreamMachine ist im Heimgebrauch nur eingeschränkt für Platzierung im Wohnzimmer geeignet. Natürlich fehlen einige Funktionen, wie ein OpenVPN oder Wireguard Server oder dual WAN mit Failover, schlaues IPv6 und Load Balancing. Aber die Bedienung und Oberfläche des Unifi Controllers ist einfach einzigartig und nutzerfreundlich, ähnlich wie bei Meraki. Wer aber gerne eine CLI und einen riesigen Funktionsumfang hat, sollte besser auf die EdgeMax Serie von Ubiquiti setzen. Die EdgeRouter sind auch brauchbar, nur bieten leider keinerlei IDS oder IPS, dafür jede Menge (undokumentieren) Funktionsumfang. Multicast verwende ich nicht, da ich auf Teleboy und Apple TV setze. Ein VLAN direkt zur IB 3 mit IGMP Snooping aktiv ging nicht? 

[Werner]

@Byteschubser 

Interessante Installation.

Privat, Business oder gemischt?

Eigentlich bist Du ein sehr gutes Beispiel dafür, dass nicht nur der vielzitierte 0815-Kunde einen Breitbandanschluss bei der Swisscom abonniert.

Falls Du jetzt die Wahl gehabt hättest zwischen einer all-in-one Internetbox und einem ebenfalls vom Provider gestellten reinen Modem-CPE (bei Deinem Anschluss vermutlich inkl. G.Fast Fähigkeit) - für was hättest Du Dich entschieden?

[Byteschubser]

---

@millernet  schrieb:

Ein VLAN direkt zur IB 3 mit IGMP Snooping aktiv ging nicht? 

---

Ich könnte die TV Boxen in das VLAN10 hängen. Dann "sieht" die FW-EXT den IPTV-Traffic nicht, was wiedrum das Downstream-QoS aushebelt.

Ich weis, das ist Jammern auf sehr hohem Niveau 😉

[Byteschubser]

---

@Werner  schrieb:

@Byteschubser 

Interessante Installation.

Privat, Business oder gemischt?

Privat. EFH.

---

Falls Du jetzt die Wahl gehabt hättest zwischen einer all-in-one Internetbox und einem ebenfalls vom Provider gestellten reinen Modem-CPE (bei Deinem Anschluss vermutlich inkl. G.Fast Fähigkeit) - für was hättest Du Dich entschieden?

---

Stimmt, es ist ein Anschluss mit G.Fast. 

Gute Frage. Ich hole etwas mit der Antwort aus:

In der Mietwohnung hatte ich einen Cisco 897VA-K9. Mit dem hatte ich aber immer wieder Probleme mit VoIP, wenn sich die Fritzbox direkt an der Swisscom VoIP Infrastruktur angemeldet hat. (Dauerte Ewigkeiten bis der kommenden Ruf durch ging, die Gegenseite hörte nur Stille oder bekam "ist nicht erreichbar").

Vermutlich auch irgendetwas im NAT Umfeld. Lösen konnte ich das Problem mit einem Workarround, in dem ich die originale IB1 genommen habe und diese als SIP Server konfiguriert habe an dem sich die Fritzbox mit den 2 VoIP Accounts angemeldet hat. 

Mir ist bewusst, dass der Cisco ISR1113 G.Fast kann. Wegen o.g. SIP Problemen habe ich beim Umzug ins Haus davon abgesehen ihn zu kaufen und habe zur IB3 gegriffen. 

Ideal wäre eine All-In-One Box, die man auf reinen Modem-Betrieb umstellen kann. Dann hätte man noch eine Fall-Back-Option zum Debuggen, wenn es mit IPTV oder VoIP (siehe oben) mit der eigenen Installation Probleme gibt.

[Werner]

@Byteschubser 

Mit einem von der Swisscom selbst für den reinen Access zur Verfügung gestellten und falls nötig auch gewartetem Modem-CPE wäre ich ja schon zufrieden gewesen, aber eine IBx mit einem optionalen Bridgemode (so wie es z.B. UPC für ihre Kabel-CPE anbietet) ist natürlich auch eine interessante Idee.

Mal schauen was die Zukunft da vielleicht noch bringt.

[Byteschubser]

---

@PowerMac  schrieb:

Interessantes Problem. Vorstellbar wäre ein Konflikt mit dem IP-Range des Gästenetzwerks der IB3, allerdings liegt dieses im Range 10.128.0.0/16 und sollte sich eigentlich nicht mit deinen internen Netzen überschneiden.

Wenn du dem VLAN22 testweise einen anderen Range gibst (z.B. innerhalb/ausserhalb des Ranges 10.128.0.0/9), funktioniert es dann?

---

Ich habe jetzt 192.168.255.0/24 für das VLAN22 vergeben. Es zeigt sich das gleiche Verhalten:

- PING interne IP Adresse der IB3 OK

- PING externe (die öffentliche) IP Adresse der IB3 OK

- Internet Traffic NOK

Auf der FW-EXT in Diagnostic/States sehe ich die  States als z.B. 18/0. Also 18 Packets gesedet und null Packets empfangen. 

Mich wundert, dass ich die öffentliche IP Adresse der IB3 problemlos anpingen kann. Alles was weiter im Internet drin ist nicht mehr. Leider zeigt mir die IB3 ihre eigene Default Gateway nicht an, so dass ich den 1. Hop nach der IB3 nicht zum Test Pingen kann.

Sobald ich auf der FW-EXT das Netz 192.168.255.0/24 auf die externe IP Adresse der FW-EXT NAT'e funktioniert es

Ich lehne mich jetzt mal aus dem Fenster und stelle folgende Behauptung auf:

Die IB3 hat ein ein Problem mit NAT wenn sie Verkehr aus mehr als 3 verschiedene Netzsegmenten verwalten muss. Es funktioniert das LAN, welches auf der IB3 konfiguriert ist und 2 zusätzliche Netzsegmente . Wenn weitere Netzsegmente durch die IB3 ins Internet geroutet werden sollen, werden diese nicht mehr auf die öffentliche IP Adresse genattet sondern ungenattet ins Inernet geschickt. Begründung für die letzte Behauptung:

Ich kann die öffentliche IP Adresse auf der IB3 anpingen. Sobald ich weiter ins Internet will, kommt kein Traffic mehr zurück da der 1. Router im Netz nach der IB3 (sozusagen ihre eigene Default Gateway) korrekter Weise Pakete mit Source Adressen aus den RFC1918 verwirft. 

[millernet]

---

@Werner  schrieb:

@Byteschubser 

Mit einem von der Swisscom selbst für den reinen Access zur Verfügung gestellten und falls nötig auch gewartetem Modem-CPE wäre ich ja schon zufrieden gewesen, aber eine IBx mit einem optionalen Bridgemode (so wie es z.B. UPC für ihre Kabel-CPE anbietet) ist natürlich auch eine interessante Idee.

Mal schauen was die Zukunft da vielleicht noch bringt.

---

Der Bridge- resp. Modem-Modus bei UPC ist wirklich gut gelöst. Man erhält als Privatkunde sogar zwei dynamische public IPv4 Adressen ohne Aufpreis. Man kann also zwei Router oder Firewalls direkt an die Connect Box hängen und erhält seine dynamische IP. IPv6 gibt es leider so nicht, nur für Business Kunden mit fixer IPv4 (+20 Fr./Mt.) und auf explizite Nachfrage. Für Privatkunden gibt es DS light oder IPv4 only. 

[Byteschubser · Accepted solution]

Die Lösung ist einfach: Die IB3 brauch ein Reboot. Ich habe das mehrfach wiederholend nachstellen können:

- neues VLAN angeleg

- neue statische Route in der IB3

--> kein Internet

- IB3 rebooten

--> neues VLAN kommt ins Internet