KMU 10Gbit IB3 / Centro Business 2

[Sennhauser-ITS]

@Smallpot 

Viel Spass und Erfolg bei Deinem Projekt! 🙂

AX7501 als Bridge mit Custom Firewall (OPNsense) läuft bei mir nun seit einiger Zeit "einwandfrei".

(Da Fixe IP leider immernoch nur 1 Gbps muss ich gestehen).

Möglichst ohne hier jetzt den Rahmen der Diskusion zu sprengen:

Aus persönlicher Erfahrung würde ich vom gewählten Gerät für deinen Zweck eher abraten.

Schau dir mal seite #9 des Berichts genauer an:

https://www.anandtech.com/show/15906/supermicro-superserver-e3029d-review-a-fanless-10g-pfsense-powe...

Ich habe eine vergleichbare, passiv gekühlte 1Gbps variante von Supermicro:

https://www.supermicro.com/en/products/system/Box_PC/SYS-E100-9S-L.cfm

Die Kühlung ist meiner Meinung nach unzureichend, vor allem wenn man auch wirklich etwas Leistung abrufen möchte.
Bedeutet: Die lebensdauer der HW leidet darunter, die CPU drosselt die Leistung, wie allenfalls auch weitere Komponenten (z.B. SSD).

Zu bedenken ist auch: Das Gehäuse wird wirklich ziemlich warm bis heiss, anfassen ist da zeitweise wirklich nicht mehr angesagt.

Gruss

P.S. Wie schon von user109 angemerkt: Bezüglich Latenzzeiten hast du mit XGS-PON gegenüber 1 GBps FTTH definitiv keinen Vorteil. Abgesehen davon haben die weiteren Leitungen, Priorisierungen, Auslastungen, Übergänge, ... bis zu deinem Endziel definitiv viel grösseren Einfluss auf die Latenzzeit.

[Smallpot]

Hallo miteinander

Bezüglich Latenz: Ich bin nicht auf Glasfaser derzeit, sondern noch bei UPC Business 1G als Main Provider. Dort is 12-16ms die Regel, nebst einem allgemein nicht sehr zuverlässigen Dienst. Als Backup habe ich Swisscom 100/30, dort ist die Latenz 10ms.

Zum Projekt: Ja, das mit der Wärme.. Ich habe derzeit drei Lüfter (unten, oben, hinten) zum Verwirbeln und Wegführen der Abluft. Ohne Geräte, aber mit den Lüftern messe ich derzeit rund 37 bis 39db, also im Bereich Flüstern. Das und viel Platz für das Supermicro hilft hoffentlich, ansonsten drossele ich das System auf eine verantwortbare Betriebs-Temp.

Ich freue mich zu hören, dass Swisscom-Zyxel als Bride-Private Firewall funktioniert. Wenn es also bei mir nicht beim ersten Anlauf klappt, dann weiss ich, dass der Hund bei mir und nicht beim Provider begraben ist!

[millernet]

Also ich setze in meinem "Home-Lab" mittlerweile auf:

• Fractal Define C (Midi Tower, Leise & Schallisoliert) 

• ASRock X570 Pro4 Board

• AMD Ryzen 7 3700X mit Stock Cooler
• 2 x 32 GB SAMSUNG M391A4G43MB1-CTD Unbuffered ECC (das Einzige was vom 3700X unterstützt wird)
• 2 x Corsair 1TB Force MP600 im ZFS RAID1
• Asus XG-C100F als Netzwerkkarte mit DAC als Trunk zu meinem Ubiquiti EdgeMax EX-16-XG via 10 GBase-T auf einen Netgear GS 110 EMX in mein Büro und von dort auf meine Workstation mit einer ASUS XG-C100C
• Hypervisor: Proxmox VE
• Networking: alles über OVS / Open vSwitch Bridges. 
• Main Uplink: UPC Business 1 Gbit/s (Glasfaser nicht verfügbar, ähnliche Erfahrung wie @Smallpot betreffend Zuverlässigkeit sprich mindestens 30 Minuten down pro Jahr. Glasfaser wäre herzlich willkommen. G.fast Gebastel wäre auch verfügbar, aber zur Zeit keine Alternative da UPC Knebelvertrag.)
• Secondary Uplink: Salt 4G über Netgear M1. 
• Firewall: pfSense in einer VM. Trunk aufsplittung erfolgt auf dem OVS resp. über Proxmox und nicht in der VM. Die VM erhält für jedes Subnetz ein eigenes virtuelles Interface. 
• Weitere Projekte darauf: K8s Cluster mit Rancher mit 3 Nodes, Unifi Controller als LXC, Windows 10 VM, Hass.io . 

Ich erreiche stabile iperf3 Messwerte von 9.7 Gb/s im gleichen Subnetzwerk auf Layer 2 zwischen meiner Workstation und einer Ubuntu VM in Proxmox, ohne irgendwelches PCIe-Passthrough oder anderes Gebastel, sondern rein über die Proxmox "nativen" OVS-Bridges. Von VM zu VM sind es sogar 25 Gbit/s über die gleiche OVS-Bridge. 

Im Routing-Betrieb zwischen zwei Subnetzen resp. Layer 3 über pfSense erreiche ich ca. 4.8 Gbit/s. Optimiert habe ich hier noch überhaupt nichts. Reine Stock installation gemäss Handbuch von netgate. 

Und ja: Das Homelab sollte WAF konform in einem separaten Raum stehen. Es produziert zwar wenig Lärm, aber Abwärme. Über die Minergie-Lüftung mit WRG aber eine gute Stromheizung im Winter.  

[Sennhauser-ITS]

Hallo zusammen

Ich verkaufe mein Zyxel AX7501 (mit XGSPON SFP+), bei Interesse per PN melden.

Vor Sommer wird sich im KMU-Bereich (damit meine ich mit fixer IP -> PPPoE) vermutlich seitens Swisscom nicht viel ändern und mehr als 1Gbps werden nicht aufgeschaltet. Sehr ärgerlich, aber eine ausartende Diskussion darüber wäre bestimmt wenig Zielführend.

@millernet

Spannendes Setting, klingt nach einer Top Preis/Leistungs-Kombo für ein Home-Lab!
Setzen für unsere Haus-Interne Firewall seit "neustem" ebenfalls auf ein ASRock X570 (Phantom Gaming 4, da ein PCIe-Slot mehr) mit Ryzen 7 3700X.

Statt aQuantia verwenden wir Intel NICs, da ich im Desktop-Betrieb nicht die besten Erfahrungen mit aQuantia (der Kupfer-Variante "ASUS XG-C100C") gemacht habe. Jedoch schön zu hören, dass es bei dir so gut läuft!

Hauptgrund für diesen Schritt war in unserem Fall (endlich mal) ein Flexibles "ausbau und umrüstbares" System zu haben. SBCs und passiv gekühlte Lösungen bieten diese Leistung und Flexibilität eher selten (oder/und man ist schnell bei enorm hohen Preisen).

Wenn nicht "ganz" so viel Leistung benötigt wird, setze ich nach wie vor sehr gerne auf die APU2 platform, top zuverlässige SBCs.

[millernet]

---

@Sennhauser-ITS  schrieb:

Hallo zusammen

Ich verkaufe mein Zyxel AX7501 (mit XGSPON SFP+), bei Interesse per PN melden.

Vor Sommer wird sich im KMU-Bereich (damit meine ich mit fixer IP -> PPPoE) vermutlich seitens Swisscom nicht viel ändern und mehr als 1Gbps werden nicht aufgeschaltet. Sehr ärgerlich, aber eine ausartende Diskussion darüber wäre bestimmt wenig Zielführend.

@millernet

Spannendes Setting, klingt nach einer Top Preis/Leistungs-Kombo für ein Home-Lab!
Setzen für unsere Haus-Interne Firewall seit "neustem" ebenfalls auf ein ASRock X570 (Phantom Gaming 4, da ein PCIe-Slot mehr) mit Ryzen 7 3700X.

Statt aQuantia verwenden wir Intel NICs, da ich im Desktop-Betrieb nicht die besten Erfahrungen mit aQuantia (der Kupfer-Variante "ASUS XG-C100C") gemacht habe. Jedoch schön zu hören, dass es bei dir so gut läuft!

Hauptgrund für diesen Schritt war in unserem Fall (endlich mal) ein Flexibles "ausbau und umrüstbares" System zu haben. SBCs und passiv gekühlte Lösungen bieten diese Leistung und Flexibilität eher selten (oder/und man ist schnell bei enorm hohen Preisen).

Wenn nicht "ganz" so viel Leistung benötigt wird, setze ich nach wie vor sehr gerne auf die APU2 platform, top zuverlässige SBCs.

---

Naja die Aquantia / Marvell Chips sind halt das einzig bezahlbare, ausser man findet eine Intel NIC auf dem Gebrauchtmarkt. Das Setup läuft wirklich gut, wird aber meist nur mit 5 Gbit/s ausgelastet (Workstation - Diskstation 1817+ mit 6 x 8 TB RAID6 Seagate IronWolf Disks). Mein Bestreben war immer, eine Art hyper converged Plattform zu haben und alles auf einem einzigen Server virtualisiert zu betreiben. Sobald ein eigenes Haus da ist, wird in einem dedizierten Technikraum ein schöner Cluster mit GlusterFS und allem Pipapo eingerichtet inkl. High Availability mit CARP von pfSense. Für viele ist eine Firewall zu virtualisieren immer noch etwas befremdlich. Ich betreibe jetzt meine Firewalls schon seit 5 Jahren auf ESXi und jetzt auf Proxmox VE. Eine zusätzliche Hardware verursacht nur Kosten, braucht Energie, erzeugt Abwärme und Lärm. Das Setup läuft sehr gut und verursacht keinerlei Probleme, bis auf den doch recht hohen Energieverbrauch. Am meisten Energie verbratet aber die Diskstation mit 6 HDD's. 

Mit dem APU2 von PC Engines habe ich auch schon geschielt. Damit wird aber knapp Gigabit-Performance erreicht, wobei doch Finetuning benötigt wird (https://teklager.se/en/knowledge-base/apu2-1-gigabit-throughput-pfsense/). Ich kann nicht damit leben, dass ich 1 Gigabit/s bezahle, bekomme und danach meine Firewall diese "kastriert". Da habe ich schlaflose Nächte. Ich setze für meine Firewall seit Jahren auf PC-Hardware und pfSense oder OPNsense. Mehr notgedrungen, weil es einfach nichts Besseres für den fortschrittlichen Heimgebrauch (inkl. IPS mit suricate oder snort) gibt. Ich bin schon lange auf der Suche nach der perfekten Heimfirewall als dediziertes Gerät und bis jetzt noch nicht fündig geworden. Ausser man will auf Fortigate und Zywall's umsteigen, was aber mit entsprechenden Lizenzkosten daherkommt. Auch sind die meisten Zywalls sehr schwachbrünstig unterwegs, sind aber als reine Firewall und Router recht passabel. Bei meinen Eltern läuft eine Zywall 110 seit 7 Jahren im Dauerbetrieb. Bis heute ist das Gerät im Handel erhältlich, erhält Software Updates und sogar gratis Support. So etwas ist schon beinahe unerhört in der IT-Welt. Bei Ubiquiti habe ich auch schon mein Glück versucht. Die Dream Machines wäre zwar zu 99% geeignet, kann aber nicht mal ein IPv4 Subnetz am WAN adressieren. Nur eine IPv4 ist zulässig. Wegen solcher und weiter Unzulänglichkeiten, welche von Ubiquiti seit Jahren nicht behoben werden, nichts für mich. Die EdgeRouter (12) bieten zwar die meisten Features, sind aber bei der Performance mehr Schall- und Rauch aus der Marketingabteilung. Ein einfacher WAN-to-LAN-Throughput-Test mit iperf3 förderte für mein Geschmack zu viele TCP Retransmissions zu Tage. Performance wird zudem nur mit dem ominösen HW-Offloading erzielt, welches standardmässig nicht mal aktiviert ist. Die absolut beste Kombination aus komfortabler Bedienung in der UI, Flexibilität bei der Hardware, Möglichkeit der Virtualisierung und offenem Quellcode bieten nur pfSense und OPNsense. Die Systeme kommen auf Grund der notwendigen x86-Prozessoren aber mit recht hohem Stromverbrauch daher. Die Suche nach der perfekten Firewall ist eine Lebensaufgabe geworden. 😂

[KC]

@Sennhauser-ITS  I will write in english as I don't speak german, I have followed your tutorial,

I cannot get the PPPoe passthrough to work with the unifi dream machine pro, somehow it won't get an ip from the zyxel, it only works via DHCP.

Additionally I realised now that the step by step info you provided includes 2 broadband setting, one for IPOE and the other one for PPPOE is that correct?

In this case I would very much want to try it as you mentioned.

Also I have a 10gbps connection from Swisscom, however right now the zyxel only gets 1gbps even though my ONT is a 10GBps.

Here is my current config:

I would very much like to have your feedback

Thank you

KC

[Sennhauser-ITS]

Additionally I realised now that the step by step info you provided includes 2 broadband setting, one for IPOE and the other one for PPPOE is that correct?

Yes, that's correct.

Also I have a 10gbps connection from Swisscom, however right now the zyxel only gets 1gbps even though my ONT is a 10GBps.

Sadly: You won't get 10g over PPPoE yet (only 1g), one reason I changed back to CB2 at the moment.

Some supporters rumor about "Summer 2021" could come a new Business-Router and 10G with fix IP...

... let's hope and wait 😕

[KC]

Thank you for your response,

Ok I understand, its quite incredible that they won't let you do 10gbps on PPPOE, how are you managing on CB2 since it can only handle 1GBPS?

To make sure, I create 2 broadband settings for IPOE and PPPOE and that will allow me to do a PPPOE passthrough to the unifi dream machine pro? With the CB2 it worked perfectly with the passthrough and Unifi dream machine pro.

[KC]

@Sennhauser-ITS Hello again 

i tried your solution. On the zyxel side it works. 
but as soon as I set up pppoe via unifi dream machine pro. With or without dhcp option 60 and vlan 10/11 the zyxel no longer gives an IP address  to the udm pro. 

i don’t know what to do. Any pointers ?

[Sennhauser-ITS]

I wasn't happy with PPPoE passthrough had problems with disconnects, so I changed to Bridge-Mode.
Worked better with Bridge-Mode but I had irregular Interrupts every ~1-12 Days.

Because it never worked perfectly and problem-free, only 1 Gbps is possible yet and I wanted to Use Internet-Backup again I've changed back to CB2.

As I wrote some posts above (maybe in German ;):
Without PPPoE it seems to be a very good and fast solution, but not (yet?) with PPPoE. Maybe others had better experiences than me...

[KC]

@Sennhauser-ITS 

Thank you so much for your time and help,

I ended up sending back the Zyxel as I didn't find the need for 400CHF box for the same results that the CB2.0.

For now it seems impossible to get anything above 10GBps with PPPOE, I confirm that, however I have never managed to get the Zyxel running on bridge mode.

[KC]

@Sennhauser-ITS 

Hello how are you,

I have an idea to maybe make this work,

I believe that getting a media converter: https://www.digitec.ch/fr/s1/product/delock-convertisseur-de-medias-sfp-en-rj45-convertisseur-de-med... 10gb off course then connect it to a unifi dream machine pro could potentially work. 

It remains to be seen if we can achieve the 10gb with this, indeed, the dream machine can clone a mac address, can have option 60 and vlans. 

I am ready to do the test, I just would like to have a confirmation that PPPoe cannot do 10gb.

Thank you

[user109]

@KC This will not work. The converter can use Ethernet, but the SFP + module is XGS-PON and still needs an ONT (e.g. for encryption (AES128) -> the hardware needs software). A Zyxel AX7501 works with the correct settings (is officially certified by Swisscom).

See the comments on the product at Digitec:

https://www.digitec.ch/en/s1/QuestionAndAnswer/ist-der-konverter-mit-dem-xgspon-onu-sfp-modul-ltf722...

[KC]

@user109 Thank you for your response,

For having tried the Zyxel AX7501-B0 I can confirm that with PPPOE passthrough, you do not achieve 10gb. It seems that PPPOE passthrough is capped at 1GB. Additionally it seems that it is impossible to get the Zyxel on Bridge mode, even if you create the dual session with IPE (DHCP) and bridge mode. Which in essence copy the way the Centro Business 2.0 does things. 

Furthermore., It seems that the unifi dream machine pro has the ability to be connected via Fiber directly, I do not know if it does ONT and encryption thought. When I try to put any fiber module on the UDM Pro directly, the SFP+ port doesn't light up.

I believe it was because it needs a media converter, thus why I wanted to try the converter to have the signal transformed to be understood by the UDM PRO.

Furthermore the UDM Pro is capable of doing DHCP Option 60 and the VLAN 10 and or 11.

Thank you 

[Sennhauser-ITS]

You won't get more than 1 Gbps with fix IP -> PPPoE with any solution (at least this ist my last Information from Swisscom Support ~February). Only regular "IPoE-" Users can "benefit" from up to 10Gbps.

I don't know if there is any working XGS-PON Mediaconverter, but regular Mediaconverters or "FTTH Converter" won't work (as described above).

[user109]

---

@KC  schrieb:

@user109 Thank you for your response,

For having tried the Zyxel AX7501-B0 I can confirm that with PPPOE passthrough, you do not achieve 10gb. It seems that PPPOE passthrough is capped at 1GB. Additionally it seems that it is impossible to get the Zyxel on Bridge mode, even if you create the dual session with IPE (DHCP) and bridge mode. Which in essence copy the way the Centro Business 2.0 does things. 

Furthermore., It seems that the unifi dream machine pro has the ability to be connected via Fiber directly, I do not know if it does ONT and encryption thought. When I try to put any fiber module on the UDM Pro directly, the SFP+ port doesn't light up.

I believe it was because it needs a media converter, thus why I wanted to try the converter to have the signal transformed to be understood by the UDM PRO.

Furthermore the UDM Pro is capable of doing DHCP Option 60 and the VLAN 10 and or 11.

Thank you 

---

@KC 

That's correct, XSGPON PPPOE only runs at 1Gbit / s. The Zyxel router cannot do dual session mode. This mode is used in the Centro-Business for all scenarios.
DHCP for: TV, IP telephony and mobile backup. PPPOE for Fixed IP.
There is currently no 10 Gbit / s connection for the business area with fixed IP.

In 1-2 years, 10 Gbit / s or even 40 Gbit / s will also be possible in the business sector.
The solution with converter and dreammachine fails, as already mentioned, because of the ONT (encryption) software in addition to the SFP +. The dream machine does not provide such a driver.
There is also no VLAN connection using the DHCP 60 option.
Since XSGPON is a shared medium, each connection session must be encrypted. In order to guarantee functioning encryption and security, the network device is certified by Swisscom.
The Dreammaschine is not certified by Swisscom.

------------------------------------------------------------------------------------------------------------------------------------

Das ist korrekt, XSGPON PPPOE läuft nur mit 1Gbit/s. Der Zyxel Router kann kein Dual-Session Mode. Dieser Modus wird bei dem Centro-Business benutzt für alle Szenarien.
DHCP für: TV, IP-Telefonie und Mobile Backup . PPPOE für Fixe IP.
Zur Zeit gibt es für den Bussiness-Bereich mit fixer IP keine 10 Gbit/s Verbindung.
In 1-2 Jahren werden auch im Business-Bereich 10 Gbit/s oder sogar 40 Gbit/s möglich sein
Die Lösung mit Konverter und Dream Maschine scheitert, wie schon erwähnt an der ONT (Verschlüsselung) Software zusätzlich zum SFP+. Die Dream Maschine liefert einen solchen (ONT) Treiber nicht.
Da nutz auch keine VLAN Verbindung DHCP 60 Option auf der Dream Maschine.
Da XSGPON ein shared Medium ist, muss jede Verbindungssession verschlüsselt werden. Um eine funktionierende Verschlüsselung und Sicherheit zu garantieren wird das Netzwerkdevice von Swisscom Zertifiziert.
The Dream Maschine ist nicht von Swisscom Zertifiziert.

[KC]

@user109 @Sennhauser-ITS 

Thank you so much for your help 

Now it makes more sense,

Its a shame than this cannot work (Fixed IP with PPPOE).

Funny thing is that I am already on the verge of maxing out my 1GB connection as I cannot get more than 600 (700)MBPS with the dream machine,

Anyhow, I am now looking at maybe getting a connection from an other provider, but who really does 10GBPS. that's the question,

I received some information that the CB3.0 would be arriving in Q3 2021. They say that it would support 10GB. in PPPOE??? will see.

[user109]

@KC My practical experience is that with a normal connection, e.g. to the AWS Cloud S3 (Frankfurt), a maximum of 300Mbit/s is possible.
A connection at 10Gbit/s is also possible for a few thousand dollars a month.
In my opinion / experience, Internet services> 1 Gbit / s without additional costs are currently not possible.
Everything else is bragging about and who has the biggest coc...

-------------------------------------------------------------------------------------------------------------------------------------------

Meine Praxiserfahrung ist, das bei einer normalen Verbindung z.B. zur AWS Cloud S3 (Frankfurt) maximal 300Mbit/s möglich sind.
Für einige tausend Dollar pro Monat ist auch eine Verbindung mit 10Gbit/s möglich.
Nach meiner Meinung / Erfahrung sind Internet Dienste >1 Gbit/s ohne Zusatzkosten ist zur Zeit gar nicht möglich.
Alles andere ist Angeberei und wer hat den grössten Schwan....

[em_gerber]

@Sennhauser-ITS 

Danke für die detaillierten Anleitungen sowie Screenshots.

Ich möchte mein Zyxel AX7501-B0 im Bridge Modus betreiben. Hast du da schon Erfahrung gemacht? Auf meiner pfSense kriege ich lediglich eine 100.x.x.x Adresse wenn der Zyxel im Bridge Modus ist.

[user109]

@em_gerber dein Router ist nicht registriert (pairing) bei Swisscom,(sieht man an der 100.xx IP) um Internet-Services zu erhalten musst Du im Browser:

www.swisscom.ch/access eingeben. wenn das nicht sauber durch läuft musst Du die Hotline kontaktieren und die Hardware MAC-ID vom Zyxel angeben die alte MAC-ID löschen lassen.

Eingabe von (Muss(!) vom Anwender erledigt werden)

• Logindaten von Swisscom
• Seriennummer - siehe Willkommensschreiben
• OTO-ID mit Plug

WICHTIG

Den folgenden Dienst unterstützt die Hotilne von Swisscom kostenlos:  

Pairing

*** Alle anderen Hilfen sind KOSTENPFLICHTIG ***