dann gibst Du auf allen Rechnern in den TCP/IP-Einstellungen die IP des Routers als Gateway und DNS an.
Sollte eine Domäne vorhanden sein, muss der Router als 2-ter DNS angegeben werden, und im DNS-Server von Windows die Weiterleitung (auf die IP des Routers) aktiviert werden.