Для примера настрою коммутатор Cisco Nexus N3K-C3064PQ-10GX.
Коммутатор имеет 48 портов SFP+ 10 Gb/s и 4 QSFP+ 40 Gb/s, для соединения между коммутатором и серверами я использую DAC кабеля до 5м, но можно также использовать более длинные AOC оптические.
При первом подключении через консоль, я указал пароль для пользователя admin:
2020 Oct 12 08:42:06 switch %$ VDC-1 %$ %POAP-2-POAP_INFO: - Abort Power On Auto Provisioning [yes - continue with normal setup, skip - bypass password and basic configuration, no - continue with Power On Auto Provisioning]
Do you want to enforce secure password standard (yes/no): yes
Enter the password for "admin":
Confirm the password for "admin":
Would you like to enter the basic configuration dialog (yes/no): no
Переключился в режим конфигурирования и указал файл прошивки:
dir
show incompatibility nxos bootflash:nxos.7.0.3.I4.6.bin
configure terminal
boot nxos bootflash:/nxos.7.0.3.I4.6.bin
exit
Сохранил конфигурацию, перезагрузил коммутатор и убедился что он загрузился с указанной ранее прошивки:
copy running-config startup-config
reload
This command will reboot the system. (y/n)? [n] y
Далее посмотрим текущую и сохраненную конфигурации:
show running-config
show startup-config
Во время включении коммутатора при необходимости можно перейти в режим загрузчика:
Press ctrl L to go to loader prompt in 2 secs
Из загрузчика также можно вручную запустить коммутатор с указанной прошивки:
loader>boot bootflash:nxos.7.0.3.I4.6.bin
Или так:
switch(boot)#load bootflash:nxos.7.0.3.I4.6.bin
Сразу выберем режим портов, так как после этого действия необходима перезагрузка устройства (например я обычно использую 48x10g+4x40g):
hardware profile portmode ?
hardware profile portmode 64x10G
hardware profile portmode 48x10g+4x40g
copy running-config startup-config
exit
reload
Если выбрать режим 64x10G, то в четыре 40G порты можно будет подключить кабеля QSFP+ to 4 x SFP+. Подключить в обычные 10G порты кабель 4 x SFP+ to QSFP+ чтобы увеличить количество 40G портов не получится, линк будет постоянно флапать и в логах (Interface Ethernet1/1 is down (Error disabled. Reason:Too many link flaps), разве что можно на другом устройстве порт 40G разобрать на 4x10G и создать агрегацию, либо просто использовать обычные кабеля и агрегацию с обеих сторон из портов 10G.
show interface ethernet 1/1 capabilities | i Breakout
Breakout capable: no
Добавим необходимые VLAN и при необходимости описания:
vlan 207
name Management
vlan 300
name Users
exit
Приведу примеры настройки access и trunk портов:
interface Ethernet1/1
switchport
switchport mode access
description ixnfo_com
switchport access vlan 300
storm-control broadcast level 0.50
interface Ethernet1/2
switchport
switchport mode trunk
switchport trunk allowed vlan 207,300
Приведу пример настройки гибридного порта, Vlan 300 без тега, а все остальные vlan с тегом:
switchport mode trunk
switchport trunk native vlan 300
switchport trunk allowed vlan 207-209,300
По умолчанию порты 1-48 настроены на скорость 10 Gb/s, чтобы подключить 1 Gb/s укажем:
interface ethernet 1/1-44
speed 1000
interface ethernet 1/45-48
speed 10000
Укажем часовой пояс и ntp сервер для синхронизации времени:
ntp server 192.168.5.50
clock timezone UTC 2 0
show clock
Настроим SNMP:
snmp-server community ixnfo ro
Если будут создаваться interface vlan (SVI), то активируем feature interface-vlan:
show feature
feature interface-vlan
Приведу пример создания interface vlan (SVI):
vlan 207
exit
interface vlan 207
description ixnfo.com
ip address 10.0.0.2/24
ip address 192.168.5.5/24 secondary
no ip redirects
no shutdown
exit
Пример указания маршрута по умолчанию:
ip route 0.0.0.0/0 10.0.0.1
Или:
vrf context default
ip route 0.0.0.0/0 10.0.0.1
Пример настройки mgmt порта:
int mgmt 0
ip address 192.168.5.5/24
exit
vrf context management
ip route 0.0.0.0/0 192.168.5.1
exit
ping 192.168.5.55 vrf management
Можно указать hostname:
hostname IXNFO_COM
Приведу примеры просмотра различной информации:
show version
show system uptime
show system resources
show boot variables
show banner motd
show feature
show vdc membership
show running-config copp all
show running-config interface ethernet 1/1-10
show interface ethernet 1/1 transceiver details
show interface ethernet 1/1 capabilities
show interface ethernet 1/1-10
show int status mod 3
show interface status
show interface brief
show interface Ethernet1/52
show interface Ethernet1/52 brief
show processes cpu
show processes log
show processes log details
show processes memory
show logging
show cli history
show install all status
dir
show sprom all
show inventory
show module
show environment
show environment power
show environment fan
show environment fan detail
show environment temperature
show license
show system reset-reason
show terminal
show ip arp
show ip arp | include b47a.f1a9.0000
Uptime коммутатора можно посмотреть командой:
show version
Разрешим использование SFP модулей от сторонних производителей:
service unsupported-transceiver
Также при использовании сторонних SFP и DAC кабелей я указывал команды ниже для интерфейсов, так как без них либо не было линка, либо он пропадал через некоторое время, например:
interface ethernet 1/52
no negotiate auto
duplex full
Также можно выключить flow-control если он не выключился автоматически:
no flowcontrol receive
no flowcontrol send
Настроим завершение консольных сессий через 30 минут:
line console
exec-timeout 30
Пример ограничения доступа к коммутатору по IP адресам:
ip access-list ixnfo
permit ip 10.0.0.1/32 any
permit ip 192.168.15.15/32 any
line vty
exec-timeout 30
access-class ixnfo in
Пример активации telnet (но я рекомендую использовать ssh):
feature telnet
Для очистки конфигурации используется команда:
write erase
Пример копирования текущей и сохраненной конфигурации на TFTP сервер:
copy running-config tftp://ixnfo.com/running-config.bak
copy startup-config tftp://ixnfo.com/startup-config.bak
Пример восстановления конфигурации с TFTP сервера:
copy tftp://ixnfo.com/running-config.bak running-config
Смотрите также мои статьи:
- Скрипт резервного копирования Cisco Nexus 3064
- Настройка Jumbo Frame на Cisco Nexus 3064
- Настройка DHCP Relay на Cisco Nexus 3064
- Агрегация каналов LACP на Cisco Nexus 3064
- Большая загрузка CPU на Cisco Nexus 3064
- Настройка логов
- Настройка Cisco Catalyst 6509-E
- Настройка Cisco устройств
Здравствуйте, возможно может и сталкивались вы с такой проблемой на этом Nexus.
Есть Nexus 3064, он у меня в роли ядра.
Поднято около 30 интерфейс вланов,работает вся система чётко, активных линков около 25, то есть с этого коммутатора уходит на коммутаторы доступа, и вот есть проблема, к примеру на коммутаторе доступа пропадает электричество на 1 минуту, ну или на пол дня, потом электричество появилось, и поднимается линк на обоих сторонах, у меня на нексусе поднимается цп до 80 процентов, не надолго но поднимается, ладно бы это был 1 коммутатор ладно ещё, но когда их 10 отключается по питанию, но nexus просто замирает на 30 минут.Я честно уже незнаю что делать.
Лог в момент отвала и поднятия.
2021 Oct 15 16:54:18 CORE %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/17 is down (Link failure)
2021 Oct 15 16:54:30 CORE last message repeated 1 time
2021 Oct 15 16:54:30 CORE %ETHPORT-5-SPEED: Interface Ethernet1/17, operational speed changed to 1 Gbps
2021 Oct 15 16:54:30 CORE %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/17, operational duplex mode changed to Full
2021 Oct 15 16:54:30 CORE %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1/17, operational Receive Flow Control state changed to off
2021 Oct 15 16:54:30 CORE %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1/17, operational Transmit Flow Control state changed to off
2021 Oct 15 16:54:30 CORE %ETHPORT-5-IF_UP: Interface Ethernet1/17 is up in mode trunk
Пожалуйста помогите если это возможно.
Вы скинули стандартные логи изменения состояния линка, а насчет нагрузки на CPU, то некоторые функции типа DHCP Snooping могут влиять, хотя вряд ли так сильно, пересмотрите конфигурацию, можете еще посмотреть нет ли флуда multicast и broadcast в этот момент, также желательно чтобы в каждом vlan не было много клиентов или хотя бы чтоб между ними был изолирован трафик.
Ну во влане одна подсеть /24, и до 150 где то абонов в влане, когда линк поднимается broadcast и unicast поднимается, и по графикам(Cacti) поднимается в том влане в котором пропадал коммутатор(линк),в других вланах не поднимается,а вот изолировать трафик это хорошая идея.
Что можете посоветовать в данной ситуации?
Поделите сеть на больше VLAN, как минимум чтобы VLAN на устройство доступа был, а на устройствах доступа изолируйте трафик между портами, как изолировать трафик я писал статьи, а IP адреса ваших подсетей можно выдавать в разных VLAN.
1)В каждом влан свой шлюз.
2)Да это идея хорошая, переназначать адреса и вланы на коммутаторах это проблематично.
Кроме смены вланов никак и переназначения адресов?
Здравствуйте.
Вячеслав, процесс настройки в Вашей статье практически полностью совпадает с моими настройками N3K-C3064PQ-10GX. Но моя железка продолжает через 10-25 минут отключать 10G sfp (совместимые). Может сможете помочь советом?
Здравствуйте. Посмотрите логи и детальную статистику по sfp модулю там скорее всего можно увидеть причину, ну и я так понял у Вас указаны вручную скорость, дуплекс, отключено автосогласование, примеры команд в статье есть. Еще может быть плохой оптический сигнал и пропадать линк.
Благодарю за ответ!
У нас нет возможности обращаться в Cisco TAC за помощью по ряду причин. Поэтому ищем пути решения самостоятельно.
Да, скорость, дуплекс и автосогласование отключены согласно Ваших рекомендаций.
Самое интересное, что если использовать 1Г трансиверы, такое поведение отсутствует, даже при включенном автоматическом согласовании.
«Залипание» портов «лечится» только перезагрузкой. NS-OS уже установили крайнюю, с сайта производителя.
Software
BIOS: version 5.0.0
NXOS: version 9.3(7)
BIOS compile time: 06/05/2018
NXOS image file is: bootflash:///n3000-compact.9.3.7.bin
NXOS compile time: 3/10/2021 3:00:00 [03/10/2021 15:39:29]
Здравствуйте, Вячеслав!
Благодарю за Ваш отклик!
Увлекся поиском решения и не ожидал что Вы так быстро ответите.
Да, порты с двух сторон настроены с отключенным автоматическим согласованием и «прибиты гвоздями» скорость и дуплекс.
Получается следующее, что при пока невыясненной ситуации происходит «залипание» 10Г портов (с 1Г это не замечается), причем абсолютно всех, которые на данный момент подключены. «Лечится» только перезагрузкой. По индикации порт светится «оранжевым» цветом.
По объективным причинам, я не могу общаться с Cisco ТАС. Ищем решение самостоятельно.
Версия установлена крайняя, с сайта производителя.
Software
BIOS: version 5.0.0
NXOS: version 9.3(7)
BIOS compile time: 06/05/2018
NXOS image file is: bootflash:///n3000-compact.9.3.7.bin
NXOS compile time: 3/10/2021 3:00:00 [03/10/2021 15:39:29]
Хотя до этого была рекомендуемая. Максимум по времени, коммутатор работал без залипания 3 недели. Но последнее время участились случаи отказа, пришлось отключить одно плечо.
Логи ниже, но пока мне не понятна причина (три последние записи с истории самого порта).
186) Event:ESQ_REQ length:38, at 648542 usecs after Thu Mar 18 12:42:58 2021
Instance:0x1A000000, Seq Id:0x1, Ret:SUCCESS
[E_MTS_TX] Dst:MTS_SAP_TEM(1570), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441)
187) FSM: Transition at 648626 usecs after Thu Mar 18 12:42:58 2021
Previous state: [ETH_PORT_FSM_ST_WAIT_PRE_CFG]
Triggered event: [ETH_PORT_FSM_EV_PRE_CFG_DONE]
Next state: [ETH_PORT_FSM_ST_LINK_INIT]
188) FSM: Transition at 615642 usecs after Thu Mar 18 12:43:13 2021
Previous state: [ETH_PORT_FSM_ST_LINK_INIT]
Triggered event: [ETH_PORT_FSM_EV_PACER_TIMER_EXPIRED]
Next state: [FSM_ST_NO_CHANGE]
Curr state: [ETH_PORT_FSM_ST_LINK_INIT]
И из общего лога
2021 Mar 18 12:42:58 dc-core %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/1 is down (Link failure)
К сожалению, оборудование пока не заземлено — работаем в этом направлении.
Возможно включен DOM на нексусе, буду проверять.
Благодарю!