Wang's Lab服务器网络管理文档

Wang’s Lab Cloud 网络管理文档

网络拓扑图

校园网拓扑

  • 223网段(院楼机房)
    • 网关223.3.64.1
    • WD12
    • R740
  • 10.128网段(大数据中心)
    • 网关10.128.0.1
    • gpu02(10.128.201.121)
    • paocao(10.64.249.62)
  • 10.201网段(院楼办公室)
    • 网关10.201.0.1
    • cntai-24

ZeroTier拓扑

  • 192.168.53.0/24(ZeroTier官方网络3efa5cb78aaf8c8e
主机名 子网主机地址
gpu02 50
WD12 147
R740 170
cntai-24 100
其他设备 AUTO
  • 192.168.114.0/24(gpu02自建网络2e0b6626b1028d97
主机名 子网主机地址
paocao 1
gpu02 2
WD12 12
R740 74
cntai-24 24
G20 20
其他设备 AUTO
  • 192.168.233.0/24(gpu02自建网络3065b89029954075,仅用于实验室服务器访问互联网,已弃用)
主机名 子网主机地址
gpu02 1
WD12 12
R740 74
cntai-24 24
G20 20
其他设备 无权限

代理配置

  • 服务器代理配置可由如下命令查看

    1
    
    cat /etc/environment
    
  • 已部署的代理服务器

主机名 校园网地址 监听端口 代理协议 权限用户
paocao 10.64.249.62 28000 HTTP, HTTPS jingyu
gpu02 10.128.201.121 28000 HTTP, HTTPS haoqing

VLAN配置

  • 已部署的ZeroTier Controller
主机名 校园网地址 Web UI端口 ZeroTier ID
gpu02 10.128.201.121 3000 3065b89029
paocao 10.64.249.62 8080 2e0b6626b1
  • 已部署的Moon
主机名 地址 ZeroTier ID Moon File
gpu02 10.128.201.121(校园网) 3065b89029
paocao 10.64.249.62(校园网) 2e0b6626b1 0000002e0b6626b1.moon
tencent-cloud-lyy 101.35.88.179 826f239289
suikaxhq.top suikaxhq.top cd5ae5b545 000000cd5ae5b545.moon
  • 可用ZeroTier子网
Network ID 子网网段 备注
3efa5cb78aaf8c8e 192.168.53.0/24 节点上限25个
3065b89029261573(已弃用) 192.168.114.0/24 无节点数量限制
2e0b6626b1028d97 192.168.114.0/24 无节点数量限制
  • 加入ZeroTier网络

    1
    
    sudo zerotier-cli join <network-id>
    
  • 添加Moon

    1
    
    sudo zerotier-cli orbit <moon-id> <moon-id>
    

    也可以将0000xxxxx.moon文件直接复制到/var/lib/zerotier-one/moons.d/目录下,然后修改文件权限:

    1
    2
    3
    
    MOON_FILE=<0000xxxx.moon>
    sudo chown zerotier-one $MOON_FILE
    sudo chgrp zerotier-one $MOON_FILE
    
  • 查看对等方

    1
    
    sudo zerotier-cli peers
    
  • 网络设置:

    • 允许默认路由
    1
    
    sudo zerotier-cli set <network-id> allowDefault=1
    
    • 允许覆盖外网IP
    1
    
    sudo zerotier-cli set <network-id> allowGlobal=1
    

Netdata配置

  • 已部署的Netdata Agent
主机名 Web服务 API Key
gpu02 http://10.128.201.121:19999/ 6b2edae0-6b3e-48df-8ee3-fa21f184a764
paocao http://10.64.249.62:19999/ f6c182e4-87a0-4178-b465-2dbd54a33279
cntai-24 localhost:19999/
WD12 localhost:19999/
R740 localhost:19999/
G20 localhost:19999/
  • 部署Netdata Agent

    1. 安装Netdata(建议持有sudo权限)
      1
      
      wget -O /tmp/netdata-kickstart.sh https://my-netdata.io/kickstart.sh && sh /tmp/netdata-kickstart.sh
      
    2. 配置Netdata(需要sudo权限)
      1
      2
      
      cd /etc/netdata/
      sudo ./edit-config netdata.conf
      
      [global]小节中设置主机名,例如
      1
      2
      
      [global]
          hostname = shendian-gpu02
      
    3. 为Child Agent配置Netdata Streaming(需要sudo权限)
      1
      2
      
      cd /etc/netdata/
      sudo ./edit-config stream.conf
      
      [stream]小节中设置推流,例如
      1
      2
      3
      4
      
      [stream]
          enable = yes
          destination = 10.128.201.121
          api key = 6b2edae0-6b3e-48df-8ee3-fa21f184a764
      
    4. 重启Netdata服务
      1
      
      sudo systemctl restart netdata
      
  • 安装校园网IP实时更新插件(需要sudo权限)

    1. 安装gawk
      1
      
      sudo apt install gawk
      
    2. gpu02下载插件脚本(将下面的<USER>替换为你的用户名)
      1
      2
      
      sudo scp <USER>@10.128.201.121:/home/haoqing18/networking/seu_ip.chart.sh /usr/libexec/netdata/charts.d/
      sudo scp <USER>@10.128.201.121:/home/haoqing18/networking/seu_ip.conf /etc/netdata/charts.d/
      
    3. 修改脚本配置
      1
      2
      
      cd /etc/netdata/
      sudo ./edit-config charts.d/seu_ip.conf
      
      seu_ip_IfaceName的值改为本机网卡名称,如
      1
      
      seu_ip_IfaceName=enp12s0
      
    4. 修改Netdata Plugin配置
      1
      2
      
      cd /etc/netdata/
      sudo ./edit-config charts.d.conf
      
      在合适位置添加一行
      1
      
      seu_ip=yes
      
    5. 重启Netdata服务
      1
      
      sudo systemctl restart netdata
      
  • 启用Netdata nvidia-smi插件

    1. 修改配置
      1
      2
      
      cd /etc/netdata/
      sudo ./edit-config python.d.conf
      
      找到nvidia_smi一行,修改如下
      1
      
      nvidia_smi: yes
      
    2. 重启Netdata服务
      1
      
      sudo systemctl restart netdata
      

    新建用户

    • 新建用户名为<username>的用户,指定默认shell为bash并创建个人文件夹:

      1
      
      sudo useradd <username> -m -s /bin/bash
      

      其中shell可以使用cat /etc/shells查看。

    • 修改<username>用户的密码:

      1
      
      sudo passwd <username>