蓝墨水  发表于 2022-4-24 15:43 显示全部楼层 楼主
GBase 8a如何限制集群间同步速度

用户可以通过tc工具限制集群节点5288同步端口(集群间同步工具所用端口)的网速,从而有效控制集群间同步工具的速度。但建议网速限制不一过小,否则容易导致集群间同步失败,提示python api recv timeout, retry [*/60]。
具体操作可参考如下步骤:
1、查看集群架构:
普通PC机器(4核CCPU、16G内存、1T硬盘及千兆网络)
1) 主集群:
2) 备集群:

2、检查系统是否自带tc,以主集群的103.9节点为例:
[root@gcpc09 gcinstall_95218]# tc -V
tc utility, iproute2-ss130716
3、查看网卡配置:

4、利用tc工具限制该节点5288端口(集群间同步工具所用端口)的网速为20M,执行以下系统命令:
# tc qdisc del dev enp0s25 root
# tc qdisc add dev enp0s25 root handle 1: htb default 30
# tc class add dev enp0s25 parent 1: classid 1:1 htb rate 20mbps
# tc filter add dev enp0s25 protocol ip parent 1:0 prio 1 u32 match ip sport 5288 0xffff flowid 1:1
5、在主集群另一节点103.10节点参照上述过程同样配置限速为20M
6、在限速情况下,执行集群间同步:
[root@gcpc09 gcluster_rsynctool]#
python gcluster_rsynctool.py --master_mpp_ip=192.168.103.9 --slave_mpp_ip=192.168.103.252 --slave_create_table_if_not_exists --table_list_file=table_list.txt
*************Gcluster Sync Tool Start*************************
Table [                tpch:            lineitem] Sync Start
python api recv timeout,retry [1/60]
python api recv timeout,retry [1/60]
Table [                tpch:            lineitem] Sync End     cost : <105 s,525 ms>
*************Gcluster Sync Tool End With Success**************




您需要登录后才可以回帖 登录 | 立即注册