当前位置:首页 > 知识 >

APIS-APIS-主节点系统在加密货币的虚拟段起到什么作用?

HAWQ段在HAWQ中,段是并行数据处理单元。每个主机上只有一个物理段,每个段可以为一个查询片段启动多个查询执行器(Query Executors ,QEs)。这使得单一的物理段表现得像多个虚拟段,从而使HAWQ能够更好地利用所有可用资源。注意:在本文档中,当我们提到段本身时,指的就是物理段。 一个虚拟段就像是QE的一个容器。每个虚拟段含有为查询片段启动的一个QE。

APIS-APIS-主节点系统在加密货币的虚拟段起到什么作用?

虚拟段的数量被用于确定一个查询的并行度(degree of parallelism,DOP)。段有别于主节点,原因是段:无状态、不存储数据库表元数据、不存储本地文件系统中的数据。主节点将SQL请求连同相关的元数据信息分发给段进行处理。元数据中包含所请求表的HDFS url地址,段使用该URL访问相应的数据。3. HAWQ互联“互联”是HAWQ的网络层。当一个用户连接到数据库并发出了一个查询,每个处理查询的段上会创建多个进程。“互联”指的是段之间的进程间通信,以及通信所依赖的底层网络架构。互联使用标准的以太网交换结构。

省情况下,互联使用UDP(User Datagram Protocol)在网络间传输消息。HAWQ软件在UDP的功能之上执行附加的包验证。这就意味着(HAWQ的网络传输)可靠性相当于TCP(Transmission Control Protocol),而在性能和可扩展性上却优于TCP。如果使用TCP互联,HAWQ有一个1000个段实例的扩展上限,而UDP作为当前互联使用的缺省协议,则没有这个限制。

猜你喜欢

关注我们

微信二维码

微信