如何创建StarRocks集群

前提条件

已在目标地域创建一个专有网络和交换机，详情请参见创建和管理专有网络和创建和管理交换机。

操作步骤

进入创建集群页面。

登录E-MapReduce控制台。

可选：在顶部菜单栏处，根据实际情况选择地域和资源组。

地域：创建的集群将会在对应的地域内，一旦创建不能修改。

资源组：默认显示账号全部资源。

单击上方的创建集群，进行创建。

配置集群信息。

创建集群时，您需要对集群进行软件配置、硬件配置和基础配置。

重要

集群创建完成后，除了集群名称以外，其他配置均无法修改，所以在创建时请仔细确认各项配置。

软件配置。

配置项

示例

描述

地域

华东1（杭州）

创建的集群将会在对应的地域内，一旦创建不能修改。

业务场景

数据分析场景

选择数据分析。

产品版本

EMR-5.17.0

默认最新的软件版本。

服务高可用

关闭

默认关闭。开启后集群会有三个Master节点来支持ResourceManager和NameNode的高可用。 您也可以修改节点数量。

可选服务

Starrocks2

根据您的实际需求选择其他的一些组件，被选中的组件会默认启动相关的服务进程。

允许采集服务运行日志

开启

支持一键开启或关闭所有服务的日志采集。默认开启，将收集您的服务运行日志，这些日志仅供集群诊断使用。

集群创建后，您可以在基础信息页面，修改服务运行日志收集状态。

重要

关闭日志采集后，EMR的健康检查和技术支持将受到限制，但其他功能仍可正常使用。如何关闭及影响详情，请参见如何停止采集服务日志？。

DLF统一元数据

勾选

默认勾选，表示元数据存储在数据湖构建DLF中。

重要

选择该方式时，需要开通数据湖构建DLF产品，您可以单击下方的开通，前往DLF控制台操作。

开通DLF后，系统会为您选择默认的DLF数据目录，默认为UID。如果针对不同集群您期望使用不同的数据目录，则可以按照以下方式新建目录。

单击创建数据目录，在弹出的对话框中输入目录ID，单击确定。详情请参见数据目录。

在DLF数据目录下拉列表中，选择您新建的数据目录。

高级设置

不开启

软件自定义配置：可指定JSON文件对集群中的基础软件（例如Hadoop、Spark和Hive等）进行配置。默认不开启。

硬件配置。

配置项

示例

描述

付费类型

按量付费

默认包年包月。当前支持的付费类型如下：

按量付费：一种后付费模式，即先使用再付费。按量付费是根据实际使用的小时数来支付费用，每小时计费一次，适合短期的测试任务或是灵活的动态任务。

包年包月：一种预付费模式，即先付费再使用。

说明

建议测试场景下使用按量付费，测试正常后再新建一个包年包月的生产集群正式使用。

可用区

华东1（杭州） 可用区 I

可用区为在同一地域下的不同物理区域，可用区之间内网互通。通常使用默认的可用区即可。

专有网络

starrocks_test/vpc-bp1f4epmkvncimpgs****

默认选择已有的专有网络。

如需创建新的专有网络，请在专有网络控制台新创建一个，详情请参见创建和管理专有网络。

交换机

vsw_test/vsw-bp1e2f5fhaplp0g6p****

选择在对应VPC下可用区的交换机，如果在这个可用区没有可用的交换机，则需要在专有网络控制台新创建一个，详情请参见创建和管理交换机。

默认安全组

sg-bp1ddw7sm2risw****/sg-bp1ddw7sm2risw****

默认选择已有的安全组。安全组详情请参见安全组概述。

您也可以单击新建安全组，在ECS控制台新建一个安全组，详情请参见创建安全组。

重要

禁止使用ECS上创建的企业安全组。

节点组

使用默认值

您可以根据需要选择实例规格，详情请参见实例规格族。

Master：主要负责ResourceManager和NameNode等控制进程的部署。

Core：主要负责集群所有数据的存储，创建集群完成后也支持按需进行扩容。

Task：不保存数据，调整集群的计算力使用。默认不开启，需要时可自定义配置。

加入部署集：开启高可用后，Master默认加入部署集。部署集是控制实例分布的策略，详情请参见部署集概述。

系统盘：根据需要选择SSD云盘、ESSD云盘或者高效云盘。系统盘大小请根据需要调整。

数据盘：根据需要选择SSD云盘、ESSD云盘或者高效云盘。数据盘大小请根据需要调整。

说明

当您选择ESSD云盘时，可以根据所选云盘的容量大小来设置不同的性能级别（PL级别），以满足不同的集群性能需求。默认的性能级别为PL1。根据云盘的容量范围，系统盘支持PL0、PL1和PL2三个性能级别的云盘规格，数据盘支持PL0、PL1、PL2和PL3四个性能级别的云盘规格。云盘的详细信息，请参见云盘概述。

实例数量：Master节点组默认1台。如果开启高可用，可以有多台Master实例。

Core节点组默认2台，您可以根据需要调整。

附加安全组：附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。您最多可以为该节点组关联2个附加安全组。

挂载公网：集群是否挂载弹性公网IP地址，默认不开启。仅DataLake集群支持节点组级别挂载公网。

说明

如果您未开启该功能，创建后您想使用公网IP地址访问，请在ECS上申请开通公网IP地址，详情请参见弹性公网IP中的申请EIP的内容。

基础配置。

在基础信息区域，配置如下参数。

配置项

示例

描述

集群名称

Emr-StarRocks

集群的名字，长度限制为1~64个字符，仅可使用中文、字母、数字、短划线（-）和下划线（_）。

身份凭证

自定义密码

密钥对（默认）：使用SSH密钥对登录Linux实例。

关于密钥对的使用详情，请参见SSH密钥对。

密码：设置Master节点的登录密码，使用密码对登录Linux实例。

密码规则：8~30个字符，且必须同时包含大写字母、小写字母、数字和特殊字符。

特殊字符包括：感叹号（!）、at（@）、井号（#）、美元符号（$）、百分号（%）、乘方（^）、and（&）和星号（*）。

（可选）高级设置

配置项

说明

ECS应用角色

当用户的程序在EMR计算节点上运行时，可不填写阿里云AccessKey来访问相关的云服务（例如OSS），EMR会自动申请一个临时AccessKey来授权本次访问。ECS应用角色用于控制该AccessKey的权限。

引导操作

在集群启动前执行的脚本，可以安装第三方软件或者修改集群运行环境，详情请参见管理引导操作。

标签

您可以在创建集群时绑定标签，也可以在集群创建完成后。添加标签，可以方便您识别和管理拥有的集群资源，详情请参见设置标签。

资源组

资源组会对您拥有的云资源从用途、权限和归属等维度上进行分组，详情请参见使用资源组。

数据盘加密

仅支持在创建集群时开启该功能。打开该功能，数据盘上的动态数据传输以及静态数据都会被加密，详情请参见开启数据盘加密。

在确认订单页面，选中E-MapReduce服务条款复选框。

（可选）保存为集群模板：如果身份认证选择的密钥对，则可以单击保存为集群模板，保存当前集群的配置信息为集群模板。

在保存为集群模板对话框中，输入集群模板名称，选择集群模板资源组。

参数

说明

集群模板名称

输入集群模板的名称，方便后期管理。长度限制为1-64个字符，只允许包含中文、字母、数字、-、_。

集群模板资源组

根据需要选择已有的资源组，方便对模板进行分组管理。

如果需要创建新的资源组，您可以单击下方的创建资源组，详情请参见创建资源组。

单击确定。

即会在管理集群模板面板中新增一个集群模板。集群模板的详细信息，请参见创建集群模板。

单击确认订单。

创建集群后可以通过刷新页面来查看进度，当集群状态显示为运行中时，表示集群创建成功。

常见问题

Q：Master、Core与StarRocks中的FE和BE是什么关系？

A：StarRocks的FE部署在Master节点，目前默认为一个节点。选择高可用模式时，默认为3个节点，每个Master节点都会部署一个FE进程。打开服务高可用开关即为高可用集群，可以提供容错和负载均衡的能力。

StarRocks的BE部署在Core节点，每个Core机器会部署一个StarRocks的BE进程，您可以根据实际业务场景选择部署的节点数量。

网址：如何创建StarRocks集群 https://mxgxt.com/news/view/629579

相关内容

如何配置StarRocks输出组件用于向数据源写入数据
StarRocks数据质量管理
StarRocks 2.1 新版本特性介绍
抖音粉丝群如何创建群聊？粉丝群创建群聊有什么用？
让数据分析极速统一！StarRocks和阿里云一起干了件大事
selectdb和starrocks是什么关系?
如何轻松创建微博粉丝群
微博粉丝群是什么？如何创建？进来看看
如何创建一个有效的抖音粉丝群（步骤详解）
粉丝群：如何建立与维护粉丝社群

随便看看