Skip to main content
版本:1.5.0

建议配置

1 软硬件环境建议配置

Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。 作为一款开源分布式计算中间件,可以很好地部署和运行在 Intel 架构服务器及主流虚拟化环境下,并支持主流的Linux操作系统环境

1.1 Linux 操作系统版本要求

操作系统版本
Red Hat Enterprise Linux7.0 及以上
CentOS7.0 及以上
Oracle Enterprise Linux7.0 及以上
Ubuntu LTS16.04 及以上

注意: 以上 Linux 操作系统可运行在物理服务器以及 VMware、KVM、XEN 主流虚拟化环境上

1.2 服务器建议配置

Linkis 支持运行在 Intel x86-64 架构的 64 位通用硬件服务器平台。对生产环境的服务器硬件配置有以下建议:

生产环境

CPU内存硬盘类型网络实例数量
16核+32GB+SAS千兆网卡1+

注意:

  • 以上建议配置为部署 Linkis的最低配置,生产环境强烈推荐使用更高的配置
  • 硬盘大小配置建议 50GB+ ,系统盘和数据盘分开

1.3 软件要求

Linkis二进制包基于以下软件版本进行编译:

组件版本说明
Hadoop3.3.4
Hive3.1.3
Spark3.2.1
Flink1.12.2
openLooKeng1.5.0
Sqoop1.4.6
ElasticSearch7.6.2
Presto0.234
PythonPython2

注意: 如果本地安装组件版本与上述不一致,需要进行修改对应组件版本,自行编译二进制包进行安装。

1.4 客户端 Web 浏览器要求

Linkis推荐 Chrome 73版本进行前端访问

2 常用场景

2.1 开启测试模式

开发过程需要免密接口,可在linkis.properties替换或追加此配置

参数名默认值描述
wds.linkis.test.modefalse是否打开调试模式,如果设置为 true,所有微服务都支持免密登录,且所有EngineConn打开远程调试端口
wds.linkis.test.userhadoop当wds.linkis.test.mode=true时,免密登录的默认登录用户

2.2 登录用户设置

Apache Linkis 默认使用配置文件来管理admin用户,可以在linkis-mg-gateway.properties替换或追加此配置。如需多用户可接入LDAP实现。

参数名默认值描述
wds.linkis.admin.userhadoop管理员用户名
wds.linkis.admin.password123456管理员用户密码

2.3 LDAP设置

Apache Linkis 可以通过参数接入LDAP实现多用户管理,可以在linkis-mg-gateway.properties替换或追加此配置。

参数名默认值描述
wds.linkis.ldap.proxy.urlLDAP URL地址
wds.linkis.ldap.proxy.baseDNLDAP baseDN地址
wds.linkis.ldap.proxy.userNameFormat

2.4 关闭资源检查

Apache Linkis 提交任务时有时会调试异常,如:资源不足;可以在linkis-cg-linkismanager.properties替换或追加此配置。

参数名默认值描述
wds.linkis.manager.rm.request.enabletrue资源检查

2.5 开启引擎调试

Apache Linkis EC可以开启调试模式,可以在linkis-cg-linkismanager.properties替换或追加此配置。

参数名默认值描述
wds.linkis.engineconn.debug.enabletrue是否开启引擎调试

2.6 Hive元数据配置

Apache Linkis 的public-service服务需要读取hive的元数据;可以在linkis-ps-publicservice.properties替换或追加此配置。

参数名默认值描述
hive.meta.urlHiveMetaStore数据库的URL。
hive.meta.userHiveMetaStore数据库的user
hive.meta.passwordHiveMetaStore数据库的password

2.7 Linkis 数据库配置

Apache Linkis 访问默认使用Mysql作为数据存储,可以在linkis.properties替换或追加此配置。

参数名默认值描述
wds.linkis.server.mybatis.datasource.url数据库连接字符串,例如:jdbc:mysql://127.0.0.1:3306/dss?characterEncoding=UTF-8
wds.linkis.server.mybatis.datasource.username数据库用户名,例如:root
wds.linkis.server.mybatis.datasource.password数据库密码,例如:root

2.8 Linkis Session 缓存配置

Apache Linkis 支持使用redis进行session的共享;可以在linkis.properties替换或追加此配置。

参数名默认值描述
linkis.session.redis.cache.enabledNone是否开启
linkis.session.redis.host127.0.0.1主机名
linkis.session.redis.port6379端口,例如
linkis.session.redis.passwordNone密码

2.9 Linkis 模块开发配置

Apache Linkis 开发时可通过此参数,自定义加载模块的数据库、Rest接口、实体对象;可以在linkis-ps-publicservice.properties进行修改,多个模块之间使用逗号分割。

参数名默认值描述
wds.linkis.server.restful.scan.packagesrestful 扫描包,例如:org.apache.linkis.basedatamanager.server.restful
wds.linkis.server.mybatis.mapperLocationsmybatis mapper文件路径,例如: classpath:org/apache/linkis/basedatamanager/server/dao/mapper/.xml
wds.linkis.server.mybatis.typeAliasesPackage实体别名扫描包,例如:org.apache.linkis.basedatamanager.server.domain
wds.linkis.server.mybatis.BasePackage数据库dao层扫描,例如:org.apache.linkis.basedatamanager.server.dao

2.10 Linkis 模块开发配置

Apache Linkis 开发时可通过此参数,自定义加载模块的路由;可以在linkis.properties进行修改,多个模块之间使用逗号分割。

参数名默认值描述
wds.linkis.gateway.conf.publicservice.listcs,contextservice,data-source-manager,metadataQuery,metadatamanager,query,jobhistory,application,configuration,filesystem,udf,variable,microservice,errorcode,bml,datasource,basedata-managerpublicservice服务支持路由的模块

2.11 Linkis 文件系统及物料存放路径

Apache Linkis 开发时可通过此参数,自定义加载模块的路由;可以在linkis.properties进行修改,多个模块之间使用逗号分割。

参数名默认值描述
wds.linkis.filesystem.root.pathfile:///tmp/linkis/本地用户目录,需在该目录下建立以用户名为名称的文件夹
wds.linkis.filesystem.hdfs.root.pathhdfs:///tmp/HDFS用户目录
wds.linkis.bml.is.hdfstrue是否启用hdfs
wds.linkis.bml.hdfs.prefix/apps-datahdfs路径
wds.linkis.bml.local.prefix/apps-data本地路径