调试相关
因为linkis本身模块比较多,调试起来有一定的难度,下面就指导大家如何进行一次本地的服务调试(基于1.0.3版本)。
linkis 1.0.3版本前,还未进入apache孵化,组织还是归属webank,主类的包名为`com.webank.wedatasphere.linkis`,调试时,注意区分。
step 1 准备源码并编译
git clone https://github.com/apache/linkis.git
cd linkis
#如果需要 可以切换到对应的分支上
#git checkout dev-xxx
mvn -N install
mvn clean install
step2 必要的参数配置
对于linkis/assembly-combined-package/assembly-combined/conf/下的配置文件,需要对数据库以及hive meta等必要启动参数进行配置。
step3 调整log4j.xml配置
为了方便调试的时候将日志打印到控制台,需要修改下默认的log4j2.xml文件,修改appender默认为console。需要移除默认的RollingFile的append,增加console的appender,如下所示: log4j2.xml 路径 linkis/assembly-combined-package/assembly-combined/conf/log4j2.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration status="error" monitorInterval="30">
<appenders>
<RollingFile name="RollingFile" append="false" fileName="logs/${sys:serviceName}.log"
filePattern="logs/$${date:yyyy-MM}/${sys:serviceName}/linkis-log-%d{yyyy-MM-dd}-%i.log">
<PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] [%-40t] %c{1.} (%L) [%M] - %msg%xEx%n"/>
<SizeBasedTriggeringPolicy size="100MB"/>
<DefaultRolloverStrategy max="10"/>
</RollingFile>
<Console name="Console" target="SYSTEM_OUT">
<ThresholdFilter level="INFO" onMatch="ACCEPT" onMismatch="DENY"/>
<PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%t] %logger{36} %L %M - %msg%xEx%n"/>
</Console>
</appenders>
<loggers>
<root level="INFO">
<appender-ref ref="RollingFile"/>
<appender-ref ref="Console"/>
</root>
</loggers>
</configuration>
step 4 整体调试方案
Linkis和DSS的服务都依赖Eureka,所以需要首先启动Eureka服务,Eureka服务也可以用您已经启动的Eureka。Eureka启动后就可以启动其他服务了。
因为linkis内部通过-DserviceName参数设置应用名以及使用的配置文件,所以-DserviceName是必须的启动VM参数
可以通过 “-Xbootclasspath/a:配置文件路径“命令。将配置文件,追加到引导程序类的搜索路劲末尾,即将依赖的配置文件加到classpath中
通过勾选Include dependencies with “Provided” scope ,这样可以在调试时,引入provided级别的依赖包。**Microservice Governance Services组件**linkis-mg-eureka的启动
[main Class]
org.apache.linkis.eureka.SpringCloudEurekaApplication
[VM Opitons]
-DserviceName=linkis-mg-eureka -Xbootclasspath/a:D:\yourDir\linkis\assembly-combined-package\assembly-combined\conf
[Program arguments]
--spring.profiles.active=eureka --eureka.instance.preferIpAddress=true
[User classpath of module]
linkis-eureka
如果不想默认的20303端口可以修改端口配置:
文件路径:conf/application-eureka.yml
修改端口:
server:
port: 8080 ##启动的端口
具体配置如下:
老版idea配置 新版idea配置
启动后可以通过http://localhost:20303/ 查看eureka服务列表
linkis-mg-gateway的启动配置
[main Class]
org.apache.linkis.gateway.springcloud.LinkisGatewayApplication
[VM Opitons]
-DserviceName=linkis-mg-gateway -Xbootclasspath/a:D:\yourDir\linkis\assembly-combined-package\assembly-combined\conf
[User classpath of module]
linkis-gateway-server-support
注意 若出现'org.apache.logging.log4j.LoggingException: log4j-slf4j-impl cannot be present with log4j-to-slf4j' 问题 请exclude掉,对spring-boot-starter-logging的依赖
Public Enhancement Services组件
linkis-ps-publicservice的启动配置
[main Class]
org.apache.linkis.jobhistory.LinkisPublicServiceApp
[VM Opitons]
-DserviceName=linkis-ps-publicservice -Xbootclasspath/a:D:\yourDir\linkis\assembly-combined-package\assembly-combined\conf
[Use classpath of module]
#linkis < 1.1.0 为linkis-jobhistory
#linkis >= 1.1.0 为linkis-storage-script-dev-server
linkis-jobhistory
linkis-ps-cs的启动配置
[main Class]
org.apache.linkis.cs.server.LinkisCSApplication
[VM Opitons]
-DserviceName=linkis-ps-cs -Xbootclasspath/a:D:\yourDir\linkis\assembly-combined-package\assembly-combined\conf
[Use classpath of module]
linkis-cs-server
Computation Governance Services 组件
linkis-cg-linkismanager启动
[main Class]
org.apache.linkis.manager.am.LinkisManagerApplication
[VM Opitons]
-DserviceName=linkis-cg-linkismanager -Xbootclasspath/a:D:\yourDir\linkis\assembly-combined-package\assembly-combined\conf
[Use classpath of module]
linkis-application-manager
linkis-cg-entrance启动
[main Class]
org.apache.linkis.entrance.LinkisEntranceApplication
[VM Opitons]
-DserviceName=linkis-cg-entrance -Xbootclasspath/a:D:\yourDir\linkis\assembly-combined-package\assembly-combined\conf
[Use classpath of module]
linkis-entrance
注:暂不支持Windows本地调试的服务
linkis-cg-engineplugin(ecp):需要读取本地的ecp物料,本地调试需要先准备好对应的物料,建议在远程进行调试
linkis-cg-engineconnmanager(ecm):暂时ecm启动引擎使用的是unix的方式,不支持windows环境
下面是通过正常成功安装后,linkis服务启动具体的详细命令参数
LinkisInstallDir:完整linkis的安装目录
[linkis-mg-eureka]
nohup java -DserviceName=linkis-mg-eureka -Xmx512M -XX:+UseG1GC -Xloggc:/data/LinkisInstallDir/logs/linkis-mg-eureka-gc.log -cp /data/LinkisInstallDir/conf/:/data/LinkisInstallDir/lib/linkis-spring-cloud-services/linkis-mg-eureka/* org.apache.linkis.eureka.SpringCloudEurekaApplication --eureka.instance.hostname=localhost110001 --spring.profiles.active=eureka 2>&1 > /data/LinkisInstallDir/logs/linkis-mg-eureka.out &
[linkis-mg-gateway]
nohup java -DserviceName=linkis-mg-gateway -Xmx512M -XX:+UseG1GC -Xloggc:/data/LinkisInstallDir/logs/linkis-mg-gateway-gc.log -cp /data/LinkisInstallDir/conf/:/data/LinkisInstallDir/lib/linkis-spring-cloud-services/linkis-mg-gateway/* org.apache.linkis.gateway.springcloud.LinkisGatewayApplication 2>&1 > /data/LinkisInstallDir/logs/linkis-mg-gateway.out &
[linkis-ps-publicservice]
nohup java -DserviceName=linkis-ps-publicservice -Xmx512M -XX:+UseG1GC -Xloggc:/data/LinkisInstallDir/logs/linkis-ps-publicservice-gc.log -cp /data/LinkisInstallDir/conf/:/data/LinkisInstallDir/lib/linkis-commons/public-module/*:/data/LinkisInstallDir/lib/linkis-public-enhancements/linkis-ps-publicservice/* org.apache.linkis.jobhistory.LinkisPublicServiceApp 2>&1 > /data/LinkisInstallDir/logs/linkis-ps-publicservice.out &
[linkis-cg-linkismanager]
nohup java -DserviceName=linkis-cg-linkismanager -Xmx512M -XX:+UseG1GC -Xloggc:/data/LinkisInstallDir/logs/linkis-cg-linkismanager-gc.log -cp /data/LinkisInstallDir/conf/:/data/LinkisInstallDir/lib/linkis-commons/public-module/*:/data/LinkisInstallDir/lib/linkis-computation-governance/linkis-cg-linkismanager/* org.apache.linkis.manager.am.LinkisManagerApplication 2>&1 > /data/LinkisInstallDir/logs/linkis-cg-linkismanager.out &
[linkis-ps-cs]
nohup java -DserviceName=linkis-ps-cs -Xmx512M -XX:+UseG1GC -Xloggc:/data/LinkisInstallDir/logs/linkis-ps-cs-gc.log -cp /data/LinkisInstallDir/conf/:/data/LinkisInstallDir/lib/linkis-commons/public-module/*:/data/LinkisInstallDir/lib/linkis-public-enhancements/linkis-ps-cs/* org.apache.linkis.cs.server.LinkisCSApplication 2>&1 > /data/LinkisInstallDir/logs/linkis-ps-cs.out &
[linkis-cg-entrance]
nohup java -DserviceName=linkis-cg-entrance -Xmx512M -XX:+UseG1GC -Xloggc:/data/LinkisInstallDir/logs/linkis-cg-entrance-gc.log -cp /data/LinkisInstallDir/conf/:/data/LinkisInstallDir/lib/linkis-commons/public-module/*:/data/LinkisInstallDir/lib/linkis-computation-governance/linkis-cg-entrance/* org.apache.linkis.entrance.LinkisEntranceApplication 2>&1 > /data/LinkisInstallDir/logs/linkis-cg-entrance.out &
[linkis-cg-engineconnmanager]
nohup java -DserviceName=linkis-cg-engineconnmanager -Xmx512M -XX:+UseG1GC -Xloggc:/data/LinkisInstallDir/logs/linkis-cg-engineconnmanager-gc.log -cp /data/LinkisInstallDir/conf/:/data/LinkisInstallDir/lib/linkis-commons/public-module/*:/data/LinkisInstallDir/lib/linkis-computation-governance/linkis-cg-engineconnmanager/* org.apache.linkis.ecm.server.LinkisECMApplication 2>&1 > /data/LinkisInstallDir/logs/linkis-cg-engineconnmanager.out &
[linkis-cg-engineplugin]
nohup java -DserviceName=linkis-cg-engineplugin -Xmx512M -XX:+UseG1GC -Xloggc:/data/LinkisInstallDir/logs/linkis-cg-engineplugin-gc.log -cp /data/LinkisInstallDir/conf/:/data/LinkisInstallDir/lib/linkis-commons/public-module/*:/data/LinkisInstallDir/lib/linkis-computation-governance/linkis-cg-engineplugin/* org.apache.linkis.engineplugin.server.LinkisEngineConnPluginServer 2>&1 > /data/LinkisInstallDir/logs/linkis-cg-engineplugin.out &
远程调试服务步骤
todo