Class: TencentCloud::Dlc::V20210125::ModifySparkAppRequest

Inherits:
Common::AbstractModel
  • Object
show all
Defined in:
lib/v20210125/models.rb

Overview

ModifySparkApp请求参数结构体

Instance Attribute Summary collapse

Instance Method Summary collapse

Constructor Details

#initialize(appname = nil, apptype = nil, dataengine = nil, appfile = nil, rolearn = nil, appdriversize = nil, appexecutorsize = nil, appexecutornums = nil, sparkappid = nil, eni = nil, islocal = nil, mainclass = nil, appconf = nil, islocaljars = nil, appjars = nil, islocalfiles = nil, appfiles = nil, islocalpythonfiles = nil, apppythonfiles = nil, cmdargs = nil, maxretries = nil, datasource = nil, islocalarchives = nil, apparchives = nil, sparkimage = nil, sparkimageversion = nil, appexecutormaxnumbers = nil, sessionid = nil, isinherit = nil, issessionstarted = nil, dependencypackages = nil) ⇒ ModifySparkAppRequest

Returns a new instance of ModifySparkAppRequest.



12330
12331
12332
12333
12334
12335
12336
12337
12338
12339
12340
12341
12342
12343
12344
12345
12346
12347
12348
12349
12350
12351
12352
12353
12354
12355
12356
12357
12358
12359
12360
12361
12362
# File 'lib/v20210125/models.rb', line 12330

def initialize(appname=nil, apptype=nil, dataengine=nil, appfile=nil, rolearn=nil, appdriversize=nil, appexecutorsize=nil, appexecutornums=nil, sparkappid=nil, eni=nil, islocal=nil, mainclass=nil, appconf=nil, islocaljars=nil, appjars=nil, islocalfiles=nil, appfiles=nil, islocalpythonfiles=nil, apppythonfiles=nil, cmdargs=nil, maxretries=nil, datasource=nil, islocalarchives=nil, apparchives=nil, sparkimage=nil, sparkimageversion=nil, appexecutormaxnumbers=nil, sessionid=nil, isinherit=nil, issessionstarted=nil, dependencypackages=nil)
  @AppName = appname
  @AppType = apptype
  @DataEngine = dataengine
  @AppFile = appfile
  @RoleArn = rolearn
  @AppDriverSize = appdriversize
  @AppExecutorSize = appexecutorsize
  @AppExecutorNums = appexecutornums
  @SparkAppId = sparkappid
  @Eni = eni
  @IsLocal = islocal
  @MainClass = mainclass
  @AppConf = appconf
  @IsLocalJars = islocaljars
  @AppJars = appjars
  @IsLocalFiles = islocalfiles
  @AppFiles = appfiles
  @IsLocalPythonFiles = islocalpythonfiles
  @AppPythonFiles = apppythonfiles
  @CmdArgs = cmdargs
  @MaxRetries = maxretries
  @DataSource = datasource
  @IsLocalArchives = islocalarchives
  @AppArchives = apparchives
  @SparkImage = sparkimage
  @SparkImageVersion = sparkimageversion
  @AppExecutorMaxNumbers = appexecutormaxnumbers
  @SessionId = sessionid
  @IsInherit = isinherit
  @IsSessionStarted = issessionstarted
  @DependencyPackages = dependencypackages
end

Instance Attribute Details

#AppArchivesObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppArchives
  @AppArchives
end

#AppConfObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppConf
  @AppConf
end

#AppDriverSizeObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppDriverSize
  @AppDriverSize
end

#AppExecutorMaxNumbersObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppExecutorMaxNumbers
  @AppExecutorMaxNumbers
end

#AppExecutorNumsObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppExecutorNums
  @AppExecutorNums
end

#AppExecutorSizeObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppExecutorSize
  @AppExecutorSize
end

#AppFileObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppFile
  @AppFile
end

#AppFilesObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppFiles
  @AppFiles
end

#AppJarsObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppJars
  @AppJars
end

#AppNameObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppName
  @AppName
end

#AppPythonFilesObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppPythonFiles
  @AppPythonFiles
end

#AppTypeObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def AppType
  @AppType
end

#CmdArgsObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def CmdArgs
  @CmdArgs
end

#DataEngineObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def DataEngine
  @DataEngine
end

#DataSourceObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def DataSource
  @DataSource
end

#DependencyPackagesObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def DependencyPackages
  @DependencyPackages
end

#EniObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def Eni
  @Eni
end

#IsInheritObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def IsInherit
  @IsInherit
end

#IsLocalObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def IsLocal
  @IsLocal
end

#IsLocalArchivesObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def IsLocalArchives
  @IsLocalArchives
end

#IsLocalFilesObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def IsLocalFiles
  @IsLocalFiles
end

#IsLocalJarsObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def IsLocalJars
  @IsLocalJars
end

#IsLocalPythonFilesObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def IsLocalPythonFiles
  @IsLocalPythonFiles
end

#IsSessionStartedObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def IsSessionStarted
  @IsSessionStarted
end

#MainClassObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def MainClass
  @MainClass
end

#MaxRetriesObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def MaxRetries
  @MaxRetries
end

#RoleArnObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def RoleArn
  @RoleArn
end

#SessionIdObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def SessionId
  @SessionId
end

#SparkAppIdObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def SparkAppId
  @SparkAppId
end

#SparkImageObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def SparkImage
  @SparkImage
end

#SparkImageVersionObject

Parameters:

  • AppName:

    spark作业名

  • AppType:

    spark作业类型,1代表spark jar作业,2代表spark streaming作业

  • DataEngine:

    执行spark作业的数据引擎名称

  • AppFile:

    spark作业程序包文件路径

  • RoleArn:

    数据访问策略,CAM Role arn

  • AppDriverSize:

    指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorSize:

    指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)

  • AppExecutorNums:

    spark作业executor个数

  • SparkAppId:

    spark作业Id

  • Eni:

    该字段已下线,请使用字段Datasource

  • IsLocal:

    spark作业程序包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • MainClass:

    spark作业主类

  • AppConf:

    spark配置,以换行符分隔

  • IsLocalJars:

    spark 作业依赖jar包是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppJars:

    spark 作业依赖jar包(–jars),以逗号分隔

  • IsLocalFiles:

    spark作业依赖文件资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppFiles:

    spark作业依赖文件资源(–files)(非jar、zip),以逗号分隔

  • IsLocalPythonFiles:

    pyspark:依赖上传方式,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppPythonFiles:

    pyspark作业依赖python资源(–py-files),支持py/zip/egg等归档格式,多文件以逗号分隔

  • CmdArgs:

    spark作业程序入参

  • MaxRetries:

    最大重试次数,只对spark流任务生效

  • DataSource:

    数据源名

  • IsLocalArchives:

    spark作业依赖archives资源是否本地上传,cos:存放与cos,lakefs:本地上传(控制台使用,该方式不支持直接接口调用)

  • AppArchives:

    spark作业依赖archives资源(–archives),支持tar.gz/tgz/tar等归档格式,以逗号分隔

  • SparkImage:

    Spark Image 版本号

  • SparkImageVersion:

    Spark Image 版本名称

  • AppExecutorMaxNumbers:

    指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于AppExecutorNums

  • SessionId:

    关联dlc查询脚本

  • IsInherit:

    任务资源配置是否继承集群配置模板:0(默认)不继承、1:继承

  • IsSessionStarted:

    是否使用session脚本的sql运行任务:false:否,true:是

  • DependencyPackages:

    标准引擎依赖包



12328
12329
12330
# File 'lib/v20210125/models.rb', line 12328

def SparkImageVersion
  @SparkImageVersion
end

Instance Method Details

#deserialize(params) ⇒ Object



12364
12365
12366
12367
12368
12369
12370
12371
12372
12373
12374
12375
12376
12377
12378
12379
12380
12381
12382
12383
12384
12385
12386
12387
12388
12389
12390
12391
12392
12393
12394
12395
12396
12397
12398
12399
12400
12401
12402
12403
# File 'lib/v20210125/models.rb', line 12364

def deserialize(params)
  @AppName = params['AppName']
  @AppType = params['AppType']
  @DataEngine = params['DataEngine']
  @AppFile = params['AppFile']
  @RoleArn = params['RoleArn']
  @AppDriverSize = params['AppDriverSize']
  @AppExecutorSize = params['AppExecutorSize']
  @AppExecutorNums = params['AppExecutorNums']
  @SparkAppId = params['SparkAppId']
  @Eni = params['Eni']
  @IsLocal = params['IsLocal']
  @MainClass = params['MainClass']
  @AppConf = params['AppConf']
  @IsLocalJars = params['IsLocalJars']
  @AppJars = params['AppJars']
  @IsLocalFiles = params['IsLocalFiles']
  @AppFiles = params['AppFiles']
  @IsLocalPythonFiles = params['IsLocalPythonFiles']
  @AppPythonFiles = params['AppPythonFiles']
  @CmdArgs = params['CmdArgs']
  @MaxRetries = params['MaxRetries']
  @DataSource = params['DataSource']
  @IsLocalArchives = params['IsLocalArchives']
  @AppArchives = params['AppArchives']
  @SparkImage = params['SparkImage']
  @SparkImageVersion = params['SparkImageVersion']
  @AppExecutorMaxNumbers = params['AppExecutorMaxNumbers']
  @SessionId = params['SessionId']
  @IsInherit = params['IsInherit']
  @IsSessionStarted = params['IsSessionStarted']
  unless params['DependencyPackages'].nil?
    @DependencyPackages = []
    params['DependencyPackages'].each do |i|
      dependencypackage_tmp = DependencyPackage.new
      dependencypackage_tmp.deserialize(i)
      @DependencyPackages << dependencypackage_tmp
    end
  end
end