Class: TencentCloud::Tione::V20211111::ChatCompletionRequest

Inherits:
Common::AbstractModel
  • Object
show all
Defined in:
lib/v20211111/models.rb

Overview

ChatCompletion请求参数结构体

Instance Attribute Summary collapse

Instance Method Summary collapse

Constructor Details

#initialize(model = nil, messages = nil, temperature = nil, topp = nil, maxtokens = nil) ⇒ ChatCompletionRequest

Returns a new instance of ChatCompletionRequest.



219
220
221
222
223
224
225
 
# File 'lib/v20211111/models.rb', line 219

def initialize(model=nil, messages=nil, temperature=nil, topp=nil, maxtokens=nil)
  @Model = model
  @Messages = messages
  @Temperature = temperature
  @TopP = topp
  @MaxTokens = maxtokens
end

Instance Attribute Details

#MaxTokens ⇒ Object

自行部署的开源大模型聊天：部署的模型服务组ID，形如ms-q7pfr29p。

Parameters:

  • Model: —

    对话的目标模型ID。

  • Messages: —

    输入对话历史。旧的对话在前，数组中最后一项应该为这次的问题。

  • Temperature: —

    仅当模型为自行部署的开源大模型时生效。采样随机值，默认值为0.7，取值范围。较高的值(如0.8)将使输出更加随机，而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP，但不建议两者都修改。

  • TopP: —

    仅当模型为自行部署的开源大模型时生效。核采样，默认值为1，取值范围。指的是预先设置一个概率界限 p，然后将所有可能生成的token，根据概率大小从高到低排列，依次选取。当这些选取的token的累积概率大于或等于 p 值时停止，然后从已经选取的token中进行采样，生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature，不建议两者都修改。

  • MaxTokens: —

    仅当模型为自行部署的开源大模型时生效。默认 512，模型可生成内容的最长 token 数量，最大不能超过模型支持的上下文长度。



217
218
219
 
# File 'lib/v20211111/models.rb', line 217

def MaxTokens
  @MaxTokens
end

#Messages ⇒ Object

自行部署的开源大模型聊天：部署的模型服务组ID，形如ms-q7pfr29p。

Parameters:

  • Model: —

    对话的目标模型ID。

  • Messages: —

    输入对话历史。旧的对话在前，数组中最后一项应该为这次的问题。

  • Temperature: —

    仅当模型为自行部署的开源大模型时生效。采样随机值，默认值为0.7，取值范围。较高的值(如0.8)将使输出更加随机，而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP，但不建议两者都修改。

  • TopP: —

    仅当模型为自行部署的开源大模型时生效。核采样，默认值为1，取值范围。指的是预先设置一个概率界限 p，然后将所有可能生成的token，根据概率大小从高到低排列，依次选取。当这些选取的token的累积概率大于或等于 p 值时停止，然后从已经选取的token中进行采样，生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature，不建议两者都修改。

  • MaxTokens: —

    仅当模型为自行部署的开源大模型时生效。默认 512，模型可生成内容的最长 token 数量，最大不能超过模型支持的上下文长度。



217
218
219
 
# File 'lib/v20211111/models.rb', line 217

def Messages
  @Messages
end

#Model ⇒ Object

自行部署的开源大模型聊天：部署的模型服务组ID，形如ms-q7pfr29p。

Parameters:

  • Model: —

    对话的目标模型ID。

  • Messages: —

    输入对话历史。旧的对话在前，数组中最后一项应该为这次的问题。

  • Temperature: —

    仅当模型为自行部署的开源大模型时生效。采样随机值，默认值为0.7，取值范围。较高的值(如0.8)将使输出更加随机，而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP，但不建议两者都修改。

  • TopP: —

    仅当模型为自行部署的开源大模型时生效。核采样，默认值为1，取值范围。指的是预先设置一个概率界限 p，然后将所有可能生成的token，根据概率大小从高到低排列，依次选取。当这些选取的token的累积概率大于或等于 p 值时停止，然后从已经选取的token中进行采样，生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature，不建议两者都修改。

  • MaxTokens: —

    仅当模型为自行部署的开源大模型时生效。默认 512，模型可生成内容的最长 token 数量，最大不能超过模型支持的上下文长度。



217
218
219
 
# File 'lib/v20211111/models.rb', line 217

def Model
  @Model
end

#Temperature ⇒ Object

自行部署的开源大模型聊天：部署的模型服务组ID，形如ms-q7pfr29p。

Parameters:

  • Model: —

    对话的目标模型ID。

  • Messages: —

    输入对话历史。旧的对话在前，数组中最后一项应该为这次的问题。

  • Temperature: —

    仅当模型为自行部署的开源大模型时生效。采样随机值，默认值为0.7，取值范围。较高的值(如0.8)将使输出更加随机，而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP，但不建议两者都修改。

  • TopP: —

    仅当模型为自行部署的开源大模型时生效。核采样，默认值为1，取值范围。指的是预先设置一个概率界限 p，然后将所有可能生成的token，根据概率大小从高到低排列，依次选取。当这些选取的token的累积概率大于或等于 p 值时停止，然后从已经选取的token中进行采样，生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature，不建议两者都修改。

  • MaxTokens: —

    仅当模型为自行部署的开源大模型时生效。默认 512，模型可生成内容的最长 token 数量，最大不能超过模型支持的上下文长度。



217
218
219
 
# File 'lib/v20211111/models.rb', line 217

def Temperature
  @Temperature
end

#TopP ⇒ Object

自行部署的开源大模型聊天：部署的模型服务组ID，形如ms-q7pfr29p。

Parameters:

  • Model: —

    对话的目标模型ID。

  • Messages: —

    输入对话历史。旧的对话在前，数组中最后一项应该为这次的问题。

  • Temperature: —

    仅当模型为自行部署的开源大模型时生效。采样随机值，默认值为0.7，取值范围。较高的值(如0.8)将使输出更加随机，而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP，但不建议两者都修改。

  • TopP: —

    仅当模型为自行部署的开源大模型时生效。核采样，默认值为1，取值范围。指的是预先设置一个概率界限 p，然后将所有可能生成的token，根据概率大小从高到低排列，依次选取。当这些选取的token的累积概率大于或等于 p 值时停止，然后从已经选取的token中进行采样，生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature，不建议两者都修改。

  • MaxTokens: —

    仅当模型为自行部署的开源大模型时生效。默认 512，模型可生成内容的最长 token 数量，最大不能超过模型支持的上下文长度。



217
218
219
 
# File 'lib/v20211111/models.rb', line 217

def TopP
  @TopP
end

Instance Method Details

#deserialize(params) ⇒ Object 



227
228
229
230
231
232
233
234
235
236
237
238
239
240
 
# File 'lib/v20211111/models.rb', line 227

def deserialize(params)
  @Model = params['Model']
  unless params['Messages'].nil?
    @Messages = []
    params['Messages'].each do |i|
      message_tmp = Message.new
      message_tmp.deserialize(i)
      @Messages << message_tmp
    end
  end
  @Temperature = params['Temperature']
  @TopP = params['TopP']
  @MaxTokens = params['MaxTokens']
end