fluent-plugin-datahub

概述

fluent的datahub上传插件

安装

gem install fluent-plugin-datahub

配置

<source>
  @type tail
  path ${DIR}/csv_sample.csv
  tag test1
  format csv
  keys id,name,gender,salary,my_time
</source>

@type datahub access_id access_key endpoint project_name test_project topic_name fluentd_out_7 # shard_id 6 column_names ["id", "name", "gender", "salary", "my_time"] flush_interval 10s dirty_data_continue true dirty_data_file $DIR/dirty.data retry_times 3

  1、source标签中的keys为源数据，会根据key对应fields中字段\<br>
  2、match标签中的column_names为要写入datahub的字段