系统配置

解决logstash生成日志重复问题

微信扫一扫,分享到朋友圈

解决logstash生成日志重复问题
收藏 0 0

如果线程过多,在插入到logstash的时候会信息重复,可以通过修改docker-elk/logstash/pipeline/logstash.conf下配置解决部分问题。

input {
	tcp {
		port => 5000
		codec => json {
			charset => "UTF-8"
		}
	}
}

## Add your filters / logstash plugins configuration here


filter {
  dissect {
    mapping => {
      "message" => "%{ts} %{msg}"
    }
  }

  date {
    match => [ "ts", "ISO8601" ]
  }

  fingerprint {
    source => "message"
    target => "[@metadata][fingerprint]"
    method => "MD5"
    key => "test"
  }

  ruby {
    code => "event.set('@metadata[prefix]', event.get('@timestamp').to_i.to_s(16))"
  }
}



output {
	elasticsearch {
		hosts => "elasticsearch:9200"
		user => "elastic"
		password => "1234qwert"
		document_id => "%{[@metadata][prefix]}%{[@metadata][fingerprint]}"
	}
	stdout { codec => rubydebug { metadata => true }}
}
锦城虽云乐,不如早还家。

Python 格林尼治时间字符串转本地时间

上一篇

virtualenvwrapper安装及使用

下一篇

你也可能喜欢

    暂无相关文章!

发表评论

您的电子邮件地址不会被公开。 必填项已用 * 标注

提示:点击验证后方可评论!

插入图片