解决logstash生成日志重复问题

如果线程过多,在插入到logstash的时候会信息重复,可以通过修改docker-elk/logstash/pipeline/logstash.conf下配置解决部分问题。

input {
    tcp {
        port => 5000
        codec => json {
            charset => "UTF-8"
        }
    }
}

## Add your filters / logstash plugins configuration here


filter {
  dissect {
    mapping => {
      "message" => "%{ts} %{msg}"
    }
  }

  date {
    match => [ "ts", "ISO8601" ]
  }

  fingerprint {
    source => "message"
    target => "[@metadata][fingerprint]"
    method => "MD5"
    key => "test"
  }

  ruby {
    code => "event.set('@metadata[prefix]', event.get('@timestamp').to_i.to_s(16))"
  }
}



output {
    elasticsearch {
        hosts => "elasticsearch:9200"
        user => "elastic"
        password => "1234qwert"
        document_id => "%{[@metadata][prefix]}%{[@metadata][fingerprint]}"
    }
    stdout { codec => rubydebug { metadata => true }}
}

TrojanSun

锦城虽云乐,不如早还家。

暂无评论

发表评论

您的电子邮件地址不会被公开,必填项已用*标注。

相关推荐

NextCloud 升级方法

PHP的环境使用的是oneinstack,当前的NextCloud的版本是19.0.5,按照后台的提示现在最新 ...

Oneinstack安装GMP

在使用NextCloud的时候会提示为了提升性能,需要安装GMP。 我这里的环境是运行在Ubuntu上的one ...

Linux 开启crontab日志

Linux系统下,默认Crontab是不输出日志文件的,虽然在晚上看到了很多查看日志文件的文章,但是我们的问题 ...