景安微信
右侧QQ联系不上,可以加我微信
您好,欢迎来到景安网络!
加盟景安
主页 >服务器常见问题 >Filebeat如何确保数据不丢失

Filebeat如何确保数据不丢失


来源:景安网络发表日期:2019-12-27浏览次数:Tags:Filebeat
景安网络专业的数据中心服务商,长期提供数据中心托管服务,私有云,互联网解决方案,互联网增值服务。针对工信委大力实施“万企业上云”计划,景安以我所能,为你而+,推出上云特惠,核心云计算产品降幅达50%!!也欢迎来聊右侧qq
   Filebeat通过将每次发送的数据状态都存储在Registry文件中来确保数据不丢失。如果发送的Output端没有返回确认信息,Filebeat将 会继续尝试发送上- -次的数据,直到Output端返回给Filebeat确认接收信息为止。

Filebeat收集数据流程图

      当向Output端发送数据,或者还没有接收到Output端返回的确认信息时,如Filebeat因异常退出而关闭,那么在Filebeat重启后,将会把上一次发送的数据再发送一遍,以确保数据至少被接收一次。 所以在Output端 可能会出现重复的数据。我们可以通过shutdown_ timeout来设 置Filebeat关闭前等待的时间。

      当使用Kafka作为Output时,如果不要求数据的完整性,则可以容忍少量的丢失数据。我们也可以通过设置required _acks参数来提高Filebeat发送数据的效率,required_ _acks默认值为1, 表示等待Kafka接收副本返回确认信息;设置为o,表示Kafka不返回确认接收信息,Filebeat将会持续发送; 设置为-1, 表示需要等待Kafka所有副本确认接收信息后,才继续发送。
0(好文)
0(太水)
版权声明:部分文章源于网络,如侵权请联系我们删除
买购快云Plus,云服务器折上折

专题页