MongoDB存储Docker日志怎么样运用？

发布时间：2023-08-22 15:13:14 所属栏目：系统来源：

导读：文本主要给大家介绍的是MongoDB存储Docker日志，我们知道日志是系统中很重要的一部分，我们能够利用日志发现和修复很多问题，因此了解日志是很有必要的。废话不多，下面就跟随小编一起来了解一下MongoDB存储Docker日

文本主要给大家介绍的是MongoDB存储Docker日志，我们知道日志是系统中很重要的一部分，我们能够利用日志发现和修复很多问题，因此了解日志是很有必要的。废话不多，下面就跟随小编一起来了解一下MongoDB存储Docker日志吧。

       日志是系统很重要的一个组成部分，通过日志可以及时发现系统中存在的问题，也可以为修复问题提供线索。Docker提供了多种插件方式管理日志，本文就对使用MongoDB存储Docker日志的过程做个记录。

       数据流

       Docker产生的日期发送到 FluentD，然后FluentD在转存到MongoDB。

       配置Fluentd

       前提：操作系统是CentOS7，已安装MongoDB3.4

       1. 安装Fluentd

       CentOS 7的软件库并没有包含Fluentd的安装包，所以需要手动安装。在CentOS使用的软件td-agent。

# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

       上面命令会在/etct/yum.repo.d/目录中，创建一个td-agent的安装库 td.repo，然后自动安装td-agent。安装完毕后设为自动启动。

# systemctl start td-agent

# systemctl enable td-agent

       如果在启动过程中出现问题，可以查看位于/var/log/td-agent/下日志文件td-agent.log

       2. 配置将docker日志转存到MongoDB

       转存到MongoDB需要插件支持，但是默认情况下td-agent是没有安装该插件的，需要安装。

# yum -y install td-agent-gemt

# td-agent-gem install fluent-plugin-mongo

       编辑/etc/td-agent/td-agent.conf，增加

## match tag=docker.* and dump to mongodb

## 在docker启动容器时，日志的tag要符合docker.*的形式

<match docker.*>

@type mongo

# 数据库地址

host 127.0.0.1

# 数据库端口

port 22017

# 存储日志的数据库和数据集名称

database docker

collection log

</match>

       重启td-agent。

       启动容器

       启动容器的命令改为：

$ docker run --mount type=bind,source=/home/demo/app,destination=/app --log-driver=fluentd

--log-opt tag="docker.log" python3:latest python3 /app/test.py

       运行完毕后，可以到MongoDB中查看日志。

       后续

       但是在实际的使用过程中，却发现Docker生成的日志并不会立即写入到MongoDB中，有大概1分钟左右的延迟。

       查阅Fluentd的文档得知，有一个flush参数可以控制日志的写入频率，默认的是60s。更改flush_interval参数就可以提高写入频率，具体更改如下：

## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017

database docker collection log <buffer> flush_mode interval flush_interval 1s </buffer> </match>

       刚开始对文档理解不太透彻，增加了flush_interval参数后，并没有发挥作用，第一次更改时，并没有将flush_mode和flush_interval放在buffer结构中。也就是：

## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017

database docker collection log flush_mode interval flush_interval 1s </match>

       从日志中也可以看出上面的配置，并没有发挥作用：

2018-01-19 14:33:32 +0800 [warn]: parameter '**flush_mode**' in <match docker.*> @type mongo host "1270.0.0.1" port 22017 database "docker" collection "log" flush_mode interval flush_interval 1s buffer_chunk_limit 8m time_key time <inject> time_key time time_format %Y-%m-%d %H:%M:%S.%L </inject> </match> is not used.

       上面说flush_mode并没有起作用。

（编辑：聊城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!