alog-nginx-module

一个Nginx日志模块，目的是便于使用Nginx作为日志收集服务器

模块特点：

• 支持多种日志级别和日志路径设置
• 支持写日志缓冲，缓冲区大小可自定义
• 采用单独的日志线程写磁盘，Nginx Worker主线程和日志线程通过阻塞队列通讯

模块用途

模块包含如下两条指令：

alog_set

• 格式：alog_set [file_path] [log_level] [buffer_size]
• 说明：本指令只能出现在http中。[log_level]和[buffer_size]可选，默认日志结拜为info，默认缓冲大小为0.
• 例子：alog_set /usr/local/nginx/logs/test.log info 32k;

alog

• 格式：alog [log_level] [log_msg] [flush]
• 说明：本指令只能出现在location中。[flush]可选，如果需要强制刷新，输入“flush”。其中[log_msg]既可以为原始字符串，也可以为Nginx变量。日志以行为单位记录，会自动追加换行符。
• 例子：alog info “Hello World”；

例子：

...

http {
  alog_set /export/servers/openresty/nginx/logs/clickstream.log info 32k;

  ...

  server {
    listen 80;

    ...

    location /log {
      access_log off;
      set $u_log "Hello World";
      alog info $u_log;
      ...
    }
  }
}

...

http {
  alog_set /export/servers/openresty/nginx/logs/clickstream.log info 1M;

  ...

  server {
    listen 80;

    ...

    location /log {
      access_log off;
      set $u_log "Hello World";
      alog info $u_log;
      
      access_by_lua '
          ngx.location.capture("/log2") 
      ';
      ...
    }
    
    location /log2 {
      log_subrequest on;
      log info "log test";
      ...
    }
  }
}

说明

本模块主要用于学习用途，经过了我自己的初步测试，如果使用请详尽测试，欢迎报告bug。

最初并无再写一个日志模块的意愿，毕竟Nginx自带的日志模块已经很好用了。但是在利用Nginx记点击流日志时，发现一个问题无法解决。点击流日志分隔符，我效仿网上一篇文章用了Ascii不可见字符^A。测试中发现如果直接将^A写入log_format，则日志打印没有问题；但如果在lua中对输入字符串进行处理（比如原先分隔符是|，替换为^A），最终经过nginx打印，会发现打印出的不是^A，而是\x001。经过调研发现，似乎是Nginx的日志模块对Ascii字符进行了转义，颇让人为难。

在Openresty中文邮件列表提问后，得到了包括agentzh在内的众多朋友帮助，发现这个问题可以使用专门的lua日志模块解决。但经过测试发现确实解决了字符转义的问题，非常高兴。但是经过简单测试，发现使用lua模块写日志，比使用Nginx的日志模块性能有所下降。考虑到日志收集响应速度很重要，因此决定自己开发一个模块。

模块的设计思路很明确，采用专门的日志线程写日志，Nginx Worker进程的主线程将日志写入内存缓冲区后返回。当缓冲区满后，主线程会将缓冲区中日志通过阻塞队列（Blocking Queue）交给日志线程，然后由日志线程写入磁盘。开发完成后，经过测试，性能功能性都满足要求。意外的是我发现自己写的日志模块性能，相比Nginx原生的日志模块并无明显的性能优势。并不是说本模块性能不好，而是发现Nginx原生的日志模块性能其实并不差。原先担心的性能问题，有杞人忧天之嫌，纯粹臆想。因为现在的磁盘顺序写速度已今非昔比，而且像Linux这样的系统会使用大量的内存作为写磁盘缓冲，因此像Nginx这样顺序追加写磁盘，速度并没有想象中糟糕。感觉自己的知识结构似乎还停留在那遥远的年代。

由此看来，这个模块主要的意义，除了解决转义字符的问题，更主要的是供广大Nginx开发者参考。如果能对社区中朋友有所帮助，善莫大焉。