Very powerful server agent for collecting & sending logs & metrics with an easy-to-use web console.

Overview

logkit-community Build Status Go Report Card codecov GoDoc

logkit LOGO

中文版

Introduce

Very powerful server agent for collecting & sending logs & metrics with an easy-to-use web console.

logkit-community Detail doc can be referred toWIKI

Support sources

  • File: read data in file, including csv file,kafka-rest log,nginx log.
  • Elasticsearch: read data in ElasticSearch.
  • MongoDB: read data in MongoDB.
  • MySQL: read data in MySQL.
  • MicroSoft SQL Server: read data in Microsoft SQL Server.
  • Postgre SQL: read data in PostgreSQL.
  • Kafka: read data in Kafka.
  • Redis: read data in Redis.
  • Socket: read data via tcp\udp\unixsocket protocol.
  • Http: reveive data in post request as http server.
  • Script: support script and read data from the result.
  • Snmp: auto read data from Snmp service.

Working method

logkit-community support multiple sources and can send kinds of data to Pandora, every data source relevant to a logic runner,a runner's workaround as follows:

logkit workaround

Contributing

Weclome to contribute to logkit:

Download

lastest stable:Go to Download page

History:Go to Releases

Trial:construct lastest logkit trial version every 5:00am (only for Linux 64 and Docker), you can download it (note: not include update of frontend).

Install and Usage

1. Download&Decompress logkit-community tool

  • Linux
export LOGKIT_VERSION=<version number>
wget https://pandora-dl.qiniu.com/logkit_${LOGKIT_VERSION}.tar.gz && tar xvf logkit_${LOGKIT_VERSION}.tar.gz && rm logkit_${LOGKIT_VERSION}.tar.gz && cd _package_linux64/
  • MacOS
export LOGKIT_VERSION=<version number>
wget https://pandora-dl.qiniu.com/logkit_mac_${LOGKIT_VERSION}.tar.gz && tar xvf logkit_mac_${LOGKIT_VERSION}.tar.gz && rm logkit_mac_${LOGKIT_VERSION}.tar.gz && cd _package_mac/
  • Windows

please download https://pandora-dl.qiniu.com/logkit_windows_<LOGKIT_VERSION>.zip 并解压缩,go to directory

2. change logkit-community configuration

logkit.conf is logkit-community tool's configuration,mainly for specifing running resource and paths of runners.

Open logkit.conf, for example:

{
    "max_procs": 8,
    "debug_level": 1,
    "clean_self_log":true,
    "bind_host":"localhost:3000",
    "static_root_path":"./public",
    "confs_path": ["confs*"]
}

For simply use, you can only focus on three options:

  1. bind_host port of logkit we。
  2. static_root_path statistic resource path of logkit page, recommand to use absolute path note:old version moved to "public-old" directory。
  3. confs_path including add conf in web, logkit also support monitor directory to add runners. (if you only need to add logkit runner in web, you can ignore this option)

3. startup logkit-community tool

./logkit -f logkit.conf

4. Open logkit-community config page in web

the web url is the value of bind_host configured in step 2

Contribute frontend code

refer to README file:logkitweb/README.md

Install and startup from source code

go build -o logkit logkit.go
./logkit -f logkit.conf

startup logkit using docker

docker pull wonderflow/logkit:<version>
docker run -d -p 3000:3000 -v /local/logkit/dataconf:/app/confs -v /local/log/path:/logs/path logkit:<version>

Deploying logkit in Kubernetes

get configs deploying in Kubernetes

curl -L -O https://raw.githubusercontent.com/qiniu/logkit/master/deploy/logkit_on_k8s.yaml

enjoy it!

Issues
  • no Elasticsearch node available

    no Elasticsearch node available

    在本地es 5.x已经启动,且可以通过localhost:9200访问,但是使用logkit创建runner,将日志采集到es中时报错,生成的配置文件为: { "name": "logkit.runner.20170919100403", "reader": { "mode": "dir", "log_path": "C:\iNodeLog", "read_from": "oldest", "encoding": "UTF-8", "ignore_hidden": "true", "ignore_file_suffix": ".pid,.swap,.go,.conf,.tar.gz,.tar,.zip,.a,.o,.so" }, "parser": { "type": "raw", "name": "pandora.parser.20170919100204" }, "senders": [ { "sender_type": "elasticsearch", "elastic_host": "localhost:9200", "elastic_index": "logkit", "elastic_type": "iNode", "fault_tolerant": "true", "ft_save_log_path": "E:\logkit_windows\ft_save", "ft_sync_every": "10", "ft_strategy": "backup_only", "ft_memory_channel": "false" } ] }

    feature request 
    opened by ahbll 11
  • 优化es sender功能、修复es sender的bug 以及新增transform小功能等

    优化es sender功能、修复es sender的bug 以及新增transform小功能等

    Fixes [issue number]

    Changes

    • [x] 用户可选择elasticsearchSearch sender按日期创建索引所参照的时区
    • [x] 修复elasticsearch sender启用重命名字段会丢失其它字段的bug fixes https://github.com/qiniu/logkit/issues/193
    • [x] 在elasticsearch sender中添加发送时间
    • [x] 增强replace trancesformer, 使其支持正则替换
    • [x] 增强所有transformer,使其支持转换二级及以上字段(层级字段之间分隔符为. ) fixes https://github.com/qiniu/logkit/issues/194
    • [x] 增加Rename Transformer
    • [x] 增加Transformer的REST API,POST /logkit/transformer/transform
    • [x] 从redis采集数据支持多频道订阅和多key值读取
    • [x] 增加了一种autofile文件读取模式,帮助用户自动选择该使用的文件读取模式

    Reviewers

    • [ ] @wonderflow please review
    • [ ] @[someotherone] please review

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergable
    • [ ] Tests pass
    • [ ] Wiki updated
    opened by hongdanyang1991 9
  • 1.修复文件尾行断行问题;2.修复origin不正确问题

    1.修复文件尾行断行问题;2.修复origin不正确问题

    Fixes [issue number]

    Changes

    • [ ] 1.origin 不正确包括:seqfile reader、extract reader以及行merge时的origin不正确。
    • [ ] 2.cache问题应该可以通过读取eof后再次读取解决

    Reviewers

    • [ ] @liukai2012

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergeable
    • [ ] Tests pass
    • [ ] Wiki updated
    opened by PapaPiya 7
  • dirx/file 模式,inode不变的情况下增加数据,采集时一行数据会被拆分为多行发送

    dirx/file 模式,inode不变的情况下增加数据,采集时一行数据会被拆分为多行发送

    Fixes [issue number]

    Changes

    • [ ] feature1
    • [ ] feature2
    • [ ] fixbug1
    • [ ] fixbug2

    Reviewers

    • [ ] @[someone] please review
    • [ ] @[someotherone] please review

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergeable
    • [ ] Tests pass
    • [ ] Wiki updated
    opened by shangmin-001 6
  • 重构logkitWeb项目

    重构logkitWeb项目

    Fixes [issue number]

    Changes

    • [x] 结构化前端项目,使用antd+react
    • [x] 完善交互逻辑和页面结构
    • [x] 页面配置页简单校验

    Reviewers

    • [x] @wonderflow please review

    Checklist

    • [x] Rebased/mergable
    • [x] Tests pass
    • [x] CHANGELOG.md updated
    • [x] Jira issue/task done
    opened by zhonghuiping 6
  • [PDR-12653] [fix parser] logkit keyvalue panic导致agent退出

    [PDR-12653] [fix parser] logkit keyvalue panic导致agent退出

    Fixes [issue number]

    Changes

    • [ ] feature1
    • [ ] feature2
    • [ ] fixbug1
    • [ ] fixbug2

    Reviewers

    • [ ] @PapaPiya please review
    • [ ] @redHJ please review

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergeable
    • [ ] Tests pass
    • [ ] Wiki updated
    opened by shangmin-001 5
  • metric: add memcached as PoC of integrating telegraf metric

    metric: add memcached as PoC of integrating telegraf metric

    Fixes PDR-6227

    Changes

    • 添加 telegraf 通用模块,统一封装所有 telegraf 子模块需要用到的部分
    • 添加 memcached 作为样例,方便后续继续添加其它 telegraf 子模块

    Reviewers

    • [ ] @wonderflow please review

    Checklist

    • [x] Rebased/mergeable
    • [x] Tests pass
    opened by unknwon 5
  • add snmp reader

    add snmp reader

    Fixes [issue number]

    Changes

    • [ ] add snmp reader

    Reviewers

    • [ ] @wonderflow please review
    • [ ] @redHJ please review

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergable
    • [ ] Tests pass
    • [ ] Wiki updated
    opened by andrewei1316 5
  • 增加web的开关选项,给前端的配置Option中加入一个字段Secret(true/false)

    增加web的开关选项,给前端的配置Option中加入一个字段Secret(true/false)

    Fixes [issue number]

    Changes

    • [ ] 开启了web后对于用户的隐私数据采用加密显示,没开启的不作变动(这里要增加web的开关选项)
    • [ ] 在主配置中加入 总控 secret 配置,可以从环境变量中读,也可以直接指定secret,如果为空,使用默认的secret
    • [ ] 所有返回给前端的配置Option中加入一个字段Secret(true/false),当secret为true时,以密码框显示输入
    • [ ] 对于Secret为true的字段,返回给前端或者保存到本地备份的json配置,要用总控secret加密

    Reviewers

    • [ ] @wonderflow please review
    • [ ] @andrewei1316 please review
    opened by redHJ 5
  • 添加 http reader 和 http sender && 更新 pandora-go-sdk 依赖

    添加 http reader 和 http sender && 更新 pandora-go-sdk 依赖

    Fixes [issue number]

    Changes

    • [ ] 添加 http reader 和 http sender
    • [ ] 更新了 sdk 依赖

    Reviewers

    • [ ] @wonderflow please review
    • [ ] @[someotherone] please review

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergable
    • [ ] Tests pass
    • [ ] Wiki updated

    opened by andrewei1316 5
  • ftsender支持无队列并发发送

    ftsender支持无队列并发发送

    Changes

    • [x] ftsender支持无队列并发发送,新增ft_strategy选项concurrent
    • [x] 增加direct queue,用来支持无队列并发,起到goroutine间(FtSender.SendFtSender.sendFromQueue之间)通讯的作用。direct queue实际上并不是队列,只是实现了队列接口。
    • [x] 移除memory queue

    Reviewers

    • [x] @wonderflow please review

    Checklist

    • [x] Rebased/mergable
    • [x] Tests pass
    • [ ] CHANGELOG.md updated
    • [ ] Jira issue/task done
    opened by 2yz 5
  • [PDR-17566][feat(config)]: 配置文案调整

    [PDR-17566][feat(config)]: 配置文案调整

    Fixes [issue number]

    Changes

    • [ ] feature1
    • [ ] feature2
    • [ ] fixbug1
    • [ ] fixbug2

    Reviewers

    • [ ] @[someone] please review
    • [ ] @[someotherone] please review

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergeable
    • [ ] Tests pass
    • [ ] Wiki updated
    opened by PapaPiya 0
  • build(deps): bump moment from 2.22.2 to 2.29.4 in /logkitweb

    build(deps): bump moment from 2.22.2 to 2.29.4 in /logkitweb

    Bumps moment from 2.22.2 to 2.29.4.

    Changelog

    Sourced from moment's changelog.

    2.29.4

    • Release Jul 6, 2022
      • #6015 [bugfix] Fix ReDoS in preprocessRFC2822 regex

    2.29.3 Full changelog

    • Release Apr 17, 2022
      • #5995 [bugfix] Remove const usage
      • #5990 misc: fix advisory link

    2.29.2 See full changelog

    • Release Apr 3 2022

    Address https://github.com/moment/moment/security/advisories/GHSA-8hfj-j24r-96c4

    2.29.1 See full changelog

    • Release Oct 6, 2020

    Updated deprecation message, bugfix in hi locale

    2.29.0 See full changelog

    • Release Sept 22, 2020

    New locales (es-mx, bn-bd). Minor bugfixes and locale improvements. More tests. Moment is in maintenance mode. Read more at this link: https://momentjs.com/docs/#/-project-status/

    2.28.0 See full changelog

    • Release Sept 13, 2020

    Fix bug where .format() modifies original instance, and locale updates

    2.27.0 See full changelog

    • Release June 18, 2020

    Added Turkmen locale, other locale improvements, slight TypeScript fixes

    2.26.0 See full changelog

    • Release May 19, 2020

    ... (truncated)

    Commits

    Dependabot compatibility score

    Dependabot will resolve any conflicts with this PR as long as you don't alter it yourself. You can also trigger a rebase manually by commenting @dependabot rebase.


    Dependabot commands and options

    You can trigger Dependabot actions by commenting on this PR:

    • @dependabot rebase will rebase this PR
    • @dependabot recreate will recreate this PR, overwriting any edits that have been made to it
    • @dependabot merge will merge this PR after your CI passes on it
    • @dependabot squash and merge will squash and merge this PR after your CI passes on it
    • @dependabot cancel merge will cancel a previously requested merge and block automerging
    • @dependabot reopen will reopen this PR if it is closed
    • @dependabot close will close this PR and stop Dependabot recreating it. You can achieve the same result by closing it manually
    • @dependabot ignore this major version will close this PR and stop Dependabot creating any more for this major version (unless you reopen the PR or upgrade to it yourself)
    • @dependabot ignore this minor version will close this PR and stop Dependabot creating any more for this minor version (unless you reopen the PR or upgrade to it yourself)
    • @dependabot ignore this dependency will close this PR and stop Dependabot creating any more for this dependency (unless you reopen the PR or upgrade to it yourself)
    • @dependabot use these labels will set the current labels as the default for future PRs for this repo and language
    • @dependabot use these reviewers will set the current reviewers as the default for future PRs for this repo and language
    • @dependabot use these assignees will set the current assignees as the default for future PRs for this repo and language
    • @dependabot use this milestone will set the current milestone as the default for future PRs for this repo and language

    You can disable automated security fix PRs for this repo from the Security Alerts page.

    dependencies 
    opened by dependabot[bot] 0
  • build(deps): bump eventsource from 1.0.7 to 1.1.1 in /logkitweb

    build(deps): bump eventsource from 1.0.7 to 1.1.1 in /logkitweb

    Bumps eventsource from 1.0.7 to 1.1.1.

    Changelog

    Sourced from eventsource's changelog.

    1.1.1

    • Do not include authorization and cookie headers on redirect to different origin (#273 Espen Hovlandsdal)

    1.1.0

    • Improve performance for large messages across many chunks (#130 Trent Willis)
    • Add createConnection option for http or https requests (#120 Vasily Lavrov)
    • Support HTTP 302 redirects (#116 Ryan Bonte)
    • Prevent sequential errors from attempting multiple reconnections (#125 David Patty)
    • Add new to correct test (#111 Stéphane Alnet)
    • Fix reconnections attempts now happen more than once (#136 Icy Fish)
    Commits
    • aa7a408 1.1.1
    • 56d489e chore: rebuild polyfill
    • 4a951e5 docs: update history for 1.1.1
    • f9f6416 fix: strip sensitive headers on redirect to different origin
    • 9dd0687 1.1.0
    • 49497ba Update history for 1.1.0 (#146)
    • 3a38537 Update history for #136
    • 46fe04e Merge pull request #136 from icy-fish/master
    • 9a4190f Fix issue: reconnection only happends for 1 time after connection drops
    • 61e1b19 test: destroy both proxied request and response on close
    • Additional commits viewable in compare view

    Dependabot compatibility score

    Dependabot will resolve any conflicts with this PR as long as you don't alter it yourself. You can also trigger a rebase manually by commenting @dependabot rebase.


    Dependabot commands and options

    You can trigger Dependabot actions by commenting on this PR:

    • @dependabot rebase will rebase this PR
    • @dependabot recreate will recreate this PR, overwriting any edits that have been made to it
    • @dependabot merge will merge this PR after your CI passes on it
    • @dependabot squash and merge will squash and merge this PR after your CI passes on it
    • @dependabot cancel merge will cancel a previously requested merge and block automerging
    • @dependabot reopen will reopen this PR if it is closed
    • @dependabot close will close this PR and stop Dependabot recreating it. You can achieve the same result by closing it manually
    • @dependabot ignore this major version will close this PR and stop Dependabot creating any more for this major version (unless you reopen the PR or upgrade to it yourself)
    • @dependabot ignore this minor version will close this PR and stop Dependabot creating any more for this minor version (unless you reopen the PR or upgrade to it yourself)
    • @dependabot ignore this dependency will close this PR and stop Dependabot creating any more for this dependency (unless you reopen the PR or upgrade to it yourself)
    • @dependabot use these labels will set the current labels as the default for future PRs for this repo and language
    • @dependabot use these reviewers will set the current reviewers as the default for future PRs for this repo and language
    • @dependabot use these assignees will set the current assignees as the default for future PRs for this repo and language
    • @dependabot use this milestone will set the current milestone as the default for future PRs for this repo and language

    You can disable automated security fix PRs for this repo from the Security Alerts page.

    dependencies 
    opened by dependabot[bot] 0
  • [PDR-16879][feat]: xml transformer add encodig

    [PDR-16879][feat]: xml transformer add encodig

    Fixes [issue number]

    Changes

    • [ ] feature1
    • [ ] feature2
    • [ ] fixbug1
    • [ ] fixbug2

    Reviewers

    • [ ] @[someone] please review
    • [ ] @[someotherone] please review

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergeable
    • [ ] Tests pass
    • [ ] Wiki updated
    opened by asiocity 0
  • Create SECURITY.md

    Create SECURITY.md

    Hey there!

    I belong to an open source security research community, and a member (@peiqi0) has found an issue, but doesn’t know the best way to disclose it.

    If not a hassle, might you kindly add a SECURITY.md file with an email, or another contact method? GitHub recommends this best practice to ensure security issues are responsibly disclosed, and it would serve as a simple instruction for security researchers in the future.

    Thank you for your consideration, and I look forward to hearing from you!

    (cc @huntr-helper)

    opened by JamieSlome 0
  • [PDR-16694][bug] kafka metric监控采集采集频率异常

    [PDR-16694][bug] kafka metric监控采集采集频率异常

    Fixes [issue number]

    Changes

    • [ ] feature1
    • [ ] feature2
    • [ ] fixbug1
    • [ ] fixbug2

    Reviewers

    • [ ] @[someone] please review
    • [ ] @[someotherone] please review

    Wiki Changes

    • options1...
    • options2...

    Checklist

    • [ ] Rebased/mergeable
    • [ ] Tests pass
    • [ ] Wiki updated
    opened by warsky007 0
Releases(pro-v1.2.6)
  • pro-v1.2.6(Mar 29, 2019)

    1. 机器监控默认收集进程信息
    2. 修复syslog 解析的统计问题
    3. mysql 读取支持timestamp时间戳作为增量读取
    4. tailx支持定时读取功能
    5. xml 转换支持去掉attribute元素信息
    6. 默认发送到pandora的嵌套类型改为jsonstring
    7. 增加秘钥属性,输入密码时前端显示 * 号
    Source code(tar.gz)
    Source code(zip)
  • pro-v1.2.5(Feb 27, 2019)

    v1.2.5

    1. 在reader中增加 encode字段,记录读取数据的编码方式
    2. 增加concat Transformer,可以拼接字段
    3. keyvalue 解析方式支持保留原始字段功能
    4. 支持读取 gz、zip、tar 后缀的文件,请使用fileauto、tailx或dirx读取。
    5. tailx和dirx模式支持expire后自动删除文件
    6. csv的解析方式支持同时定义多个key,用竖线分隔。
    7. 修复dirx中可能存在的无法关闭导致线程泄露的问题
    8. 修复windows环境中采集机器监控信息可能存在的panic问题
    9. 修复mysql 读取时没有填sql语句但是填了offset导致panic的问题
    Source code(tar.gz)
    Source code(zip)
  • pro-v1.2.4(Jan 24, 2019)

    1. add copy transform
    2. add timestamp transform
    3. make cpu collection compatible with windows 2003/2008
    4. pandora sender get schema不报错修复
    5. script reader支持填写参数/内容
    6. no data recieved修改
    7. 尝试发送失败页面显示成功修复
    8. add linux audit parser
    9. 修改es读取根据不同时间渲染的方式,改为类似mysql的魔法变量模式
    Source code(tar.gz)
    Source code(zip)
  • pro-v1.2.3(Dec 27, 2018)

    1. 修复mongo 使用cron读取存在的panic问题
    2. 文件监听fsnotify依赖库修改
    3. 优化无读取时logkit的CPU基础负载到0.5%以内,默认情况下不再开启磁盘限流
    4. 在date格式中逗号(,)自动替换成句号(.)
    5. csv parser在分割后自动去除数据前后多余的空格
    6. 在kafka中增加 maxprocessing选项,可用于调优从kafka中读取数据的超时时间
    7. 增加url convert transformer,可以对url编解码(decode和encode )
    8. xml transformer转换增加选项,解析后字段可以设置为全string,同时可以将字段展开到对外层。
    9. 修复es reader打开句柄泄露的问题
    10. sender中允许指定并发数量
    11. 增加了发送成功后同步meta文件的频率控制,负数为结束时同步,0和1为每次同步,大于1则是表示发送成功多少次后同步
    12. 修复kafka reader lag统计错误
    13. 修复kafka commit Offset的bug
    14. 允许发送原始字符串到下游,目前只有kafka sender支持,大大加快发送速度,优化性能
    15. 发送到es的时间字段从 sendTime 改为 _time
    16. 内存队列支持 []string这样的结构,原来只支持 []Data
    17. 增加tracker对象,开启debug日志后可以看到各个阶段消耗的时间
    18. 修复errorlist打印多余错误日志的问题
    19. postgres支持根据时间搜索,同时在内存中去重
    20. 增加runner的audit文件,可以审计发送的数据量。
    21. confs监听目录中的runner可以启动停止
    22. 增加docker 监控收集
    23. 修复tailx和dirx指定读取文件的编码方式不生效的问题
    24. 在filter transformer中增加正选功能
    25. 去除了pandora发送中导出到tsdb的选项
    26. 将es reader中的type选项设置为高级选项,可以默认不填
    27. 修复 http 和 socket 类型采集器启动时,端口冲突的问题
    28. 修复 pinpoint 和 skywalking 采集器的默认端口显示问题
    Source code(tar.gz)
    Source code(zip)
  • pro-v1.2.1(Nov 1, 2018)

    1. 发送到pandora增加请求超时时间设置,可以不超时,解决因为超时导致数据重复的问题
    2. 用go的runtime.MAXPROCS 替代sender的并发数设置,去掉了 ft_procs 选项
    3. 修复了读取测试数据在10行以内时拿不到数据的问题
    4. 修复了发送到kafka实际没有错误但是报错的问题
    5. 修复了部分时间类型由于使用了time.Time而不是RFC3339导致的发送失败问题
    6. 修复了在32位机器上写数据到本地文件会导致程序奔溃的问题
    Source code(tar.gz)
    Source code(zip)
  • prov1.2.0(Oct 24, 2018)

    1. 新增发送到mysql
    2. 新增mysql数据的文件导出功能
    3. 新增csv格式的文件打印功能
    4. 修复dir模式lag统计没有过滤掉不符合模式的文件的问题
    5. useragent Transformer支持多核
    6. 修复xml解析可能导致进程出错的问题
    Source code(tar.gz)
    Source code(zip)
  • prov1.1.1(Sep 27, 2018)

  • v1.5.3(Sep 4, 2018)

    通知

    我们正式发布了logkit-pro(专业版),除包含开源logkit全部功能外,我们还增加了更多数据源、解析、转换和发送、集群管理等功能,欢迎试用体验!

    Features

    1. socket reader中增加来源ip #675
    2. http reader support multiple prefix #678
    3. queue: able to set max disk used bytes for diskQueue #706
    4. reader/{tailx,dirx}: clean expired submeta after sync #688
    5. influxdb host 没有 http 协议头时自动添加 #714
    6. 增加 influxdb 忽略超出 retention 数据的选项 #716
    7. make qiniu log parser more flexiable #715
    8. 增加nginx parser函数直接获取log格式的正则表达式 #718 #717 #720
    9. 增加Mssql和Postgres schema选项 (#713)
    10. 导出到kodo的分片策略时,设置时间和大小值 #725
    11. 对于DataReader,不需要Parser,默认全部成功 #726
    12. csv,grok,json,ngnix parser添加多线程 (#709)
    13. add socket reader json format #728
    14. pandora sender中自动创建的workflow和repo添加描述信息 #733
    15. add logfmt parser #731
    16. ip transformer修改 ,支持服务端解析IP #730
    17. 增加选项:磁盘使用总大小限制和写入磁盘的单条数据大小限制 #738

    Bugfixes

    1. 修复 autofile模式下如果文件夹内文件的最后修改时间不超过tailx expire时间,读取不到数据的问题 #687
    2. socket reader支持按行分割 #692
    3. 修复cloudtrail aws s3 同步文件时关不掉的问题 #696
    4. 修复了Windows下带有 C:/ 冒号时meta文件夹无法创建的问题 #697 感谢 @xxh2000
    5. 修复了cloudtrail aws s3 同步文件时meta记录不及时的问题 #698
    6. 修复了错误的config配置会使得agent panic的问题 #700
    7. 修复transformer不识别Data类型只识别map[string]interface的问题 (#681)
    8. reader: fix close of closed channel panic in very rare cases #683
    9. 修复Socket reader slice指针引用产生的数据截断 #686
    10. close on sendData,修复发送后不关闭导致goroutine泄露的问题 #710
    11. sql reader在构建数据库表名时根据具体的数据库类型构建 (#704) 感谢 @xxh2000
    12. 修复 k8stag Transformer参数不准确的问题 #711
    Source code(tar.gz)
    Source code(zip)
  • v1.5.2(Jul 30, 2018)

    通知

    七牛智能日志管理平台已正式对外开放,欢迎七牛用户申请试用!

    同时我们正式发布了logkit-pro,除包含开源的社区版logkit全部功能外,我们还增加了更多数据源、解析、转换和发送,欢迎试用体验!

    Features

    1. http sender增加一种整个body变为json格式发送的选项(区别于现在整个body是多行,每个行单独是json) #607
    2. pandora sender内置 pandora_key_convert,自动转换不符合格式的key,同时对这个转换做了性能优化 #611 #621 #626
    3. 增加了dirx模式的文件读取方式,该功能类似tailx,可以以通配符的形式读取不同业务的文件夹数据 #613
    4. mapreplace中增加了一个“new”选项,可以保留原来的数据 #616 
    5. 对ip transformer使用的IP库进行统一管理,使得多个runner或者多个transformer配置了相同地址的ip库使用同一份,节省了大量内存 #619
    6. 将尝试获取数据的接口统一为读1分钟才超时,而不是原来的尝试读取3次就返回 #620
    7. 对urlparam transformer不光读取request的参数,还会读取 path和host #623
    8. 对urlparam transformer支持select_keys选项,允许只选择部分请求参数,防止请求参数过多导致的字段暴增(超过500个字段无法发送到Pandora) #628
    9. file sender支持选项(file_send_timestamp_key)按数据中的时间来发送到指定文件 #634
    10. reader、parser、transformer、sender、Metric界面根据sortkey稳定排序 #659
    11. 当 date transformer 遇到没有时区信息的时间字符串时默认为本地时间(一般情况下,为 CST) #662
    12. 大量重构、优化 #647 #648 #649 #650 #655 #656 #657 #658 #670

    Bugfixes

    1. 修复上个版本引入 mssql和postgres连接时sql报错的问题 #606
    2. 修复含有容错功能的sender在一个runner中发送到多个sender时仍然会导致除第一个sender以为其他sender发不出数据的问题 #609
    3. 将mysql读取原来的共用连接改为每个请求都独立创建一个连接,避免unexpected EOF连接错误 #624
    4. sql reader保证每次读取完一张表都会存到meta中,同时修复sql reader同步数据库和表时存meta的错误 #625 #627
    5. 修复export到logdb检查时omitEmpty和omitInvalid为nil导致出错的情况  #629
    6. 修复script transformer在没有脚本文件(路径填错)时可能panic的问题  #630
    7. 修复 urlparam transformer 转换某一条数据出错就导致整批数据都不转换的问题,现在一条出错其他可以继续转换  #637
    8. 修复syslog 出错时没有返回错误数据并导致pandora_stash记录的数据不准确的问题 #642
    9. Ip transformer 增加.mmdb IP库格式支持  #653
    10. 新增获取 read parse transform send 历史错误信息,默人历史错误条数最大为100条  #610
    11. 修复编辑收集器的时候,extra_info 选择了false时选项变为没选中的状态 #666 
    Source code(tar.gz)
    Source code(zip)
    logkit_centos_v1.5.2.tar.gz(10.47 MB)
    logkit_mac_v1.5.2.tar.gz(11.98 MB)
    logkit_linux32_v1.5.2.tar.gz(10.44 MB)
    logkit_v1.5.2.tar.gz(10.88 MB)
    logkit_windows32_v1.5.2.zip(10.39 MB)
  • v1.5.1(Jul 13, 2018)

    通知

    七牛智能日志管理平台已正式对外开放,欢迎七牛用户申请试用!

    同时我们正式发布了logkit-pro,除包含开源的社区版logkit全部功能外,我们还增加了更多数据源、解析、转换和发送,欢迎试用体验!

    Features

    1. 增加了pick Transformer:可以只选择某些字段,其他字段舍弃,与discard Transformer相对。
    2. pandora sender增加导出到kodo的rotate 大小/时间的选择。
    3. mysql reader在读取时,保证 cron或者loop时 会读取上次执行到当前执行所有匹配的数据
    4. 增加了Pandora sender raw 模式,可以直接在 _raw字段中放bytes发送
    5. 对于单条数据超过2MB的数据,也会split再放到pandora_stash中,防止超过2MB的数据死循环。
    6. Transformer中的error也会在前端界面上显示了
    7. 将pandora sender默认导出到kodo的保存时间从30天改为了永久存储

    Bugfixes

    1. 修复部分reader(mongo,sql,kafka,redis,es)定时任务会和正在执行的任务争取锁导致死锁的问题
    2. 修复了dataflow中尝试读取一行数据没有close reader的问题
    3. 修复了mongo读取可能会panic的问题
    4. 修复管道型reader(mongo,sql,kafka,redis,es,snmp)读取时错误信息不显示的问题(https://github.com/qiniu/logkit/pull/560)
    5. 修复schema_free打点时使用token会打点失败的错误
    6. 修复了某些类型在使用convert Transformer会转换失败的错误
    7. 修复了发送到kafka错误信息不显示的问题
    8. 修复了http sender中字段前端配置错误,感谢 @xxh2000
    9. 修改runner的close逻辑,先close reader,再stop Run,这样可以不阻塞reader
    10. 修复了mysql 编码方式的Option字符集不正确的问题 #577
    11. 修复sender没有实现senderError类型时可能导致的panic问题
    12. 修复Socket reader可能存在的panic问题
    13. 修复mysql reader中sql.done meta为空时可能导致数据不读取的bug
    14. 修复了一个runner配置多个sender可能导致第二个以后的sender发不出数据的bug

    logkit_centos_v1.5.1.tar.gz logkit_windows_v1.5.1.zip logkit_windows32_v1.5.1.zip logkit_mac_v1.5.1.tar.gz logkit_v1.5.1.tar.gz logkit_linux32_v1.5.1.tar.gz

    Source code(tar.gz)
    Source code(zip)
  • v1.5.0(Jun 11, 2018)

    Features

    1. 完成reader、sender、parser拆包,代码重构
    2. 增加了数字转换为IP的Transformer ,将以十进制数字存的IP,以8位二进制的方式每八位拆分,构成一个IP字符串。
    3. 支持外部plugin功能
    4. 对应网络的metric数据支持直接计算每秒平均值
    5. ip Transformer支持datx格式
    6. 增加了kodo导出时选择json、csv格式时的压缩选项
    7. 增加了kodo导出时选择导出的分片模式
    8. 增加了mapreplace Transformer,可以根据一个json的文件,按map形式key,value的替换字段内容
    9. 增加了导出mysql历史库的功能,现在你可以通过前缀、日期魔法变量、结尾通配等多种方式全量导出mysql的历史数据
    10. syslog parser增加了默认行数限制,防止错误数据情况下内存泄露。
    11. 优化了pandora-go-sdk写点时的格式化性能,性能提升10%以上
    12. 优化了logkit发送时选择 concurrent时的性能,性能提升在50%以上
    13. 优化了mysql读取的场景,不再需要通过解析,性能提升在30%以上
    14. 为mysql读取历史库数据增加了lag显示,可以看到剩余多少数据没有读取
    15. 前端增加了"runner另存为" 功能, 类似配置不再需要重复配置
    16. tailx模式支持cleaner

    Bugfixes

    1. 修复读取文件时,在极小概率下某个文件刚准备读但是被删除后产生的死循环问题
    2. 修复mysql中表为纯数字时读取失败的问题
    3. 修复Socket reader无法close的问题(会一直占用端口)
    4. 修复多个reader write on closed channer导致的panic问题
    5. 修复kafka reader不输出错误日志的问题,更新了kafka的client库,解决了部分服务端不读取数据的问题
    6. 修复了ip Transformer传输不正确的文件可以带来的panic问题
    7. 修复了tailx模式可能存在的panic风险
    8. 修复了某种情况下文件读取的lag为负数的问题
    Source code(tar.gz)
    Source code(zip)
  • v1.4.9(May 24, 2018)

    Bugfixes

    1. 修复了reader中dir模式下读取文件时间长了以后就暂停的问题,原因是inode判断没有加上文件名,请用户第一时间从v1.4.8升级到v1.4.9
    2. 修复了cloudtrail reader中metastore不断append全部数据的问题
    3. 修复了不同runner中,相同的cloudtrail reader中dir和metastore会相同的bug
    4. 修复了windows下CPU显示的可能不准确的问题
    Source code(tar.gz)
    Source code(zip)
    logkit_windows_v1.4.9.zip(10.34 MB)
    logkit_v1.4.9.tar.gz(9.92 MB)
    logkit_mac_v1.4.9.tar.gz(11.34 MB)
    logkit_centos_v1.4.9.tar.gz(9.92 MB)
    logkit_linux32_v1.4.9.tar.gz(9.31 MB)
    logkit_windows32_v1.4.9.zip(10.34 MB)
  • v1.4.8(May 23, 2018)

    Features

    1. cloudtrail reader支持reset功能
    2. cloudtrail reader支持zip文件
    3. 在schemafree过程中加上了日志,可以看到调用pandora的接口哪一步报错
    4. 避免了不必要的repo更新,减少了pandora schema free接口去更新repo的频率
    5. 支持了windows的metric监控
    6. 为useragent Transformer增加了选项,可以选择部分功能,大大增加了性能
    7. 为convert Transformer 增加了default值功能
    8. 为mysql reader读取中文字段时增加了编码选择,解决了默认utf时可能存在乱码的问题
    9. pandora sender支持配置logdb字段的分词
    10. 增加了mysql reader 自动读取数据库表的能力
    11. 为mysql reader的Database增加了魔法变量支持
    12. 去掉了读取数据时过大会忽略数据的条件,现在仅交给sender判断
    13. 前端增加了batch_size选择
    14. 前端增加了cleaner的配置
    15. 为script Transformer增加参数功能,现在把field的值作为参数传入,可支持传多个field的值

    Bugfixes

    1. 修复了key只存在数字时 pandora_convert transformer无效的问题
    2. 修复Cloudwatch metric读取时只填写dimension无法读取的问题
    3. 修复了解析时会去除不应该去除的多余空格问题
    4. 修复了文件为软连接时,cleaner删除数据时出错的问题
    5. 修复了文件不存在时 reader一直在等待读取文件导致死锁的问题
    6. 修复了sender的错误在前端不显示的问题
    7. 修复了cloudtrail reader在bucket不存在时报错为301 response missing Location header无法理解的问题
    8. 修复了当前读取的文件被删除导致lag size为负数的问题
    9. 修复了pandora sender中 map类型实际为string不能转换的问题,现在会构造一个map将值传进去
    10. 修复了kafka sender中的空指针问题, 感谢 @xxh2000
    11. 修复了前端在获得runner状态时接口pending还不断轮询的问题
    12. 修复了文件reader中dir模式下,DataSource数据不准确的问题
    13. 前端修复了extra_info选项修改为false后还是默认为true的问题
    14. 前端修复了折叠的依赖项修改时不赋值的问题
    Source code(tar.gz)
    Source code(zip)
    logkit_centos_v1.4.8.tar.gz(9.92 MB)
    logkit_linux32_v1.4.8.tar.gz(9.30 MB)
    logkit_linux_v1.4.8.tar.gz(9.92 MB)
    logkit_mac_v1.4.8.tar.gz(11.34 MB)
    logkit_windows32_v1.4.8.zip(10.34 MB)
    logkit_windows_v1.4.8.zip(10.34 MB)
  • v1.4.7(Apr 17, 2018)

    Features

    1. 后端的reader/parser/transformer/sender的配置项增加了tooltip的描述
    2. logkit默认导出到pandora创建的日志分析仓库使用全文索引
    3. 增加了Cloudwatch Reader
    4. pandora_sender增加了number_as_float选项,开启后会将所有数字都识别为float类型
    5. 增加了cloudtrail reader
    6. reader改为注册模式(reader registry)
    7. 增加了csv模式下可以schema和数据不匹配的情况
    8. pandora sender支持https发送端insecure的情况
    9. urlparm transformer支持带path,并解析出path

    Bugfixes

    1. 修复了前端 extra_info 会带双引号导致runner无法创建的bug
    2. 修复了transformer的错误不在stats接口中展示的问题
    3. 修复了grok不过滤空值导致空值覆盖实际值的问题
    4. 修复了在某些异常情况下读取数据性能降低,CPU消耗增大的问题
    5. 修复了某些情况下数据中带有空值会panic的问题。
    6. 修复了空值情况下 json和xml parser/transformer报错的情况
    Source code(tar.gz)
    Source code(zip)
    logkit_mac_v1.4.7.tar.gz(11.27 MB)
    logkit_centos_v1.4.7.tar.gz(9.85 MB)
    logkit_windows_v1.4.7.zip(9.97 MB)
    logkit_windows32_v1.4.7.zip(9.32 MB)
    logkit_v1.4.7.tar.gz(9.85 MB)
    logkit_linux32_v1.4.7.tar.gz(9.24 MB)
  • v1.4.6(Mar 28, 2018)

    Features

    1. 增加xml Transformer,直接解析xml数据
    2. grok Pattern 支持带有中文字符的情况去解析。
    3. 当schema free关闭时,仍然会创建pandora_stash,解决关闭了schema_free 发送时报pandora_stash字段不存在的问题。
    4. 增加了一个grok Pattern,支持读取换行符 GREEDYDATALINEFEED
    5. 全局增加extra_info 参数,支持runner中带上hostname、ip、system、version
    6. 增加了file sender中的path可以填写模板变量的能力,现在file sender可以根据日期归档文件。

    Bugfixes

    1. 修复url param,使用标准化url解析代替根据&切割。
    2. 修复一些Transformer使用原来的key可能导致的字段类型冲突问题,现在类型不同的Transform不允许使用原来的字段。
    3. 修复kafka reader在kafka集群关闭时继续读会导致logkit panic的问题。
    4. 修复开启2个以上的metric runner会导致logkit panic的问题。
    5. 修复 pandora_key_convert Transformer 在某些情况会遗留一个 _ 作为前缀导致仍然无法发送到pandora的问题。
    Source code(tar.gz)
    Source code(zip)
    logkit_linux32_v1.4.6.tar.gz(8.66 MB)
    logkit_mac_v1.4.6.tar.gz(10.60 MB)
    logkit_v1.4.6.tar.gz(9.24 MB)
    logkit_windows_v1.4.6.zip(9.28 MB)
    logkit_windows32_v1.4.6.zip(8.69 MB)
    logkit_centos64_v1.4.6.tar.gz(9.27 MB)
  • v1.4.5(Mar 14, 2018)

    Features

    1. 增加了 pandora key convert transformer,可以将不符合pandora 字段类型的key字符转化为下划线。
    2. 增加了clocktrail transformer,针对 AWS ClockTrail的数据做格式转换。
    3. 增加了UserAgent Transformer,针对浏览器的UserAgent进行数据的解析并扩展。
    4. 增加了mysql log parser,用于解析mysql慢请求日志。
    5. 增加了http metric功能,可以实现自定义请求,持续验证某个服务是否可用。
    6. 全面优化logkit前端配置,大大简化了logkit配置的复杂度。
    7. 大量前端美化。

    Bugfixes

    1. runner错误信息中,修复了一旦sender出现错误就再也不会消失的问题。
    2. 将metric信息默认发到TSDB改为默认发到logdb。
    3. 修复了pandora sender中,tsdb series配置不生效的问题。
    Source code(tar.gz)
    Source code(zip)
    logkit_linux32_v1.4.5.tar.gz(8.59 MB)
    logkit_v1.4.5.tar.gz(9.18 MB)
    logkit_windows_v1.4.5.zip(9.10 MB)
    logkit_windows32_v1.4.5.zip(8.53 MB)
    logkit_mac_v1.4.5.tar.gz(10.51 MB)
  • v1.4.4(Mar 5, 2018)

    Features

    1. 增加了snmp reader 可以根据snmp协议收集数据
    2. 增加了高级选项标记
    3. 支持通过环境变量增加数据tag
    4. pandora sender增加unescape选项,解决 \t \n发送是被转为 \\t \\n的问题
    5. 增加了kafka reader的lag统计
    6. 增加了tailx reader的lag统计
    7. 增加了解析失败的数据默认记录到 pandora_stash 字段的功能,同时也可以在配置时使用 disable_record_errdata 禁用,默认情况下解析失败的数据会作为 pandora_stash字段发送

    Bugfixes

    1. 修复了metric runner运行时类型判断问题,现在默认都是float
    2. 修复了cleaner在文件被删除时传递了""导致判断为"."而无法正常删除的问题
    3. 修复 reset donefile 信息时会删除整个 meta 文件夹的问题
    4. 修复了parse错误的信息不在web上显示的问题
    5. 修正了一批数据发送到pandora可能会更新多次pandora资源schema的问题,现在一批数据只会更新一次
    Source code(tar.gz)
    Source code(zip)
    logkit_linux32_v1.4.4.tar.gz(8.43 MB)
    logkit_v1.4.4.tar.gz(9.01 MB)
    logkit_windows_v1.4.4.zip(8.93 MB)
    logkit_windows32_v1.4.4.zip(8.37 MB)
    logkit_mac_v1.4.4.tar.gz(10.32 MB)
  • v1.4.3(Feb 6, 2018)

    Features

    • 增加了kafka zookeeper的chroot选择,解决了某些用户的kafka集群信息不在zookeeper根目录情况下无法使用logkit的问题。
    • 增加了采集进程信息的metric采集功能,用户可以选择某些进程进行监控
    • 增加了reader时读取一个json文件作为数据标签的功能,用户可以准备一个json文件,将里面的数据作为tag加入到每一条data中。
    • 增加了json Transformer功能,用户可以将一个json字符串解析成一个map放置到对应的数据点中。
    • 增加了可以关闭web server的功能,减少logkit作为纯粹的agent收集数据的开销
    • 增加了parser中,数据解析错误时,将原始数据作为string放到pandora_stash字段的功能
    • 增加了一系列readdata、parsedate、senddate的函数调用,使得配置可以方便的分段确认。
    • 增加了script reader,用户可以直接在logkit定时调用某个脚本得到数据.
    • 增加了snmp reader,用户可以配置logkit直接从snmp协议中读取数据
    • 增加了influxdb sender中自动创建database、series以及retention policy的功能

    Bugfixes

    • 前端修复了修改格式提示json错误过于频繁的问题
    • 修复了tailx模式下reset不生效的问题
    • 修复了数据中有空的map导致打点失败的问题
    • 修复了logkit在关闭sender时超时,继续打点有可能会导致panic的问题
    • logkit前端Transformer功能由英文显示改为中文显示
    Source code(tar.gz)
    Source code(zip)
    logkit_linux32_v1.4.3.tar.gz(8.40 MB)
    logkit_v1.4.3.tar.gz(8.97 MB)
    logkit_windows_v1.4.3.zip(8.89 MB)
    logkit_windows32_v1.4.3.zip(8.34 MB)
    logkit_mac_v1.4.3.tar.gz(10.28 MB)
  • v1.4.2(Jan 4, 2018)

    Features

    • 增加了sender的route功能
    • 增强了sql_reader的自动识别数据类型的能力
    • 增加了自动更新的命令 logkit -upgrade 从这个版本开始,你可以通过这个命令自动更新
    • 集群模式下备份配置文件失败时回滚
    • 集群模式下master 对 slave 的命令改为并行执行
    • 在数据发送失败时,json化后直接作为pandora_stash字段发送。
    • 增加了lable transformer,可以增加数据标签
    • 增加了http reader,可以接受http形式传来的数据
    • 增加了http sender,可以将数据以http形式发送
    • 增加了一种内网使用logkit中转数据的方案,通过这个版本,你的logkit在内网也可以发送数据到中转的logkit再发送出来。
    • logkit支持发送数据到pandora的dag版本(新版本)
    • 机器的metric数据导出到logdb,分词从原来的标准分词改为不分词
    • dir模式下,sourcetag现在能看到具体是从哪一个文件发送的。
    • 前端添加Transformer时提示更友好,你不会再忘记添加Transformer
    • 使用jsoniter包替换标准的json库,json相关的部分性能提升一倍以上。
    • 增加了jsonstring的校验,使得ignore_invalid_field,开启后可以自动筛选不符合的jsonstring字符串

    Bugfixes

    • 修复了k8s获取的containerID和实例ID的情况
    • 修复了csv_parser在jsonmap unmashal的时候json.Number解析的问题
    • dir模式下,按文件的修改时间排序,精确到纳秒,如果时间相同,以文件名排序,修复了同一时间的日志只读一份的问题
    • 修复了Transformer中的bool类型在前端创建成string的情况
    • 修复前端展示时,字段说明过长导致部分不显示的问题,现在会改为换行
    Source code(tar.gz)
    Source code(zip)
    logkit_linux32_v1.4.2.tar.gz(8.18 MB)
    logkit_mac_v1.4.2.tar.gz(10.03 MB)
    logkit_v1.4.2.tar.gz(8.75 MB)
    logkit_windows_v1.4.2.zip(8.53 MB)
    logkit_windows32_v1.4.2.zip(8.04 MB)
  • v1.4.1(Dec 7, 2017)

    Features

    • 增加了PostgreSQL Reader,可以读取PostgreSQL中的数据
    • 增加了Elasticsearch v6的支持,包括reader和sender
    • 增加了在配置中直接写slave的tag和ip的支持
    • 增加了logkit的日志输出到文件的配置
    • 增加了logkit命令行,可以显示版本号等信息
    • 增加了Elasticsearch Sender按日期创建索引所参照的时区选项
    • 在elasticsearch sender中增加了logkit发送时间
    • 增强replace trancesformer, 使其支持正则替换
    • 增强所有transformer,使其支持转换二级及以上字段(层级字段之间分隔符为. )
    • 增加Rename Transformer,你可以通过这个功能重命名你的字段
    • Redis Reader支持多频道订阅和多key值读取数据
    • 增加了一种autofile文件读取模式,帮助用户自动选择该使用的文件读取模式
    • 为 csv parser 添加是否自动将字段名称中的'-'更改为'_'的选项
    • 前端样例数据测试 parser 出错时,给出详细错误信息

    Bugfixes

    • 修复了date Transform的前端bug
    • 修复了metric runner的失败重发会引入重复的extrainfo的bug
    • 修复elasticsearch sender启用重命名会丢失其它字段的bug
    • dir模式下检测下一个log文件时,对文件修改时间做纳秒级比较,修复了两个文件修改时间特别接近时,略过一些文件的问题
    • 修复了一些极小概率情况下出现的并发读写导致panic的问题

    特别感谢 @yangwenmai 、 @hongdanyang1991 及其团队对logkit的贡献

    Source code(tar.gz)
    Source code(zip)
    logkit_mac_v1.4.1.tar.gz(8.32 MB)
    logkit_linux32_v1.4.1.tar.gz(7.88 MB)
    logkit_v1.4.1.tar.gz(8.42 MB)
    logkit_windows32_v1.4.1.zip(7.93 MB)
    logkit_windows_v1.4.1.zip(8.44 MB)
  • v1.4.0(Nov 27, 2017)

    Features

    • 增加了metric runner,现在你可以在网页端配置metric runner,并直接发送到pandora TSDB 监控机器的各类资源
    • 增加了集群版功能,现在你可以直接通过配置master,查看整个集群的情况,包括整个前端的集群版展示,还可以通过master操控整个集群的runner。
    • 增加了一些额外信息,包括IP、hostname、操作系统、内核,平台等
    • 增加了部署到k8s上的功能,并增加了一个专门为logkit on k8s设计的获取pod、namespace等信息的Transformer
    • 大量前端的改动,欢迎体验

    Bugfixes

    • 修复了添加DataSource tag只能加一条的问题
    • 修复了增加额外信息带来的性能问题
    Source code(tar.gz)
    Source code(zip)
    logkit_linux32_v1.4.0.tar.gz(7.19 MB)
    logkit_mac_v1.4.0.tar.gz(8.74 MB)
    logkit_v1.4.0.tar.gz(7.67 MB)
    logkit_windows_v1.4.0.zip(7.63 MB)
    logkit_windows32_v1.4.0.zip(7.17 MB)
  • v1.3.6(Nov 22, 2017)

    Features

    • 增加了Socket reader,现在你可以针对 tcp\udp\unix socket协议进行端口监听,将监听到的数据作为logkit的数据源。
    • 增加了syslog Parser,现在你可以直接解析符合rfc标准的syslog格式的数据
    • 增加了kafka sender,现在你可以将logkit收集的数据发送到kafka,感谢 @hongdanyang1991
    • 增加了 urlparam transformer,现在你可以直接使用这个Transformer转换url的参数数据
    • 增加了 array expand transformer,现在你可以通过该Transformer对数组的数据进行展开
    • es sender增加了可以按照周期自动创建索引的选项
    • pandora sender将导出到logdb string的默认分词改为全文索引
    • 使用pandora sender时自动添加发送时间
    • 增加了logkit on Kubernetes的部署文件

    Bugfixes

    • 修复了es sender中可能存在的数据重复的bug
    • 修复了创建kodo导出标志位用了logdb的错误
    • 对metric runner进行了一系列修复
    • 修复了发送统计的不准确的问题
    Source code(tar.gz)
    Source code(zip)
    logkit_windows_32_v1.3.6.zip(9.38 MB)
    logkit_windows_v1.3.6.zip(9.84 MB)
    logkit_v1.3.6.tar.gz(9.90 MB)
    logkit_mac_v1.3.6.tar.gz(10.98 MB)
    logkit_linux32_v1.3.6.tar.gz(9.42 MB)
  • v1.3.5(Oct 31, 2017)

    Features

    • kafka reader 中增加zookeeper 的timeout选项
    • 增加了runner的停止和运行的功能
    • 去掉了logkit fault torrent选项,现在默认会开启容错,并且存储在meta文件夹下
    • runner 的 status状态保存到了meta中,现在重启runner status不会清零

    Bugfixes

    • 修复了status记录时有概率触发的map并发读写的panic问题
    • 修复了采集日志时文件夹不存在不报错但是无法创建成功的问题(web接口创建会报错,老的模式不变)
    • 修复了pandora sender发送重试导致的发送错误也记录在发送错误的Status中的问题
    Source code(tar.gz)
    Source code(zip)
  • v1.3.4(Oct 18, 2017)

    Features

    1. logkit 现在有了一个可爱的LOGO
    2. 增加了自动导出到七牛云存储的功能
    3. 在Mongo和SQL reader的 loop模式中增加了loop模式等待的时间,语法类似为 loop <time duration> time duration 字符串类似于 "1m", ”3s“,"2h"

    Bugfixes

    1. 修复了logkit自动删除自身日志文件在跨年的时候可能会删除错误的问题
    2. 修复了grok 表达式中含有空格会导致无效的问题,现在你写grok 表达式冒号两边可以有空格。
    3. 修复了grok表达式 自定义Pattern 传入单个值可能会panic的问题
    4. 修复kafka reader close方法没有调用consumer close的bug,会导致多个runner无法同时读取
    Source code(tar.gz)
    Source code(zip)
  • v1.3.3(Oct 10, 2017)

    Features

    • 增加了忽略不符合格式的数据选项,默认开启,关闭可以节省CPU开销
    • 增强了数据校验功能
    • 增加了是否自动转换时间的选项,默认开启,关闭可以节省CPU开销
    • 所有数据源都加上了DataSourceTag标签
    • 增加split Transformer
    • 增加convert Transformer
    • mongo reader 和 sql reader增加了一种loop模式,可以循环调用

    Bugfixes

    • 修复repo存在时Export不存在导致更新失败的问题
    • 修复version编号在agent中显示不完整问题
    Source code(tar.gz)
    Source code(zip)
  • v1.3.2(Sep 27, 2017)

    Features

    1. 增加transformer的功能支持, 可以自定义的针对字段做转化操作
    2. 原配置文件的修改方式改为按添加步骤进行修改
    3. 增加页脚的帮助链接
    4. logkit 加上runner创建时间,并在页面显示
    5. 增加了针对时间字段解析和变换的Transformer,用来处理用户时间字段相关问题
    6. 增加了丢弃某个字段的Transformer
    7. logkit发送的请求增加了user_agent header,便于统计
    8. 增加了数据中植入来源IP的功能
    9. 增加了数据强制类型转换的功能,解决弱类型的问题,开启此功能后,一个指定为string类型的数据,实际为long的情况下,会被转换类型,反之亦然,转换错误则跟原来一样处理。

    Bugfixes

    1. 数据第一次发送前没有meta文件不再报错
    2. schemafree 创建repo失败会显示报错,而不是显示没有repo 404
    3. 对于解析失败的数据,展示部分原始数据方便排查错误原因
    4. 修复了允许Runner name为空的情况
    5. 修复了repo在界面上被删除,logkit选择了schemafree但不会重新创建的问题
    6. 修复了pandora sender array类型在某些情况下类型推导错误无法打点的问题
    Source code(tar.gz)
    Source code(zip)
  • v1.3.1(Sep 13, 2017)

    Features

    1. 增加了reader相关的数据信息以及错误
    2. web页面用户体验改善,现在你填写配置更方便
    3. 增加了修改runner配置的功能,现在你可以通过修改配置文件,而不是删除再重建的方式修改。
    4. 增加了重置logkit功能,现在你可以在页面通过重置删除meta信息,不需要手动删除
    5. 在web页面增加了版本号

    Bugfixes

    1. 修复了web页面前后端交互的错误
    2. 修复了速率显示的错误
    3. 修复了repo允许下划线开头,而logdb不允许下划线开头的错误
    Source code(tar.gz)
    Source code(zip)
  • v1.3.0(Sep 5, 2017)

    Features

    • logkit web页面大改版,修改了实现技术,增加了大量体验优化
    • logkit web 页面增加了简单字段校验
    • 增加页面stats信息,现在你可以在web页面看到发送/解析成功了多少数据,同时显示错误信息
    • 大大提升打点性能,整体节省50% 以上 cpu消耗

    Bugfixes

    • 修复memory queue重启丢数据问题
    • fault_tolerant 策略下强制需要填磁盘保存位置
    • 更新了pandora-go-sdk,修复了相关bug,包括性能提升、鉴权错误描述
    Source code(tar.gz)
    Source code(zip)
  • v1.2.4(Aug 29, 2017)

    Features

    • 增加 transformer模块,第一个transformer是ip变化
    • 增加transformer:字符串替换
    • 增加rest api文档
    • 增加jsonstring的相关支持

    Bugfixes

    • 修复没有配置文件 confs 会导致crash的问题
    • 修复logkit的一些并发问题,增加race测试
    • 修复 rateio 关闭时会导致卡住的bug
    • 修复mysql reader 读取[]byte转string时json会自动base64的bug_
    Source code(tar.gz)
    Source code(zip)
  • v1.2.3(Aug 16, 2017)

Owner
Qiniu Cloud
Connect Data, Redefine Value.
Qiniu Cloud
The open and composable observability and data visualization platform. Visualize metrics, logs, and traces from multiple sources like Prometheus, Loki, Elasticsearch, InfluxDB, Postgres and many more.

The open-source platform for monitoring and observability. Grafana allows you to query, visualize, alert on and understand your metrics no matter wher

Grafana Labs 50.3k Aug 9, 2022
Pixie gives you instant visibility by giving access to metrics, events, traces and logs without changing code.

Pixie gives you instant visibility by giving access to metrics, events, traces and logs without changing code.

Pixie Labs 3.7k Aug 10, 2022
Hook for sending events zap logger to telegram.

zaptelegram Hook for sending events to telegram for zap logger. Install: go get -u github.com/strpc/zaptelegram Basic usage: package main import ( "

null 5 Jul 18, 2022
Every 10 minutes, memory, cpu and storage usage is checked and if they over 80%, sending alert via email.

linux-alert Every 10 minutes, memory, cpu and storage usage is checked and if they over 80%, sending alert via email. Usage Create .env file from .env

Meliksah Cetinkaya 0 Feb 6, 2022
Leveled execution logs for Go

glog ==== Leveled execution logs for Go. This is an efficient pure Go implementation of leveled logs in the manner of the open source C++ package h

Go 3.2k Aug 11, 2022
Library and program to parse and forward HAProxy logs

haminer Library and program to parse and forward HAProxy logs. Supported forwarder, Influxdb Requirements Go for building from source code git for dow

Shulhan 22 Aug 15, 2022
raft variant with topology order logs

Safe: A log that is safe if it has been replicated to a quorum, no matter whether or not the committed flag is set on any replica.

null 27 May 28, 2022
Like Prometheus, but for logs.

Loki: like Prometheus, but for logs. Loki is a horizontally-scalable, highly-available, multi-tenant log aggregation system inspired by Prometheus. It

Grafana Labs 16.7k Aug 7, 2022
Search and analysis tooling for structured logs

Zed The Zed system provides an open-source, cloud-native, and searchable data lake for semi-structured and structured data. Zed lakes utilize a supers

Brim 837 Aug 11, 2022
gtl - Gemini Tiny Logs - A simple TUI for the tinylog format on gemini

GTL: Gemini Tiny Logs Goal: A TUI for the tinylogs format on the gemini space. See screenshots Installation gtl requires go ≥ 1.16 From Source git clo

bacardi55 17 Jul 29, 2022
mtail - extract internal monitoring data from application logs for collection into a timeseries database

mtail - extract internal monitoring data from application logs for collection into a timeseries database mtail is a tool for extracting metrics from a

Google 3.3k Aug 9, 2022
A customized GORM logger that implements the appropriate interface and uses Logrus to output logs

CryptoMath GORM Logger A customized GORM logger that implements the appropriate interface and uses Logrus to output logs. Install go get github.com/ma

Crypto Math 0 Nov 6, 2021
Lumberjack is a Go package for writing logs to rolling files.

Lumberjack is a Go package for writing logs to rolling files.

Go微服务 4 Feb 24, 2022
This POC is built with the goal to collect events/logs from the host systems such as Kubernetes, Docker, VMs, etc. A buffering layer is added to buffer events from the collector

What is does This POC is build with the goal to collect events/logs from the host systems such as Kubernetes, docker, VMs etc. A buffering layer is ad

Gufran  Mirza 3 Dec 16, 2021
Leveled execution logs for Go.

glog Leveled execution logs for Go. This is an efficient pure Go implementation of leveled logs in the manner of the open source C++ package glog. By

null 0 Nov 29, 2021
WIP Go Thing to download HCP Vault Logs

Example Go Script to pull HCP Vault Audit Logs WARNING: This makes use of unstable preview APIs which could change at any time! USE AT YOUR OWN PERIL

Strawb's HashiCorp Demos 4 Feb 6, 2022
Stream logs through websockets, written in Go

Stream logs through websockets, written in Go

Praveen Ravichandran 1 Jan 8, 2022
Request-logging-tool - A tool logs the md5 codes of the responses of the given domains in parameter

request-logging-tool Application to send http requests and log the md5 responses

Kushan Pandipperuma 1 Jan 7, 2022
Log-generator - A simple CLI tool that generates near real logs for testing

Log-generator - A simple CLI tool that generates near real logs for testing

RexWu 2 Jan 22, 2022