torus 0.7.1

动机

Kairos 是一个受 RRD 启发的时间序列库，提供了改进的存储引擎和比大多数其他支持 statsd 的系统更多的功能。与 RRD 和 Whisper 等传统磁盘存储相比，Torus 补充道：

• 简单的运行时，便于开发和部署

• kairos 之上的抽象直方图

• 稀疏数据点的紧凑存储

• 通过每个模式托管和分片进行扩展

• 聚合处理的非缓冲语义

• 时间戳的一致散列，以便于交织和插值

• 数据处理的编程接口

StatsD 快速入门

在示例/statsd.py中提供了一个在 SQLite 中跟踪每小时、每天和每月数据的配置文件。默认会为当前用户创建一个临时目录来存储数据库（例如 Unix 上的/tmp/torus.user）。更改文件顶部的STORAGE_DIR以设置永久位置。

如果你已经在虚拟环境中安装了 torus，你可以使用foreman来启动karbon和torus。如果您在存储库之外运行环面，那么您可以使用foreman start -f Procfile.dev。

示例配置包括对性能测试的支持（见下文）。

碳服务器

karbon应用程序运行与Carbon兼容的统计数据收集应用程序。它是 statsd的 Carbon 后端的直接替代品。它采用以下参数：

usage: karbon [-h] [--tcp TCP] [--config CONFIG]

Karbon, a Carbon-replacement data collection server

optional arguments:
  -h, --help       show this help message and exit
  --tcp TCP        TCP binding, in the form of "host:port", ":port", or
                   "port". Defaults to "localhost:2003".
  --config CONFIG  Configuration file to load. Can be called multiple times
                   for multiple configuration files.

配置记录如下。要重新加载配置，请将 SIGHUP发送到karbon进程。

查询服务器

torus应用程序是Graphite的替代品。它与 Graphite 的 API 不兼容，尽管它确实旨在让 Graphite 用户熟悉并提供与石墨兼容的 JSON 格式，以便于与现有工具链集成。

usage: torus [-h] [--tcp TCP] [--config CONFIG]

Torus, a web server for mining data out of kairos

optional arguments:
  -h, --help       show this help message and exit
  --tcp TCP        TCP binding, in the form of "host:port", ":port", or
                   "port". Defaults to "localhost:8080".
  --config CONFIG  Configuration file to load. Can be called multiple times
                   for multiple configuration files.

对于大多数用例，它可以与karbon共享配置。但是，可以使用Chef、puppet或类似工具来模板化配置，并替换主机定义等字符串，以便在读取数据时定位一组特定的资源。

要重新加载配置，请向环面进程发送SIGHUP 。

torus将响应http://$tcp/$command?$parameters以获取以下命令，其中$parameters是标准 URL 编码参数列表。

[{
  'function': 'avg',
  'interval': 'hour',
  'schema': 'calls',
  'stat': 'avg(calls.system)',
  'stat_name' : 'calls.system',
  'target': 'calls.system',
  'datapoints': [[0.0391, 1362153600], [0, 1362157200]],

 },
 ...
]

配置

所有环面应用程序都会加载一个或多个配置，其中配置是加载到应用程序中的 python 模块。Torus 会查找下面记录的常量，但由于配置是完整的 python 模块，因此可以包含扩展、插件和其他运行时配置。例如，可以将 torus 对标准 python 记录器的使用连接 到 syslog、logstash 或许多错误报告工具之一，例如 Sentry。对于torus，日志消息优先考虑标头X-Forwarded-For，然后使用远程 IP 地址（如果该地址不可用）。出于这个原因和一般安全性，您应该始终在torus前面使用代理服务器。

torus的配置包括模式、聚合、可在查询中使用的自定义函数和调试设置的定义。环面模式是kairos模式的扩展；模式定义中的每个键值对都将传递给时间序列 构造函数。配置文件可以包括以下一项或多项。

SCHEMAS = {

  'response_times' : {
    'type': 'histogram'
    'host': 'redis://localhost:6379/0'
    'match': [ 'application.*.response_time', 'application.response_time' ]
    'read_func': float
    'write_func': lambda v: '%0.3f'%(v)

    'intervals': {
      'minute': {
        'step': 60,
        'steps': 240,
       },
      'daily' : {
        'step': 'daily',
        'steps': 30
      }
    },
  }
}

AGGREGATES = [
  ('application.response_time', 'application.*.response_time'),
  ('application.<status_code>', 'application.*.status.<status_code>'),
]

TRANSFORMS = {
  # Returns the number of elements
  'size' : lambda row: len(row)
}

MACROS = {
  'unique' : {
    'fetch' : lambda handle,key: handle.hlen(key)
    'condense' : lambda data: sum(data.values()),
    'process_row' : lambda data: data,
    'join_rows' : lambda rows: sum(rows),
  }
}

调试

调试一个或一组模式可能会带来挑战。Torus 附带schema_debug，这是一个针对任意数量的模式测试任意数量的输入字符串的工具。它将输出与输入字符串匹配的规则、将存储匹配的数据库、将从输入规则生成的任何聚合，然后递归地输出匹配每个聚合的任何模式和聚合。

usage: schema_debug [-h] [--config CONFIG] strings [strings ...]

Debugging tool for schemas

positional arguments:
  strings          One or more input strings to test against the scheams

optional arguments:
  -h, --help       show this help message and exit
  --config CONFIG  Configuration file to load. Can be called multiple times
                   for multiple configuration files.

Torus 还支持可以在任何配置文件中定义的DEBUG标志，这将导致karbon打印到标准输出。如果为0或未定义，则不会生成输出。如果为1， karbon将在存储原始值 ( STOR ) 或聚合 ( AGRT ) 时记录，以及处理的数量和持续时间 ( DONE ) 的统计信息。如果DEBUG==2，karbon还将记录它收到的每一行（RECV）和它跳过的行（SKIP）。

要使用调试标志，您可以更改karbon加载的配置文件之一中的值，然后使用命令kill -SIGHUP `pidof karbon`向进程发出信号以重新加载。

性能测试

为了测试您的模式的性能和回归，环面包括 schema_test。该工具在模式中查找生成器定义，并不断调用它们以发出通过所有模式和聚合处理的数据点。打印出一些基本的统计数据。

usage: schema_test [-h] [--config CONFIG] [--clear] [--duration DURATION]

Tool for performance testing of schemas

optional arguments:
  -h, --help           show this help message and exit
  --config CONFIG      Configuration file to load. Can be called multiple
                       times for multiple configuration files.
  --clear              If true, clear all data before running the test.
                       Defaults to false.
  --duration DURATION  Duration of the test. Defaults to 60 seconds.

移民

有时您需要将数据从一种模式迁移到另一种模式。Torus 附带了migrate来促进这一点。

usage: migrate [-h] --config CONFIG --source SOURCE --destination DESTINATION
               --interval INTERVAL [--start START] [--end END]
               [--concurrency CONCURRENCY] [--stat STAT] [--match MATCH]
               [--dry-run] [--verbose]

A tool to migrate data from one schema to another

optional arguments:
  -h, --help            show this help message and exit
  --config CONFIG       Configuration file to load. Can be called multiple
                        times for multiple configuration files.
  --source SOURCE       The name of the source schema [required]
  --destination DESTINATION
                        The name of the destination schema [required]
  --interval INTERVAL   The name of the interval from which to read data
                        [required]
  --start START         Only copy stats occurring on or after this date. Same
                        format as web parameter. [optional]
  --end END             Only copy stats occurring on or before this date. Same
                        format as web parameter. [optional]
  --concurrency CONCURRENCY
                        Set the concurrency on the schema target writing.
                        Defaults to 10.
  --stat STAT           The name of the stat to copy. Can be called multiple
                        times for a list of stats. If not provided, all stats
                        will be copied. [optional]
  --match MATCH         Pattern match to migrate a subset of the data.
                        [optional]
  --dry-run             Print out status but do not save results in the
                        destination schema. [optional]
  --verbose             Print out even more information during the migration
                        [optional]

安装

Torus 在pypi上可用，可以使用 pip安装

pip install torus

如果从源安装：

• 有开发需求（例如测试框架）

  pip install -r development.pip

• 无开发要求

  pip install -r requirements.pip

测试

使用鼻子运行测试套件。

$ nosetests

路线图

• 记录有关 karbon 和环面使用情况的指标

• 添加“死信”支持以跟踪不匹配任何架构的统计信息

• 将统计删除端点添加到环面

• 用于查询数据和可选地使用bashplotlib绘图的命令行工具

• 添加用于生成 tasseo 配置的工具 ( https://github.com/obfuscurity/tasseo )

• 添加为 Redis 和 SQLite 后端设置事务提交间隔的功能

• 研究更快的正则表达式引擎。pyre2目前正在运行中。

• 扩展支持的统计命名（unicode、符号等）

• 用于将 karbon 数据转发到另一个 Carbon 兼容主机的中继主机类型

• 架构迁移工具

• torus和karbon的 log 和 stdout