阿里云日志服务基础

阿里云日志服务

标签（空格分隔）： 阿里云

---

1.核心概念

地域（Region）

地域为阿里云的服务节点。用户通过在不同的阿里云Region部署服务，让自己的服务距离客户更近，获得更低的访问延时及更好的用户体验。目前阿里云在全国各地拥有多个Region。

项目（Project）

项目为日志服务中的基本管理单元，用于资源隔离和控制。用户可以通过项目来管理某一个应用的所有日志及相关的日志源。

日志库（Logstore）

日志库为日志服务中日志数据的收集、存储和查询单元。每个日志库隶属于一个项目，且每个项目可以创建多个日志库。用户可以根据实际需求为某一个项目生成多个日志库，其中常见的做法是为一个应用中的每类日志创建一个独立的日志库。例如，假如用户有一个“big-game”游戏应用，服务器上有三种日志：操作日志（operation_log），应用程序日志（application_log）以及访问日志（access_log），用户可以首先创建名为“big-game”的项目，然后在该项目下面为这三种日志创建三个日志库，分别用于它们的收集、存储和查询。

分区（Shard）

分区（shard）是每个日志库下读写基本单元，用户可以指定每个日志库下分区数目。

日志（Log）

日志为日志服务中处理的最小数据单元。日志服务采用半结构数据模式定义一条日志，具体数据模型如下：

• 主题（Topic）：用户自定义字段，用以标记一批日志（例如：访问日志根据不同的站点进行标记）。默认该字段为空字符串（空字符串也为一个有效的主题）。
• 时间（Time）：日志中保留字段，用以表示日志产生的时间（精度为秒，从1970-1-1 00:00:00 UTC计算起的秒数），一般由日志中的时间直接生成。
• 内容（Content）：用以记录日志的具体内容。内容部分由一个或多个内容项组成，每一个内容项由Key、Value对组成。
• 来源（Source）：日志的来源地，例如产生该日志机器的IP地址。默认该字段为空。

2.安装logtail

logtail的安装

3.logservice配置步骤以及注意细节

1. 开通日志服务（目前是公测免费的）
2. 创建一个日志project，用于管理某个地域的日志收集查询。
   
   

   创建时选择所属区域（这个区域跟一下的机器组管理以及日志投递OOS有关），创建后无法修改，也无法在多个区域迁移项目。

3. 在项目下创建日志库logStore，日志库保存数据的时间为两天（如需要更长存储时间请设置日志投递/日志索引）

4. 创建日志库成功之后会提示配置logtail，我们可以配置多个logtail，下面以一个为例
   

   配置名称和路径就不用说了，主要是日志格式的配置，分为极简模式和完整模式。极简模式只需要配置名称和路径特别简单。完成模式需要有日志样例以及根据日志样例生成正则表达式（会的也可以自己写）,输入日志样例之后会有一个提取字段，指定key/value,如下图：

当我们在管理控制台查询的时候,每条日志以key：value的形式显示出来。接下来就是机器组配置：

需要指定机器组名称以及ip，需要注意事项请参照上图1234条（1.本地域的ECS，2，内网ip，如果ECS设置了主机名并绑定了外网ip，这里就需要填外网ip）。成功之后，logtail需要应用到机器组，logtail大概就配置完了。回到日志库列表

5.接下来是日志投递配置，有两种方式ODPS和OOS，我们现在使用的是OOS

投递日志到OOS配置（参考）

6.日志索引创建

全文索引属性和键值索引属性，创建之后，我们可以查询logtail收集到的日志列表。

一些点：
1.当你创建了日志project以后就确定了地域，以后机器组的配置ip必须是属于此区域，以及创建的OOS也必须指定是此区域的，跨区域不能投递。
2.日志样例以及与之匹配的正则表达式必须正确，以及跟所要收集的日志文件格式相似，否则会收集不到日志

参考文档：https://help.aliyun.com/document_detail/sls/user-guide/overview.html?spm=5176.docsls/user-guide/sync-oss.6.88.F99lm5