Linux系统下Flume使用指南（flumelinux）

Flume是一个基于分布式的，有限的、可靠的、高吞吐的，流式数据传输框架，能够收集、合并、路由和传递日志数据。它可以被用于搭建企业级数据管道，可以实现从收集数据到存储数据的实时处理。在linux系统下，Flume可以方便用户对大量实时日志数据进行管理和采集。本文将简要介绍Linux系统下使用Flume的方法。

创新互联建站专注于陈巴尔虎网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供陈巴尔虎营销型网站建设，陈巴尔虎网站制作、陈巴尔虎网页设计、陈巴尔虎网站官网定制、成都小程序开发服务，打造陈巴尔虎网络公司原创品牌,更为您提供陈巴尔虎网站排名全网营销落地服务。

1.准备工作

首先，在Linux系统下安装Flume，并准备好需要监控的日志资源。如果要监控某个可写入文件的日志源，可以使用tail指令来查看文件的实时变化。同时，还要根据需要配置Flume的全局配置文件，以及下游的保存设备的地址和端口等信息。

2.启动Flume

可以借助以下Flume命令在Linux环境下启动flume：

bin/flume-ng agent –c conf –f conf/flume-conf.properties –n a1 

上述命令的功能是指定configuration files的位置，并指定Flume agent的name为a1，进而启动agent a1。

3.Flume监控文件内容

可以使用下面的配置令agent a1连接一个名为“tail”的source，并监控指定的文件：

a1.sources.tail.type = exec
a1.sources.tail.command = tail -F /var/log/syslog

这里的a1.sources.tail表示设置agent a1的源，而a1.sources.tail.type表示设置其类型，这里设置为exec表示添加一个可执行程序。a1.sources.tail.comand表示指定可执行程序的命令，此处设置为使用tail指令来监控/var/log/syslog文件。

4.通过Flume传输数据

以上已经介绍了如何监控日志，接下来可以添加sink，将监控到的数据进行处理并发送出去：

a1.sinks.k1.type = org.apache.hadoop.hive.jdbc.HiveDriver
a1.sinks.k1.channel = c1
a1.sinks.k1.hive.metastore.uris = jdbc:hive2://hive:10000/default
a1.sinks.k1.hive.db = default
a1.sinks.k1.hive.database = default

这里的a1.sinks.k1表示设置agent a1的sink，通过a1.sinks.k1.type指定sink的类型，这里表示为HiveDriver，能够将数据写入Hive中。a1.sinks.k1.channel指定channel的名称，a1.sinks.k1.hive.metastore.uris指定Hive的metastore的地址，a1.sinks.k1.hive.db指定数据库的名称，本例中采用默认数据库default。

5.结束Flume传输

最后，通过以下命令停止Flume传输程序：

# bin/flume-ng stop a1 

上述命令指定停止agent a1，结束Flume传输。

到此为止，Linux系统下对日志数据进行采集和管理的整个过程就全部完成了。通过Flume，用户可以方便地从实时日志数据中收集和传输必要的信息，实现企业级数据管道搭建，为其他Hadoop等数据处理起到很大的帮助。

成都创新互联科技有限公司，是一家专注于互联网、IDC服务、应用软件开发、网站建设推广的公司，为客户提供互联网基础服务！
创新互联（www.cdcxhl.com）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。创新互联成都老牌IDC服务商，专注四川成都IDC机房服务器托管/机柜租用。为您精选优质idc数据中心机房租用、服务器托管、机柜租赁、大带宽租用，可选线路电信、移动、联通等。

当前标题：Linux系统下Flume使用指南（flumelinux）
当前路径：http://www.mswzjz.com/qtweb/news8/162858.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联