1.安装规划
见大数据(一)-----HADOOP安装
2.安装flume
- 将flume安装在目录/home/hadoop/apache-flume-1.7.0-bin下,并配置环境变量
export FLUME_HOME=/home/hadoop/apache-flume-1.7.0-bin
- 配置conf目录下flume-hdfs.conf文件,包括agent,sink,channel
- 最近在部署FLUME监控日志tomcat日志文件到hadoop的hdfs,发现了一个奇怪的问题:flume使用exec方式监控tomcat单个日志文件,如果tomcat的日志文件按照天进行滚动的话,比如今天的日志为catalina.2017-08-05.out 那么过了今天,tomcat的日志文件变为了catalina.2017-08-06.out,但是flume监控配置并不能感知到tomcat日志的切换,监控的还是上一天的日志。
- 原来的flume的配置如下:
agent1.sources.s2.command = tail -n +0 -F "/home/gome_guest/10.58.61.83/cashier-service_02/logs/catalina.`date +%Y-%m-%d`.out"
- 更改后的配置为:
agent1.sources.s2.command = locktail_rotate.sh /home/gome_guest/10.58.61.83/cashier-service_02/logs/catalina.DATE_ROTATE.out 'date +"%Y-%m-%d"'
其中 locktail_rotate.sh 参见 https://github.com/ypenglyn/locktail/blob/master/locktail_rotate.sh
相关推荐
在大型互联网企业的数据处理任务中,Flume被广泛应用。 Flume逻辑上分三层架构:agent,collector,storage。agent用于采集数据,agent是Flume中产生数据流的地方,同时,agent会将产生的数据流传输到collector。...
》数据存取-》数据挖掘与分析-》数据展示与应用 大数据技术生态 数据采集 数据存储 SQL 引擎 离线计算 流式计算 多维分析 数据挖掘 Sqoop Flume HDFS Hbase PGXZ MongoDB Spark SQL HAWQ Hive Impala MR Spark Storm...
流数据采集工具Flume 4 图给出Flume的一个应用场景。用户使用Flume可以从云端、社交网 络、网站等获取数据,存储在HDFS、HBase中,供后期处理与分析。 理解Flume的工作机制,需要了解事件、代理、源、通道、接收器...
flume入门介绍,简单介绍flume的背景和应用场景,flume的实现原理以及案例分享
用电大数据平台flume组件应用研究说明书,欢迎下载学习
大数据的应用与挑战;大数据应用领域;大数据应用场景举例-商业;;大数据应用场景举例-医疗;大数据应用场景举例-城市治理;大数据挑战;大数据挑战-数据资产管理;大数据的意义与发展趋势;大数据的意义 – 商业的变革;...
章节三:Flume安装 章节四:入门使用案例 章节五:数据持久化 章节六:日志文件监控 章节七:多个Agent模型 章节八:拦截器 章节九:Channel选择器 章节十:Sink处理器 章节十一:导入数据到HDFS 章节十二:Flume ...
Hadoop大数据平台部署与应用.pptx Hadoop数据收集与入库系统Flume与Sqoop.pdf 合理运用虚拟化技术构建Hadoop大数据平台.pdf 一张图看懂HBase.pdf
核心团队 大数据技术-平台架构 Oracle MySQL SQL Server ETL清洗 分布式数据库 Flume & Sqoop 抽 取 层 日志 点击流 其它数据接口 HDFS分布式文件系统 NoSQL数据库 (图数据库) HBase 列族数据库 Pig 分析工具 ...
mumu-flume是一个apache flume客户端调用测试项目,通过这个项目了解flume工作原理和使用方式。flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方...
大型企业级云产品-亿级数据统计分析系统(真实大数据应用,代码企业可直接复用),完整版108讲,附源码+课件;本课程项目是一个综合项目,技术涵盖java web,大数据,虚拟化,linux服务器等 具体包含: spring,...
6大数据中Flume 的应用与学习
目录 1.1_大数据时代 1.2_大数据的应用领域-大数据解决方案 2.1_HDFS概述及应用场景-HDFS系统架构 2.2_关键特性介绍 ...10.1_Flume简介及架构-Flume应用举例 11.1_Kafka简介-Kafka架构与功能 .............
大数据采集技术与应用
第十一次课-Flume的安装和使用,包含Flume的两个实例应用
这是一本立足于企业真实的商用项目来讲解如何高效从事大数据实践的著作。技术层面,从全栈的角度系统梳理和详尽讲解了大数据的核心技术,包括Spark、Druid、Flume、Kafka等,让我们在纷繁复杂的技术中少走弯路......
12 Flume-Loader技术应用 13 Flume技术原理副本 14 Loader技术原理副本 15 Kafka技术原理副本 16 Spark技术原理副本 17-18 Flink技术原理 19 java-数组副本 20 java-类和对象 21 java-重载 22 java-访问修饰...
大数据与云计算教程课件 优质大数据课程 01.Hadoop简介与安装入门(共29页).pptx 大数据与云计算教程课件 优质大数据课程 02.MapReduce(共23页).pptx 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN(共...
NULL 博文链接:https://kavy.iteye.com/blog/2228079
在实时业务中,我们常将数据采集到 Kafka 中,以供实时组件 streaming 或spark 等分析处理,Flume 在大数据业务中有着重要的应用。 实验目的 掌握 Flume 的配置和使用,能够使用 Flume 实现数据采集操作。