Flume 配置文件 (flume-site.conf)
?
1、 watchdog
watchdog.restarts.max |
watchdog每分鐘重啟的最大數??? |
???
???
2、 common node
flume.config.heartbeat.period |
node發送心跳周期,默認5000(毫秒) |
flume.node.status.port |
node web端口 |
flume.node.heartbeat.backoff.ceiling |
node向master發送心跳之后等待反饋的最大時長,默認60000(毫秒) |
flume.node.http.autofindport |
如果已有node啟動,允許第二個node自動選擇一個未使用的端口做web服務。多個node的界面端口從35862、35863向后延續 |
???
???
3、agent
flume.agent.logdir |
agent日志路徑 |
flume.agent.logdir.maxage |
當前處于打開狀態agent日志文件收集信息的時長,在這之后該日志文件將會被關閉,并將數據發送到網絡,默認10000(毫秒) |
flume.agent.logdir.retransmit |
在end-to-end模式下agent向collector發送數據失敗后再次發送的間隔時長,默認60000(毫秒),建議至少是flume.collector.roll.millis的兩倍 |
flume.agent.failover.backoff.initial |
當primary sink(可以認為是第一collector)故障后,重啟primary sink的一個延遲時間,在此期間,agent將把數據發送到secondary sink(可能是第二collector) |
flume.agent.failover.backoff.max |
在一定時限內嘗試鏈接故障節點失敗后,agent將把數據轉發向備用節點 |
???
???
4、collector
flume.collector.event.host |
默認collector地址 |
flume.collector.port |
默認collector端口 |
flume.collector.dfs.dir |
最終數據發向目錄(默認),可以是本地,可以是hdfs,默認是/tmp |
flume.collector.dfs.compress.codec |
壓縮格式GzipCodec, DefaultCodec (deflate), BZip2Codec,默認是None |
flume.collector.roll.millis |
hdfs文件切換(關閉后新建)的時長 |
flume.collector.output.format |
collector發送數據格式avro, avrojson(默認), avrodata… |
???
???
5、master
flume.master.servers |
用逗號分隔多個master地址列表 |
flume.master.store |
master配置存儲方式(zookeeper/memory) zookeeper保證master的配置在多master節點之間同步,memory則保存在內存中,其配置隨著master宕機而丟失 |
flume.master.serverid |
master的唯一標識 |
flume.master.http.port |
http端口 |
flume.master.heartbeat.missed.max |
判斷節點失效的最大未達心跳數 |
flume.master.savefile |
當前flume配置文件的路徑,默認conf/current.flume |
flume.master.savefile.autoload |
啟動時是否加載current.flume,默認false |
flume.master.gossip.period |
master通信周期(毫秒) |
flume.master.heartbeat.rpc |
THRIFT/AVRO |
flume.event.rpc |
THRIFT/AVRO |
flume.report.server.rpc.type |
THRIFT/AVRO |
???
???
6、zookeeper
flume.master.zk.logdir |
zookeeper日志路徑 |
???
???
7、thrift
flume.thrift.socket.timeout.ms |
thrift網絡連接超時時間(毫秒) |
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
