日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

flume 參考文檔 (四)

系統 1869 0

Flume Sinks

? ???

?

1、Flume’s Collector Tier Event Sinks

collectorSink( "fsdir","fsfileprefix",rollmillis)

collectorSink,數據通過collector匯聚之后發送到hdfs, fsdir 是hdfs目錄,fsfileprefix為文件前綴碼

????

2、Flume’s Agent Tier Event Sinks

agentSink[("machine"[,port])]

Defaults to agentE2ESink,如果省略,machine參數,默認使用flume.collector.event.host與flume.collector.event.port作為默認collecotr(以下同此)

agentE2ESink[("machine"[,port])]

執著的agent,如果agent發送event沒有收到collector成功寫入的狀態碼,該event將被agent重復發送,直到接到成功寫入的狀態碼

agentDFOSink[("machine" [,port])]

本地熱備agent,agent發現collector節點故障后,不斷檢查collector的存活狀態以便重新發送event,在此間產生的數據將緩存到本地磁盤中

agentBESink[("machine"[,port])]

不負責的agent,如果collector故障,將不做任何處理,它發送的數據也將被直接丟棄

agentE2EChain("m1[:_p1_]" [,"m2[:_p2_]"[,…]])

指定多個collector提高可用性。 當向主collector發送event失效后,轉向第二個collector發送,當所有的collector失敗后,它會非常執著的再來一遍...

agentDFOChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]])

同上,當向所有的collector發送事件失效后,他會將event緩存到本地磁盤,并檢查collector狀態,嘗試重新發送

agentBEChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]])

同上,當向所有的collector發送事件失效后,他會將event丟棄

autoE2EChain

無需指定collector, 由master協調管理event的流向

autoDFOChain

同上

autoBEChain

同上

???

3、Flume’s Logical Sinks

logicalSink(" logicalnode ")

?

???

4、Flume’s Basic Sinks

在不使用collector收集event的情況下,可將source直接發向basic sinks

null

null

console[("formatter")]

轉發到控制臺

text("txtfile" [,"formatter"])

轉發到文本文件

seqfile("filename")

轉發到seqfile

dfs("hdfspath")

轉發到hdfs

customdfs("hdfspath"[, "format"])

自定義格式dfs

+escapedCustomDfs("hdfspath", "file", "format")

?

rpcSink("host"[, port])

Rpc框架

syslogTcp("host"[,port])

發向網絡地址

irc("host",port, "nick", "chan")

?

flume 參考文檔 (四)


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 兴安盟| 绩溪县| 岱山县| 伊宁县| 鲁山县| 德清县| 沈阳市| 淄博市| 镇赉县| 房山区| 菏泽市| 濮阳县| 沙坪坝区| 焦作市| 巢湖市| 和田市| 鹿泉市| 宾川县| 龙门县| 海安县| 霍州市| 太康县| 芮城县| 西青区| 汉阴县| 天柱县| 饶平县| 正蓝旗| 平昌县| 和政县| 汾阳市| 台中市| 上饶县| 丰镇市| 临夏县| 特克斯县| 乌鲁木齐县| 郯城县| 元江| 巢湖市| 阳东县|