Splunk主要元件介紹,主要元件有下列四項:
Indexes對應的就是splunk的event資料indexers就是Splunk Enterprise的index資料實例;indexer clusters就是一群index資料實例,會複製好幾份資料防止資料遺失,增進資料可用性。一般splunk Index你的資料以後會產生兩種檔案類別,一種是原始資料raw data,一種是 index files即為tsidx(time-series index file) files,這些資料會依時間儲存在各自稱為buckets的位置中。Indexers有兩個主要功能,Indexing 進入的資料及搜索indexed data,所以在小量建置中indexer會執行其他Splunk Enterprise的動作,大量建置的話結構如下圖。 Forwarders客製化資料,indexers索引及查詢資料,search heads在indexers中整合查詢。
而Search head在協調跨index的搜索,具備快速自定的各種型態搜尋,而不是只有固定幾種的欄位,不需要指定資料的格式(format),更可結合時間與關鍵字進行搜尋,呈獻出清楚的搜尋結果。
單一Splunk Enterprise實例可以同時作為Search head和搜索同儕(search peer)等。Search head只執行搜索,而不做任何索引。
下面以圖示清楚說明,感謝網友分享
- Indexer
- Search head
- Forwarder
- Deployment server
・Indexer(Indexes, indexers, and indexer clusters)
Index是Splunk Enterprise的數據倉庫,將數據變換輸入為事件(event)儲存其中。它提供本地及遠端資料的索引功能,並收集來自各種不同的應用系統和網路設備資料,在資料收集的過程中即對資料做出幾個主要動作,如:定義欄位host、source和sourcetype;創造時間標記timestamp等,而這步驟也稱作event processing。Indexes對應的就是splunk的event資料indexers就是Splunk Enterprise的index資料實例;indexer clusters就是一群index資料實例,會複製好幾份資料防止資料遺失,增進資料可用性。一般splunk Index你的資料以後會產生兩種檔案類別,一種是原始資料raw data,一種是 index files即為tsidx(time-series index file) files,這些資料會依時間儲存在各自稱為buckets的位置中。Indexers有兩個主要功能,Indexing 進入的資料及搜索indexed data,所以在小量建置中indexer會執行其他Splunk Enterprise的動作,大量建置的話結構如下圖。 Forwarders客製化資料,indexers索引及查詢資料,search heads在indexers中整合查詢。
・Search head
在分散式搜索環境中,一個用來管理搜索的Splunk Enterprise實例,指揮搜索同儕(search peer)的搜索請求,然後合併結果返回給用戶。這裡解釋何謂search peer,根據splunk文件解釋,他是一種在分散式搜索中的indexer,index資料並執行search head給的指令。而Search head在協調跨index的搜索,具備快速自定的各種型態搜尋,而不是只有固定幾種的欄位,不需要指定資料的格式(format),更可結合時間與關鍵字進行搜尋,呈獻出清楚的搜尋結果。
單一Splunk Enterprise實例可以同時作為Search head和搜索同儕(search peer)等。Search head只執行搜索,而不做任何索引。
・Forwarder
官方解釋 Forwarder is a smaller footprint version of Splunk Enterprise,footprint在splunk裡指的是機台資源紀錄,如記憶體/CPU的使用紀錄。可以接收多個forwarder的資料的稱作receiver(接收者),接收者通常是Splunk Enterprise的indexer但也可以是另外一個 forwarder做接收者,forwarder有三大類(universal / heavy / light forwarder),介紹可參考官網。轉發的資料型態有三種,各種型態的forwarder轉發出的資料(Raw / Unparsed / Parsed )也有所不同。可使用Splunk software package進行安裝,但不會在本地端儲存索引資料,所有的索引資料皆傳遞至遠端的Indexer Server。為了降低導入成本,Splunk Web不使用此元件。・Deployment server
經由已啓用的推送機制設定,將設定檔資訊發佈至正在運作中的Splunk server。Indexers和Forwarders皆可作為Deployment server下面以圖示清楚說明,感謝網友分享
沒有留言:
張貼留言