Eagle是eBay開(kāi)源的一個(gè)分布式實(shí)時(shí)安全監(jiān)控方案。通過(guò)離線訓(xùn)練模型集合實(shí)時(shí)流引擎監(jiān)控，能立即監(jiān)測(cè)出對(duì)敏感數(shù)據(jù)的訪問(wèn)或惡意的操作，并立即采取應(yīng)對(duì)的措施。下圖是Eagle的架構(gòu)。

Eagle的數(shù)據(jù)行為監(jiān)控方案可用于如下幾類(lèi)典型場(chǎng)景：

1. 監(jiān)控Hadoop中的數(shù)據(jù)訪問(wèn)流量
2. 檢測(cè)非法入侵和違反安全規(guī)則的行為
3. 檢測(cè)并防止敏感數(shù)據(jù)丟失和訪問(wèn)
4. 實(shí)現(xiàn)基于策略的實(shí)時(shí)檢測(cè)和預(yù)警
5. 實(shí)現(xiàn)基于用戶行為模式的異常數(shù)據(jù)行為檢測(cè)
   

Eagle特點(diǎn)

• 高實(shí)時(shí)：我們充分理解安全監(jiān)控中高度實(shí)時(shí)和快速反應(yīng)的重要性，因此設(shè)計(jì)Eagle之初，我們竭盡可能地確保能在亞秒級(jí)別時(shí)間內(nèi)產(chǎn)生告警，一旦綜合多種因素確訂為危險(xiǎn)操作，立即采取措施阻止非法行為。
• 可伸縮：在eBay Eagle 被部署在多個(gè)大型Hadoop集群上，這些集群擁有數(shù)百PB的數(shù)據(jù)，每天有8億以上的數(shù)據(jù)訪問(wèn)時(shí)間，因此Eagle必須具有處理海量實(shí)時(shí)數(shù)據(jù)的高度可伸縮能力。
• 簡(jiǎn)單易用：可用性也是Eagle產(chǎn)品的核心設(shè)計(jì)原則之一。通過(guò)Eagle的Sandbox，使用者僅需數(shù)分鐘便可以設(shè)置好環(huán)境并開(kāi)始嘗試。為了使得用戶體驗(yàn)盡可能簡(jiǎn)單，我們內(nèi)置了許多很好的例子，只需簡(jiǎn)單地點(diǎn)擊幾步鼠標(biāo)，便可以輕松地完成策略地創(chuàng)建和添加。
• 用戶Profile：Eagle 內(nèi)置提供基于機(jī)器學(xué)習(xí)算法對(duì)Hadoop中用戶行為習(xí)慣建立用戶Profile的功能。我們提供多種默認(rèn)的機(jī)器學(xué)習(xí)算法供你選擇用于針對(duì)不同HDFS特征集進(jìn)行建模，通過(guò)歷史行為模型，Eagle可以實(shí)時(shí)地檢測(cè)異常用戶行為并產(chǎn)生預(yù)警。
  

Eagle框架

Eagle核心框架提供實(shí)時(shí)監(jiān)控系統(tǒng)開(kāi)發(fā)過(guò)程中所需要的大部分重要基礎(chǔ)組件，例如：

輕量級(jí)分布式流處理框架：以DAG為基礎(chǔ)模型對(duì)通用流處理范式進(jìn)行抽象，在開(kāi)發(fā)期用戶只需基于DSL API定義監(jiān)控程序的流式處理邏輯，運(yùn)行期再選擇實(shí)際物理執(zhí)行環(huán)境，默認(rèn)支持單進(jìn)程和Storm，同時(shí)也支持對(duì)于其他執(zhí)行環(huán)境的擴(kuò)展，比如Spark Streaming 或者 Flink等。

實(shí)時(shí)流聚合引擎：提供簡(jiǎn)單易用的實(shí)時(shí)流聚合規(guī)則定義語(yǔ)法，元數(shù)據(jù)驅(qū)動(dòng)，動(dòng)態(tài)部署，實(shí)現(xiàn)線性擴(kuò)展的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)流聚合。

分布式Policy引擎：分布式實(shí)時(shí)預(yù)警規(guī)則執(zhí)行引擎，提供類(lèi)SQL的描述性規(guī)則定義語(yǔ)法以及機(jī)器學(xué)習(xí)自動(dòng)等多種擴(kuò)展，支持預(yù)警規(guī)則的動(dòng)態(tài)加載和分區(qū)。

存儲(chǔ)和查詢框架：通用監(jiān)控?cái)?shù)據(jù)存儲(chǔ)框架，可用于存儲(chǔ)和查詢?nèi)罩?，指?biāo)，警報(bào)，事件等多種類(lèi)型數(shù)據(jù)，默認(rèn)支持HBase，并針對(duì)HBase進(jìn)行多種優(yōu)化和擴(kuò)展，比如coprocesser，二級(jí)索引以及分區(qū)等，也支持其他存儲(chǔ)類(lèi)型的擴(kuò)展比如RDBMS等，并提供通用的ORM, REST API以及易用強(qiáng)大的類(lèi)SQL查詢語(yǔ)法。

可定制化監(jiān)控報(bào)表：提供類(lèi)Notebook的交互式實(shí)時(shí)可視化分析，也支持進(jìn)一步選取部分圖標(biāo)，并定義布局保存為dashboard以供分享或者持續(xù)監(jiān)控。

Eagle 針對(duì)不同的應(yīng)用場(chǎng)景提供多種上層應(yīng)用，例如

Eagle JPA: 實(shí)時(shí)監(jiān)控Hadoop 或者 Spark等平臺(tái)上的作業(yè)當(dāng)前和歷史執(zhí)行狀態(tài)，提供多維度不同粒度的性能分析，支持多種異常預(yù)警和性能警告，比如作業(yè)運(yùn)行時(shí)間過(guò)長(zhǎng)，讀寫(xiě)過(guò)慢，數(shù)據(jù)傾斜，失敗任務(wù)比率過(guò)多等，可有效在作業(yè)無(wú)法滿足SLA之前提供預(yù)警和性能建議，同時(shí)結(jié)合機(jī)器學(xué)習(xí)模型，基于任務(wù)分布或指標(biāo)變化等協(xié)同預(yù)測(cè)任務(wù)或者服務(wù)器節(jié)點(diǎn)等可能潛在的異常，并集成Remediation系統(tǒng)對(duì)系統(tǒng)進(jìn)行自動(dòng)修復(fù)。

Eagle DAM：實(shí)時(shí)監(jiān)控用戶行為，以保證數(shù)據(jù)安全,支持HDFS, HIVE等不同數(shù)據(jù)類(lèi)型，提供簡(jiǎn)單高效的數(shù)據(jù)流接入Plugin，支持簡(jiǎn)單規(guī)則定義語(yǔ)法，結(jié)合機(jī)器學(xué)習(xí)算法對(duì)用戶行為建模（User Profiling），自動(dòng)探測(cè)異常用戶行為，可集成Dataguides等對(duì)敏感數(shù)據(jù)進(jìn)行監(jiān)控，也可集成Apache Ranger等對(duì)異常用戶行為進(jìn)行限制。

此外，Eagle 支持以AmbariPlugin等方式方便地安裝和集成到現(xiàn)有集群中，并提供友好的用戶界面進(jìn)行管理。