應(yīng)用安全日志分析系統(tǒng)
應(yīng)用安全日志分析系統(tǒng)是一種用于分析和監(jiān)控應(yīng)用安全日志的工具。它可以幫助企業(yè)收集、整合、分析和可視化應(yīng)用系統(tǒng)的安全日志數(shù)據(jù)，以便及時(shí)發(fā)現(xiàn)和解決潛在的安全威脅。
隨著網(wǎng)絡(luò)安全法的正式實(shí)施，舉國(guó)上下對(duì)網(wǎng)絡(luò)安全越來(lái)越重視，已經(jīng)上升到了國(guó)家戰(zhàn)略層面。網(wǎng)絡(luò)攻擊的動(dòng)機(jī)由以前的炫耀技術(shù)轉(zhuǎn)變?yōu)楝F(xiàn)在追逐經(jīng)濟(jì)利益和為了政治目的，各類網(wǎng)絡(luò)攻擊越來(lái)越多，攻擊手段高度自動(dòng)化，且越來(lái)越隱蔽。根據(jù)歷年信息安全等級(jí)保護(hù)測(cè)評(píng)的結(jié)果來(lái)看，應(yīng)用系統(tǒng)一直是信息安全體系中最薄弱的一環(huán)，信息安全事件時(shí)有發(fā)生。由于網(wǎng)絡(luò)攻擊行為的隱蔽性，需要收集安全方面的各類數(shù)據(jù)并進(jìn)行深入分析才能發(fā)現(xiàn)或識(shí)別各類入侵和數(shù)據(jù)竊取行為，從而提高發(fā)現(xiàn)入侵行為的能力，及時(shí)采取應(yīng)對(duì)措施。
為了增強(qiáng)應(yīng)用系統(tǒng)安全狀況的感知能力，迫切需要建立大數(shù)據(jù)安全分析平臺(tái)，通過(guò)收集應(yīng)用系統(tǒng)日志、中間件日志、應(yīng)用服務(wù)器日志和網(wǎng)絡(luò)流量等數(shù)據(jù)，對(duì)應(yīng)用后門(mén)、網(wǎng)頁(yè)掛馬、數(shù)據(jù)泄露、安全設(shè)備繞過(guò)等安全場(chǎng)景建立安全模型，利用大數(shù)據(jù)分析手段進(jìn)行深度分析，發(fā)現(xiàn)潛在的安全隱患。
本項(xiàng)目主要涉及以下幾方面數(shù)據(jù)：
（一）網(wǎng)絡(luò)和安全設(shè)備日志。
（二）應(yīng)用系統(tǒng)審計(jì)日志,如應(yīng)用系統(tǒng)操作審計(jì)等。
（三）中間件和應(yīng)用服務(wù)器日志，如WebLogic、Tomcat、郵件、FTP等的訪問(wèn)日志。
（四）主機(jī)安全日志，如Windows、Linux等。
（五） 解析后的網(wǎng)絡(luò)流量等。
建立大數(shù)據(jù)安全分析平臺(tái)，完成對(duì)內(nèi)外網(wǎng)各類安全日志收集、打標(biāo)簽和分類等工作，除了基本功能外，還要實(shí)現(xiàn)三個(gè)定制化的安全場(chǎng)景分析。
根據(jù)安全分析需要，將相關(guān)的日志收集入庫(kù)，符合《網(wǎng)絡(luò)安全法》、《網(wǎng)絡(luò)安全等級(jí)保護(hù)條例》等法律法規(guī)的要求。
提供基本的日志查詢和統(tǒng)計(jì)分析功能，符合等保三級(jí)應(yīng)用系統(tǒng)審計(jì)日志要求。
提供常見(jiàn)的安全分析功能，如認(rèn)證、網(wǎng)絡(luò)、應(yīng)用、終端等的威脅分析，Web訪問(wèn)、主機(jī)OS、VPN、病毒、網(wǎng)絡(luò)掃描、Web掃描等的關(guān)聯(lián)分析。
能與外部威脅情報(bào)集成，關(guān)聯(lián)分析規(guī)則庫(kù)用戶可以定制。
提供如下三個(gè)安全場(chǎng)景的定制化大數(shù)據(jù)分析：
1. 通過(guò)應(yīng)用系統(tǒng)進(jìn)行的數(shù)據(jù)竊取行為分析
2. 安全設(shè)備繞過(guò)分析
應(yīng)用系統(tǒng)后門(mén)和掛馬分析
數(shù)據(jù)采集支持主動(dòng)采集、被動(dòng)收集，需要支持的數(shù)據(jù)采集方式如下：
主動(dòng)采集：支持采集節(jié)點(diǎn)通過(guò)Ftp/Sftp、webservice、SNMP、file、JDBC/ODBC等協(xié)議主動(dòng)采集數(shù)據(jù)；
支持多采集節(jié)點(diǎn)存活、健康狀態(tài)監(jiān)控，發(fā)現(xiàn)節(jié)點(diǎn)異常后，及時(shí)告警；
支持對(duì)采集節(jié)點(diǎn)性能監(jiān)控，保證采集性能與數(shù)據(jù)量匹配，防止數(shù)據(jù)丟失。
數(shù)據(jù)處理（ETL）對(duì)采集到的數(shù)據(jù)實(shí)施清洗/過(guò)濾、標(biāo)準(zhǔn)化、關(guān)聯(lián)補(bǔ)齊、添加標(biāo)簽等處理，并將標(biāo)準(zhǔn)數(shù)據(jù)加載到數(shù)據(jù)存儲(chǔ)中，對(duì)于被標(biāo)準(zhǔn)化的數(shù)據(jù)應(yīng)保存原始日志。
至少能收集和解析如下類型的日志數(shù)據(jù)：
主機(jī)：Windows、Linux、AIX等主機(jī)的各類安全審計(jì)日志等
a) 中間件：WebLogic、Tomcat，DNS,FTP,郵件等訪問(wèn)日志
b) 應(yīng)用系統(tǒng)：用戶操作審計(jì)日志等
c) 網(wǎng)絡(luò)設(shè)備：安全審計(jì)日志
d) 安全設(shè)備：安全審計(jì)日志、WAF的入侵檢測(cè)日志等
e) 網(wǎng)絡(luò)流量：全流量解析設(shè)備解析后的流量日志。
日志的時(shí)間戳字段是事件發(fā)生時(shí)間，沒(méi)有時(shí)間戳的日志自動(dòng)加上時(shí)間戳。
采集后自動(dòng)對(duì)日志進(jìn)行解析并打上必要的標(biāo)簽，可以根據(jù)標(biāo)簽和時(shí)間戳檢索。
按照一定的形式和要求將采集的日志進(jìn)行分類標(biāo)準(zhǔn)化以便于集中存儲(chǔ)管理和用戶權(quán)限訪問(wèn)控制，比如：
系統(tǒng)資源登錄操作日志：主機(jī)操作日志、數(shù)據(jù)庫(kù)操作日志、網(wǎng)絡(luò)設(shè)備操作日志、安全設(shè)備操作日志以及防繞行設(shè)備日志。
安全類數(shù)據(jù)是安全威脅分析與預(yù)警采集的主要數(shù)據(jù)，包含了各類網(wǎng)絡(luò)設(shè)備、安全設(shè)備的日志。
系統(tǒng)各類登錄、操作日志。
威脅情報(bào)。
數(shù)據(jù)的清洗過(guò)濾包括三個(gè)方面：
清洗：針對(duì)數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯(cuò)誤、數(shù)據(jù)不完整等問(wèn)題，支持對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換和加工。常用的數(shù)據(jù)轉(zhuǎn)換組件有字段映射、數(shù)據(jù)過(guò)濾、數(shù)據(jù)清洗、數(shù)據(jù)替換、數(shù)據(jù)計(jì)算、數(shù)據(jù)驗(yàn)證、數(shù)據(jù)加解密、數(shù)據(jù)合并、數(shù)據(jù)拆分等；
修改：錯(cuò)誤數(shù)據(jù)，產(chǎn)生原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒(méi)有進(jìn)行判斷直接寫(xiě)入后臺(tái)數(shù)據(jù)庫(kù)造成的，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車、日期格式不正確、日期越界等；
刪除：重復(fù)性數(shù)據(jù)。
數(shù)據(jù)匯聚存儲(chǔ)用于對(duì)采集上來(lái)的不同類型的數(shù)據(jù)進(jìn)行分類存儲(chǔ)，以滿足數(shù)據(jù)分析的要求。支持多種數(shù)據(jù)格式的存儲(chǔ)，提供多種存儲(chǔ)方式。數(shù)據(jù)存儲(chǔ)中支持的數(shù)據(jù)類型、存儲(chǔ)方式、存儲(chǔ)要求、存儲(chǔ)周期等。
提供自定義正則表達(dá)式從全部安全事件中進(jìn)行搜索的功能。支持普通、高級(jí)兩種搜索模式，支持?jǐn)?shù)據(jù)主題的選擇、搜索條件的保存，支持快捷選擇時(shí)間段。
檢索結(jié)果可以導(dǎo)出為Excel等文件格式。
報(bào)表基本使用功能包括：報(bào)表查看、新增、修改、刪除、導(dǎo)出、運(yùn)行、自定義時(shí)間段。
報(bào)表權(quán)限：報(bào)表可設(shè)置權(quán)限功能，權(quán)限屬性分為：查看、修改、刪除。根據(jù)用戶、用戶組維度對(duì)報(bào)表進(jìn)行賦權(quán)。
計(jì)劃任務(wù)：報(bào)表可按照任務(wù)計(jì)劃進(jìn)行設(shè)計(jì)。支持按時(shí)、天、周、月的方式進(jìn)行定時(shí)發(fā)送到管理員郵箱或歸檔。
報(bào)表展示可視化參數(shù)包括：圖表名稱、選擇圖表類型、圖表數(shù)據(jù)維度選擇。
圖表類型支持大數(shù)據(jù)方式，如：散點(diǎn)圖、折線圖、柱狀圖、地圖、餅圖、儀表盤(pán)、象形柱圖、日歷圖等。
收集應(yīng)用系統(tǒng)訪問(wèn)日志，利用技術(shù)手段進(jìn)行分析回答如下幾個(gè)問(wèn)題：
a) 是否有人在用自動(dòng)化工具爬數(shù)據(jù)？
b) 如果有的話，哪些人或組織在爬？系統(tǒng)內(nèi)部用戶還是外部人員？
c) 采用什么技術(shù)手段爬的？爬了多少數(shù)據(jù)？
d) 應(yīng)用系統(tǒng)是否存在導(dǎo)致數(shù)據(jù)被爬的漏洞？
用戶可以選擇分析的應(yīng)用系統(tǒng)和時(shí)間段。
通過(guò)對(duì)應(yīng)用日志等進(jìn)行分析，回答如下幾個(gè)問(wèn)題：
a) 應(yīng)用系統(tǒng)是否被軟件開(kāi)發(fā)公司預(yù)留了用于維護(hù)或者其它目的的后門(mén)？
b) 是否被黑客攻陷并植入后門(mén)或木馬？
c) 如果有把他們找出來(lái)，并提供相關(guān)證據(jù)。
用戶可以選擇分析的應(yīng)用系統(tǒng)和時(shí)間段。