北京弱電系統(tǒng)工程運(yùn)維人員需要掌握的必備技能有哪些？凱源恒瑞北京監(jiān)控安裝工程公司最了解！

發(fā)布日期：2022-12-28 / 點(diǎn)擊次數(shù)：595

北京弱電系統(tǒng)工程運(yùn)維人員需要掌握的必備技能有哪些？凱源恒瑞北京監(jiān)控安裝工程公司最了解！

運(yùn)維是一個(gè)融合多學(xué)科(網(wǎng)絡(luò)、系統(tǒng)、開發(fā)、安全、應(yīng)用架構(gòu)、存儲(chǔ)等)的綜合性技術(shù)崗位。

從最初的網(wǎng)絡(luò)管理（網(wǎng)管）發(fā)展到現(xiàn)在的系統(tǒng)運(yùn)維工程師、網(wǎng)絡(luò)運(yùn)維工程師、安全運(yùn)維工程師、運(yùn)維開發(fā)工程師等，可以看出，運(yùn)維的分工一直在細(xì)化，并且對(duì)綜合技能要求越來(lái)越高。

未來(lái)運(yùn)維的發(fā)展趨勢(shì)是高、精、尖。高表示高度，精表示精通，尖表示尖端，也就是運(yùn)維職場(chǎng)一定要站在一定的技術(shù)高度，在多個(gè)技術(shù)領(lǐng)域中，要精通某項(xiàng)技能，同時(shí)對(duì)尖端前沿技術(shù)一定要能掌控趨勢(shì)。

根據(jù)不同的運(yùn)維領(lǐng)域和技術(shù)面以及分工流程三個(gè)方面來(lái)了解下2019年運(yùn)維職位的發(fā)展趨勢(shì)。

1.按領(lǐng)域來(lái)劃分

1）基礎(chǔ)設(shè)施運(yùn)維：IDC/網(wǎng)絡(luò)運(yùn)維、服務(wù)器/存儲(chǔ)設(shè)備運(yùn)維
2）系統(tǒng)運(yùn)維：系統(tǒng)中間件運(yùn)維、云計(jì)算平臺(tái)運(yùn)維
3）數(shù)據(jù)運(yùn)維：數(shù)據(jù)庫(kù)運(yùn)維、大數(shù)據(jù)技術(shù)平臺(tái)運(yùn)維
4）應(yīng)用運(yùn)維：應(yīng)用軟件系統(tǒng)
5）云平臺(tái)運(yùn)維：公有云平臺(tái)運(yùn)維
6）容器運(yùn)維：基于容器服務(wù)的運(yùn)維

2.按技術(shù)切面來(lái)分

1）安全運(yùn)維
2）性能運(yùn)維
3）數(shù)據(jù)運(yùn)維
4）集成運(yùn)維

3.按流程來(lái)劃分

1）構(gòu)建/持續(xù)集成、發(fā)布
2）安裝部署、升級(jí)、遷移、合并、擴(kuò)展
3）配置、初始化、配置變更
4）備份、傳輸、恢復(fù)
5）日志、監(jiān)控、預(yù)警
6）診斷排查、優(yōu)化

系統(tǒng)運(yùn)維是運(yùn)維的基礎(chǔ)，新的一年中，對(duì)基礎(chǔ)運(yùn)維技能要求也在提高，打好系統(tǒng)運(yùn)維基礎(chǔ)，才能深入學(xué)習(xí)后面的各種運(yùn)維技能。

下圖列出了系統(tǒng)運(yùn)維要掌握的必備技能：

時(shí)至今日，容器技術(shù)在國(guó)內(nèi)大多數(shù)企業(yè)中落地已成為一種共識(shí)，而國(guó)內(nèi)的生態(tài)系統(tǒng)，也呈現(xiàn)出了企業(yè)產(chǎn)品、開源社區(qū)和公有云齊頭并進(jìn)的良好局面。

因此，2019年也是容器繼續(xù)快速落地的一年，下圖列出了大數(shù)據(jù)運(yùn)維要掌握的各種必備技能。

對(duì)數(shù)據(jù)的維護(hù)和管理至關(guān)重要，特別是日志數(shù)據(jù)，對(duì)運(yùn)維來(lái)說(shuō)，通過(guò)日志可以比較準(zhǔn)確全面地知道系統(tǒng)或是設(shè)備的運(yùn)行情況，可以返查問(wèn)題產(chǎn)生的原因，還原問(wèn)題發(fā)生的整個(gè)過(guò)程。

通過(guò)日志也可以提前預(yù)測(cè)系統(tǒng)可能要發(fā)生的問(wèn)題或是故障，如系統(tǒng)安全日志，如果網(wǎng)絡(luò)攻 擊會(huì)在系統(tǒng)安全日志中有一定的體現(xiàn)。

這么多的日志，運(yùn)維要通過(guò)各種手段完成日志的收集、過(guò)濾分析、可視化展示，那么如何實(shí)現(xiàn)這些功能呢？

方法很多，例如ELK集成套件（Elasticsearch , Logstash, Kibana）就可以輕松實(shí)現(xiàn)日志數(shù)據(jù)的實(shí)時(shí)收集、分析傳輸以及圖形化展示。

那么要如何使用ELK呢，根據(jù)日志量的不同，對(duì)應(yīng)的ELK架構(gòu)也不盡相同，看下面幾個(gè)常見(jiàn)架構(gòu)：

此架構(gòu)主要是將Logstash部署在各個(gè)節(jié)點(diǎn)上搜集相關(guān)日志、數(shù)據(jù)，并經(jīng)過(guò)分析、過(guò)濾后發(fā)送給遠(yuǎn)端服務(wù)器上的Elasticsearch進(jìn)行存儲(chǔ)。

Elasticsearch再將數(shù)據(jù)以分片的形式壓縮存儲(chǔ)，并提供多種API供用戶查詢、操作。用戶可以通過(guò)Kibana Web直觀的對(duì)日志進(jìn)行查詢，并根據(jù)需求生成數(shù)據(jù)報(bào)表。

此架構(gòu)的優(yōu)點(diǎn)是搭建簡(jiǎn)單，易于上手。缺點(diǎn)是Logstash消耗系統(tǒng)資源比較大，運(yùn)行時(shí)占用CPU和內(nèi)存資源較高。

另外，由于沒(méi)有消息隊(duì)列緩存，可能存在數(shù)據(jù)丟失的風(fēng)險(xiǎn)。此架構(gòu)建議供初學(xué)者或數(shù)據(jù)量小的環(huán)境使用。

由此衍生出來(lái)了第二種架構(gòu)：

此架構(gòu)主要特點(diǎn)是引入了消息隊(duì)列機(jī)制，位于各個(gè)節(jié)點(diǎn)上的Logstash Agent（一級(jí)Logstash，主要用來(lái)傳輸數(shù)據(jù)）先將數(shù)據(jù)傳遞給消息隊(duì)列（常見(jiàn)的有Kafka、Redis等）。

接著，Logstash server（二級(jí)Logstash，主要用來(lái)拉取消息隊(duì)列數(shù)據(jù)，過(guò)濾并分析數(shù)據(jù)）將格式化的數(shù)據(jù)傳遞給Elasticsearch進(jìn)行存儲(chǔ)。

最后，由Kibana將日志和數(shù)據(jù)呈現(xiàn)給用戶。由于引入了Kafka（或者Redis）緩存機(jī)制，即使遠(yuǎn)端Logstash server因故障停止運(yùn)行，數(shù)據(jù)也不會(huì)丟失，因?yàn)閿?shù)據(jù)已經(jīng)被存儲(chǔ)下來(lái)了。

這種架構(gòu)適合于較大集群、數(shù)據(jù)量一般的應(yīng)用環(huán)境，但由于二級(jí)Logstash要分析處理大量數(shù)據(jù)，同時(shí)Elasticsearch也要存儲(chǔ)和索引大量數(shù)據(jù)，因此它們的負(fù)荷會(huì)比較重，解決的方法是將它們配置為集群模式，以分擔(dān)負(fù)載。

此架構(gòu)的優(yōu)點(diǎn)在于引入了消息隊(duì)列機(jī)制，均衡了網(wǎng)絡(luò)傳輸，從而降低了網(wǎng)絡(luò)閉塞尤其是丟失數(shù)據(jù)的可能性，但依然存在Logstash占用系統(tǒng)資源過(guò)多的問(wèn)題，在海量數(shù)據(jù)應(yīng)用場(chǎng)景下，可能會(huì)出現(xiàn)性能瓶頸。

最后，還有第三種架構(gòu)：

這個(gè)架構(gòu)是在上面第二個(gè)架構(gòu)基礎(chǔ)上改進(jìn)而來(lái)的，主要是將前端收集數(shù)據(jù)的Logstash Agent換成了filebeat，消息隊(duì)列使用了kafka集群，然后將Logstash和Elasticsearch都通過(guò)集群模式進(jìn)行構(gòu)建。

此架構(gòu)適合大型集群、海量數(shù)據(jù)的業(yè)務(wù)場(chǎng)景，它通過(guò)將前端Logstash Agent替換成filebeat，有效降低了收集日志對(duì)業(yè)務(wù)系統(tǒng)資源的消耗。

同時(shí)，消息隊(duì)列使用kafka集群架構(gòu)，有效保障了收集數(shù)據(jù)的安全性和穩(wěn)定性，而后端Logstash和Elasticsearch均采用集群模式搭建，從整體上提高了ELK系統(tǒng)的高效性、擴(kuò)展性和吞吐量。

大數(shù)據(jù)分析最早就來(lái)源于運(yùn)維人的日志分析，到逐漸發(fā)展對(duì)各種業(yè)務(wù)的分析，人們發(fā)現(xiàn)這些數(shù)據(jù)蘊(yùn)涵著非常大的價(jià)值。

那么如何用大數(shù)據(jù)思維做運(yùn)維呢，大數(shù)據(jù)架構(gòu)上的一個(gè)思維就是：提供一個(gè)平臺(tái)讓運(yùn)維方便解決這些問(wèn)題， 而不是，讓大數(shù)據(jù)平臺(tái)去解決出現(xiàn)的問(wèn)題。

基本的一個(gè)大數(shù)據(jù)運(yùn)維架構(gòu)是這樣的：

對(duì)于運(yùn)維的監(jiān)控，利用大數(shù)據(jù)思維，需要分三步走：

獲取需要的數(shù)據(jù)
過(guò)濾出異常數(shù)據(jù)并設(shè)置告警閥值
通過(guò)第三方監(jiān)控平臺(tái)進(jìn)行告警

所有系統(tǒng)最可靠的就是日志輸出，系統(tǒng)是不是正常，發(fā)生了什么情況，我們以前是出了問(wèn)題去查日志，或者自己寫個(gè)腳本定時(shí)去分析。現(xiàn)在這些事情都可以整合到一個(gè)已有的平臺(tái)上，我們唯一要做的就是定義分析日志的的邏輯。