中國移動擁有全球規(guī)模大、設(shè)備覆蓋度高的資源池及設(shè)備，涉及上游設(shè)備廠商多、設(shè)備種類豐富。雖然在設(shè)備采購及驗(yàn)收時(shí)都會定義嚴(yán)格的規(guī)范及要求，但在交付時(shí)仍有部分固件與要求不一致等問題出現(xiàn)，這對組件在兼容性及對接能力等方面帶來潛在隱患和風(fēng)險(xiǎn)。對于運(yùn)營商來說，如何在現(xiàn)網(wǎng)組件產(chǎn)品非自研情況下，即要做到廠商對運(yùn)營商需求的迭代敏捷響應(yīng)，又能達(dá)到交付質(zhì)量和效率保證的最佳平衡？經(jīng)過中國移動網(wǎng)絡(luò)云幾期的實(shí)踐探索，中國移動聯(lián)合中興通訊等廠商基于“測試左移”技術(shù)理念的CI-CT-CD前置驗(yàn)證敏捷流水線作為上述問題的創(chuàng)新解決方案，將中國移動自研自動化驗(yàn)證工具和敏捷流水線左移至廠商研發(fā)階段為其提供快速驗(yàn)證通道，讓運(yùn)營商的需求和廠商的研發(fā)充分驗(yàn)證滿足需求，驅(qū)動廠商產(chǎn)品版本迭代，可從廠商研發(fā)側(cè)有效消除交付問題隱患?；谶@種方案，即使在固件不自研的情況下也能幫助實(shí)現(xiàn)設(shè)備的敏捷研發(fā)與高質(zhì)量交付保障。

從一封感謝信談起
近日，中國移動研究院基礎(chǔ)設(shè)施自動化團(tuán)隊(duì)收到一封來自服務(wù)器供應(yīng)商技術(shù)團(tuán)隊(duì)的感謝信，信中提到：
近期，我司在新一代服務(wù)器的研發(fā)測試過程中，使用中國移動研究院自動化驗(yàn)證工具作為快速測試的手段，對服務(wù)器進(jìn)行迭代測試驗(yàn)證。雙方共同配合，開展了100+輪次的自動化測試驗(yàn)證，解決了約100個(gè)設(shè)備質(zhì)量和管理接口問題，使我司服務(wù)器的國產(chǎn)化固件日趨穩(wěn)定。
這封感謝信的起因要從半年前，中國移動與合作伙伴啟動的服務(wù)器研發(fā)前置驗(yàn)證項(xiàng)目說起。中國移動云網(wǎng)資源池已建設(shè)數(shù)期，在每期建設(shè)開始階段，各廠商亦如往期詢問中國移動什么時(shí)候開始做預(yù)集成驗(yàn)證以保證廠商在交付階段的產(chǎn)品測試驗(yàn)收達(dá)到更高的通過率。出于要對現(xiàn)網(wǎng)工期、保質(zhì)保量交付等多個(gè)要求的滿足，后來中國移動結(jié)合現(xiàn)網(wǎng)實(shí)際工作和廠商的研發(fā)實(shí)現(xiàn)機(jī)制，基于“測試左移”技術(shù)理念實(shí)現(xiàn)CI-CT-CD前置驗(yàn)證敏捷流水線來解決廠商研發(fā)和交付階段的高頻錯(cuò)誤率問題。這封信是其中一個(gè)廠商給中國移動該方案提供團(tuán)隊(duì)發(fā)來的感謝信，感謝中國移動相關(guān)團(tuán)隊(duì)提供自動化工具在研發(fā)階段經(jīng)過數(shù)百輪的測試，自動化發(fā)現(xiàn)問題、自動化分析、提出指導(dǎo)建議等等。下面我們結(jié)合測試左移來詳細(xì)介紹一下該方案。

什么是“測試左移”？
一款產(chǎn)品的快速規(guī)模化應(yīng)用往往取決于對用戶變動需求的快速滿足，即產(chǎn)品的上線速度。而產(chǎn)品的上線速度體現(xiàn)在產(chǎn)品研發(fā)階段就需要產(chǎn)品迭代周期短、頻次高，這也是敏捷研發(fā)或者敏捷交付在產(chǎn)品階段流行的主要原因，傳統(tǒng)的產(chǎn)品研發(fā)以“需求—設(shè)計(jì)—研發(fā)—測試—發(fā)布”為主要流程，即測試在產(chǎn)品研發(fā)后才開始，如果即要保證產(chǎn)品質(zhì)量又要敏捷交付就會給測試人員帶來很大的時(shí)間壓力。同時(shí)，產(chǎn)品測試階段發(fā)現(xiàn)問題的修復(fù)成本遠(yuǎn)高于研發(fā)階段的修復(fù)成本，如何盡快盡早地發(fā)現(xiàn)軟件產(chǎn)品中所存在的各種問題？這個(gè)難題“測試左移”可以給出答案。
 
測試左移旨在將測試從產(chǎn)品研發(fā)過程的末端轉(zhuǎn)移到產(chǎn)品研發(fā)的初始階段，讓測試與產(chǎn)品研發(fā)同步進(jìn)行，可以更快地發(fā)現(xiàn)產(chǎn)品中存在的問題，并及時(shí)修復(fù)，能夠縮短測試周期，提高研發(fā)質(zhì)量，減少測試成本。同時(shí)，測試左移需要持續(xù)頻繁地在整個(gè)產(chǎn)品研發(fā)過程中開展，實(shí)現(xiàn)持續(xù)地測試，持續(xù)地獲取快速反饋，真正實(shí)現(xiàn)缺陷的預(yù)防。

中國移動CI-CT-CD技術(shù)體系如何構(gòu)建測試左移能力？
以服務(wù)器為例，中國移動聯(lián)合中興通訊等廠商基于“測試左移”技術(shù)理念提出服務(wù)器固件CI-CT-CD前置驗(yàn)證敏捷流水線，形成以中國移動敏捷工作流為內(nèi)核驅(qū)動的“研發(fā)—驗(yàn)證—部署—監(jiān)控”的閉環(huán)反饋模型，真正實(shí)現(xiàn)了“中國移動-廠商”閉環(huán)協(xié)作創(chuàng)新體系，讓廠商研發(fā)參與到整個(gè)工作流中，徹底打通了研發(fā)與實(shí)際驗(yàn)收問題之間的壁壘，加快持續(xù)部署-持續(xù)測試迭代頻率，持續(xù)驅(qū)動組件成熟。
首先，在服務(wù)器固件（固件）研發(fā)階段，通過在廠商研發(fā)環(huán)境中引入輕量級自動化測試工具，進(jìn)行測試極限左移的前置驗(yàn)證，形成從“自動化工具研發(fā)適配—服務(wù)器固件研發(fā)驗(yàn)證—固件驗(yàn)證問題反饋—迭代開發(fā)驗(yàn)證”這種不斷的迭代研發(fā)和驗(yàn)證模型，可在固件研發(fā)階段及時(shí)發(fā)現(xiàn)問題并進(jìn)行整改驗(yàn)證，保證了固件版本開發(fā)的效率和質(zhì)量。
其次，在固件預(yù)驗(yàn)證階段，中國移動運(yùn)用數(shù)字孿生技術(shù)生成與硬件設(shè)備固件接口保持完整映射一致的虛擬設(shè)備數(shù)據(jù)，并通過自動化測試模塊對虛擬設(shè)備進(jìn)行全覆蓋測試和結(jié)果反饋。從而有效地降低測試成本，縮短測試周期，促進(jìn)組件的快速迭代驗(yàn)證。
最后，通過CI-CT-CD流水線不間斷的測試-驗(yàn)證-反饋機(jī)制，構(gòu)筑端到端全程流程自動化能力，實(shí)現(xiàn)全流程統(tǒng)一管理，確保組件質(zhì)量高可靠、過程可追溯，減少人為風(fēng)險(xiǎn)，為實(shí)現(xiàn)更好的硬件固件生態(tài)奠定堅(jiān)實(shí)的基礎(chǔ)。
 
"測試左移"前置驗(yàn)證流水線怎么驅(qū)動廠商和中國移動之間敏捷協(xié)作？
基于“測試左移”技術(shù)的服務(wù)器固件CI-CT-CD前置驗(yàn)證敏捷流水線，從廠商研發(fā)側(cè)進(jìn)行自動化測試驗(yàn)證，能夠提前發(fā)現(xiàn)管理接口與規(guī)范要求不一致或接口命令不支持等固件問題，從源頭消除接口、模型等參數(shù)與標(biāo)準(zhǔn)不符合的問題隱患，解決該類問題整改周期長，效率低的問題，提速優(yōu)化硬件在中國移動的適用性及生態(tài)兼容性。該工作流主要通過以下幾個(gè)技術(shù)特征實(shí)現(xiàn)快速、敏捷的協(xié)作驗(yàn)證能力：

服務(wù)器數(shù)字化孿生mock信息獲取
設(shè)備供應(yīng)商使用中國移動信息提取工具采集設(shè)備的基本信息，中國移動將其轉(zhuǎn)換為數(shù)字化孿生MOCK，并對該虛擬設(shè)備進(jìn)行驗(yàn)證。

用于敏捷驗(yàn)證的低代碼框架模板參數(shù)適配
低代碼敏捷驗(yàn)證測試框架可進(jìn)行服務(wù)器BMC配置、BIOS配置、模型配置、組件健康狀態(tài)、管理接口等方面的檢查。上述檢查內(nèi)容需要設(shè)備供應(yīng)商根據(jù)檢查模板文件提供服務(wù)器的對應(yīng)參數(shù)信息，中國移動根據(jù)提供的模板信息結(jié)合MOCK完成工具參數(shù)的自檢驗(yàn)證。

“測試左移”前置驗(yàn)證敏捷流水線
驗(yàn)證工具自檢完成后，可將自動化驗(yàn)證工具開放給設(shè)備供應(yīng)商，設(shè)備廠商使用工具在固件研發(fā)階段進(jìn)行前置測試驗(yàn)證，自動化驗(yàn)證工具采用多線程執(zhí)行并發(fā)測試，能夠在資源消耗低的情況下，達(dá)到較高的測試效率，工具執(zhí)行完每輪自動化檢查，可以生成和導(dǎo)出檢查報(bào)告。針對驗(yàn)證報(bào)告的失敗用例，廠商可及時(shí)進(jìn)行固件錯(cuò)誤修復(fù)再進(jìn)行二次驗(yàn)證，直到測試驗(yàn)證全部通過，并將測試通過結(jié)果反饋中國移動做最終確認(rèn)，真正實(shí)現(xiàn)測試極限左移，從研發(fā)側(cè)優(yōu)化交付產(chǎn)品，推動實(shí)現(xiàn)整體固件高質(zhì)量化。
 
基于中國移動CI-CT-CD實(shí)驗(yàn)室推動產(chǎn)業(yè)“測試左移”前置驗(yàn)證
目前，基于“測試左移”技術(shù)研發(fā)理念形成的服務(wù)器固件研發(fā)前置驗(yàn)證敏捷流水線已在中國通信標(biāo)準(zhǔn)化協(xié)會多樣性算力產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會由中國移動研究院專家主導(dǎo)完成立項(xiàng)，獲得業(yè)界運(yùn)營商、處理器廠商、整機(jī)設(shè)備廠商等9家單位的支持。同時(shí)，該方案在中國移動網(wǎng)絡(luò)云和IT云項(xiàng)目中全面落地應(yīng)用，在中興通訊等7家主流服務(wù)器廠商的共同配合下，在廠商實(shí)驗(yàn)室開展累計(jì)300+輪次的自動化測試驗(yàn)證，并依托該能力解決廠商300+個(gè)設(shè)備質(zhì)量和管理接口問題。在驅(qū)動廠商服務(wù)器固件日趨成熟的同時(shí)，廠商設(shè)備在現(xiàn)網(wǎng)交付階段驗(yàn)收錯(cuò)誤率大幅降低，極大提高了項(xiàng)目整體驗(yàn)收的進(jìn)度和質(zhì)量效率。

總結(jié)
結(jié)合“測試左移“理念，中國移動CI-CT-CD敏捷流水線通過硬件前置驗(yàn)證這種方案探索出了一條新的道路，即在組件產(chǎn)品非自研且云網(wǎng)基礎(chǔ)設(shè)施對組件產(chǎn)品的質(zhì)量要求較高的情況下，通過CI-CT-CD敏捷流水線可以驅(qū)動廠商固件快速迭代及成熟，在提高面向算網(wǎng)基礎(chǔ)設(shè)備自動化驗(yàn)證能力的同時(shí)，也實(shí)現(xiàn)了產(chǎn)品敏捷研發(fā)與高質(zhì)量交付之間的高效平衡。目前，該方案也在到網(wǎng)絡(luò)云云平臺、核心網(wǎng)網(wǎng)元等軟件平臺推廣使用。在此，中國移動希望發(fā)揮自身在技術(shù)研發(fā)和產(chǎn)業(yè)引領(lǐng)方面的優(yōu)勢，與合作伙伴進(jìn)一步協(xié)同推進(jìn)研發(fā)驗(yàn)證對接，優(yōu)勢互補(bǔ)，實(shí)現(xiàn)共贏。