千尋CORS如何做到“每秒服務(wù)百萬用戶”

摘要：千尋CORS特別“穩(wěn)”，用過的人都知道。撐起千尋服務(wù)穩(wěn)定性的，是一項(xiàng)名為“高并發(fā)”的技術(shù)能力。2021年，千尋位置高精度位置服務(wù)平臺(tái)的高并發(fā)能力已經(jīng)達(dá)到了每秒百萬級(jí)，也就是說每秒鐘能夠?yàn)槌^百萬級(jí)的用戶來同時(shí)提供高精度定位的服務(wù)。

千尋CORS特別“穩(wěn)”，用過的人都知道。撐起千尋服務(wù)穩(wěn)定性的，是一項(xiàng)名為“高并發(fā)”的技術(shù)能力。

什么是“高并發(fā)”？“高并發(fā)”是指大量用戶（終端）的快速接入。對(duì)于網(wǎng)絡(luò)平臺(tái)而言，如果不具備良好的高并發(fā)處理能力，輕則引發(fā)服務(wù)中斷，重則引起服務(wù)器宕機(jī)。

2021年，千尋位置高精度位置服務(wù)平臺(tái)的高并發(fā)能力已經(jīng)達(dá)到了每秒百萬級(jí)，也就是說每秒鐘能夠?yàn)槌^百萬級(jí)的用戶來同時(shí)提供高精度定位的服務(wù)。

這不僅是行業(yè)里面的優(yōu)先，對(duì)標(biāo)整個(gè)互聯(lián)網(wǎng)也是一個(gè)高水平能力。這是如何做到的呢？下面小編將從系統(tǒng)能力、運(yùn)維能力兩個(gè)層面，分析其中的技術(shù)要點(diǎn)。

系統(tǒng)能力｜水平擴(kuò)展

基于分布式服務(wù)架構(gòu)設(shè)計(jì)的千尋位置高精度位置服務(wù)平臺(tái)，具有“海量用戶”的服務(wù)擴(kuò)展能力，增加服務(wù)器就可以服務(wù)更多用戶。在具體的實(shí)現(xiàn)路徑上，主要分為4步：

第1步：自研SpaceX高性能分布式框架

千尋位置的服務(wù)具有覆蓋廣、規(guī)模大、實(shí)時(shí)性要求高等特點(diǎn)，需要千尋位置高精度位置服務(wù)平臺(tái)以高度的靈活性，實(shí)現(xiàn)效率比較大化。針對(duì)這樣的情況，2015開始，千尋位置自主研發(fā)了內(nèi)部代號(hào)為SpaceX的高性能分布式應(yīng)用框架。

SpaceX框架：可以將一個(gè)龐大的計(jì)算任務(wù)劃分為若干個(gè)小任務(wù)，并分配給每臺(tái)計(jì)算機(jī)。計(jì)算機(jī)集群通過并行處理提高了效率，在統(tǒng)一管理控制下，完成大規(guī)模信息處理任務(wù)。國(guó)家北斗地基增強(qiáng)系統(tǒng)“全國(guó)一張網(wǎng)”的解算，就是通過SpaceX框架，分成幾千個(gè)小網(wǎng)任務(wù)，分布在上百臺(tái)機(jī)器同時(shí)進(jìn)行解算。

第二步：快速?gòu)?fù)制數(shù)據(jù)的擴(kuò)展塢程序Switch千尋位置針對(duì)快速?gòu)?fù)制國(guó)家北斗地基增強(qiáng)系統(tǒng)“全國(guó)一張網(wǎng)”能力，研發(fā)了一個(gè)擴(kuò)展塢程序，它被命名為Switch。Switch將算法產(chǎn)生的網(wǎng)格數(shù)據(jù)復(fù)制多份，再將復(fù)制的數(shù)據(jù)分發(fā)給下游用戶。

第三步：提高效率，集中處理

為提升處理性能，千尋位置高精度位置服務(wù)平臺(tái)中熱點(diǎn)識(shí)別應(yīng)用會(huì)將用戶分布較多的區(qū)域識(shí)別出來，將相同地區(qū)用戶集中到一塊處理，大大提升性能，降低服務(wù)器壓力，達(dá)到降本增效效果。

第四步：用戶均勻分布，降低平均排隊(duì)時(shí)間

用戶連接服務(wù)時(shí)，千尋位置高精度位置服務(wù)平臺(tái)會(huì)有專門的負(fù)載均衡SLB應(yīng)用來指導(dǎo)用戶應(yīng)該去哪個(gè)服務(wù)器處理。這樣每個(gè)服務(wù)器的壓力均衡，用戶平均等待時(shí)間就降低了。

系統(tǒng)能力｜服務(wù)高可用

千尋位置高精度位置服務(wù)平臺(tái)除了要去支撐用戶，還要保證服務(wù)的高可用。千尋位置做了多套服務(wù)冗余備份，在數(shù)據(jù)中心之下分為6個(gè)可用區(qū)和3個(gè)隔離集群。

·6個(gè)可用區(qū)，比較主要就是防止單機(jī)房故障，可用區(qū)的概念有點(diǎn)像當(dāng)?shù)氐臋C(jī)房；

·3個(gè)隔離區(qū)群，是按照千尋位置的業(yè)務(wù)群體進(jìn)行劃分的。由于不同行業(yè)（智能電子設(shè)備、汽車、測(cè)繪RTK）對(duì)于高精度位置服務(wù)的要求和標(biāo)準(zhǔn)不同，隔離區(qū)群能夠做到互補(bǔ)干擾。

系統(tǒng)能力｜自我保護(hù)

千尋位置高精度位置服務(wù)平臺(tái)在流量突增的時(shí)候擁有自我保護(hù)機(jī)制，主要是精準(zhǔn)流控和熔斷機(jī)制。

一、精準(zhǔn)流控有6種影響因素，主要包括算法A/B群灰度、鏈路規(guī)則、用戶應(yīng)用、產(chǎn)品、區(qū)域、百分比，按照這6種因素不同的排列組合，可以形成適合不同用戶的策略。比如有一種策略，只適合廣東地區(qū)電力，那有這種路線規(guī)劃的話就可以把這個(gè)服務(wù)精準(zhǔn)的去推到這個(gè)客戶上面。

二、熔斷機(jī)制的建設(shè)。千尋位置的服務(wù)其實(shí)是有容量的，比如說現(xiàn)在容量是1億，那突然來了2億流量，千尋位置的高精度位置服務(wù)平臺(tái)能去做到一個(gè)自我保護(hù)，優(yōu)先保證服務(wù)好前1億用戶。隨著服務(wù)器擴(kuò)展，逐漸去支持到后來涌入的2億流量。

運(yùn)維能力｜快速診斷

基于系統(tǒng)可視化和智能化定位能力，千尋位置高精度位置服務(wù)平臺(tái)可以進(jìn)行問題的快速定位。

·系統(tǒng)可視化能力由業(yè)務(wù)監(jiān)控大屏、應(yīng)用處理能力監(jiān)控大屏、云資源服務(wù)狀態(tài)監(jiān)控大屏組成。從這三個(gè)維度，系統(tǒng)就完完全全變成一個(gè)透明化。

·業(yè)務(wù)監(jiān)控大屏實(shí)時(shí)呈現(xiàn)用戶在線數(shù)量、整體分布、定位狀態(tài)、特定用戶群體以及在線的工具（測(cè)距、定位、回放）；

·應(yīng)用處理能力監(jiān)控大屏核心呈現(xiàn)用戶實(shí)時(shí)連接數(shù)、每秒新增連接數(shù)、每秒下線連接數(shù)；

·云資源服務(wù)狀態(tài)監(jiān)控則能查看CPU使用情況、內(nèi)存使用情況、TCP網(wǎng)絡(luò)連接狀態(tài)等。

·智能化定位能力由系統(tǒng)控制臺(tái)、網(wǎng)格異常分析、基站異常分析構(gòu)成，能夠主動(dòng)判斷用戶服務(wù)是否正常、問題是否由基站引起以及是否由周邊環(huán)境影響。

運(yùn)維能力｜快速恢復(fù)

千尋位置高精度位置平臺(tái)具有從問題中快速恢復(fù)的能力，在實(shí)施層面分為快速響應(yīng)、記錄通知、啟動(dòng)預(yù)案、工具化處理4個(gè)步驟。

首先，千尋位置設(shè)置了7*24小時(shí)值守的應(yīng)用監(jiān)控室，及時(shí)響應(yīng)問題；

其次，千尋位置應(yīng)急響應(yīng)平臺(tái)記錄事件，并通過電話、軟件系統(tǒng)通知相關(guān)運(yùn)維、開發(fā)等處理人員；

再次，日常處理預(yù)案留有記錄，運(yùn)維人員結(jié)合系統(tǒng)流程+工具，自動(dòng)化操作減少失誤，達(dá)到快速恢復(fù)的能力；

比較后，將日常標(biāo)準(zhǔn)流程歸納提煉之后，都升級(jí)為工具化執(zhí)行，不需要人工干預(yù)，在提高效率的同時(shí)，也避免了因人為導(dǎo)致的不可控因素。

運(yùn)維能力｜故障演練

混沌工程是在分布式系統(tǒng)上進(jìn)行實(shí)驗(yàn)的學(xué)科。模擬功能性測(cè)試、性能測(cè)試、極端場(chǎng)景測(cè)試，通過長(zhǎng)時(shí)間測(cè)試，發(fā)現(xiàn)系統(tǒng)以常規(guī)測(cè)試手段難以模擬和測(cè)試的BUG。

混沌工程比較主要解決極端的情況，比如說網(wǎng)絡(luò)中斷、服務(wù)器宕機(jī)等，它通過長(zhǎng)時(shí)間測(cè)試，頻繁的去驗(yàn)證，訓(xùn)練出系統(tǒng)級(jí)的反應(yīng)能力并加以鞏固，在真正遇到問題的時(shí)候給予反應(yīng)。