12月9日消息,日前,毓數大數據平臺架構全面升級,360數科完成了Apache Doris在毓數大數據分析多場景落地應用。
同時,360數科獨創的Doris + Presto秒級多級加速引擎,改良了大數據分析內存占用過高,數據處理緩慢等問題。在Doris的支持下,360數科實時
查詢一級加速性能提升190倍,二級加速性能提升19.1倍,實時數據分析效率大幅提升。
伴隨業務的不斷深入,360數科早期應用的OLAP多維分析數據庫集群穩定性較低、運維復雜和表關聯查詢較慢等問題凸顯。“除此之外,在大數據查
詢分析場景,基于Spark單一查詢引擎分鐘級響應,影響數據分析人員工作效率,亟需做出優化和重構。” 360數科系統架構總監黃建庭稱。
基于以上需求及痛點,360數科對大數據計算引擎的選型目標提出了明確的需求,即:數據寫入性能高、查詢響應秒級、兼容標準 SQL 協議、表關聯
查詢性能優秀、支持豐富的數據模型、運維復雜度低、社區活躍以及對商業友好,無法律風險。
今年3月,360數科對符合以上特點的數據庫 Apache Doris 展開了為期兩個月的調研測試,并在多次適配后,獨創多級查詢引擎動態切換的機制,完
成了針對業務場景的調優。“Doris的應用,使我們的數據處理分析能力發生了質的飛躍。從效果來講,Doris不僅可以支持高并發的實時查詢場景,也
能支持高吞吐的復雜分析場景。”
為提高查詢性能,360數科自主研發的多級加速查詢引擎,支持多查詢引擎動態切換的機制,能夠通過識別查詢數據的元信息對當次查詢做自動的查詢
引擎(Doris/Presto/Spark/Hive)路由和故障切換。通過將Doris 架設在 Hive 數倉的上層,360數科可以直接復用已經建設好的數據血緣關系,在不利
用Doris 集群產生新表的前提下,就能完成對特定場景的低成本查詢加速。
據介紹,2019年,360數科加入Apache OpenMessaging,參與開放消息技術標準推廣和實踐,為包括Apollo、Dubbo、Skywalking、Sentinal、Arth
as等開源項目在內的多個項目提出問題、貢獻代碼及解決方案。
在自主開源方面,360數科技術團隊貢獻的首個自主開源項目Chronus,在完成內部5個里程碑版本后,無縫支持Dubbo協議、Http及SpringCloud等,致
力于成為微服務生態輕量級分布式調度平臺。
今年6月,Apache Doris成功從 Apache 孵化器畢業,正式成為 Apache 頂級項目。“作為開源社區曾經的受益者,我們更希望能夠以助力者的身份與其他
高科技公司共同攜手推動我國計算機技術和高科技企業的發展。”
據了解,360數科將繼續應用Doris在實時查詢引擎加速、實時數倉、用戶畫像/標簽、RTA等業務場景不斷優化。同時公司也將通過分析用戶的查詢 SQL 特
征,結合Doris的查詢緩存、物化視圖、Doris on Hive等特性,進一步提升查詢效率等,以期支撐更多的業務場景、發揮更大價值。
談及后續規劃,黃建庭表示,“未來我們也會考慮全面開源,但不是簡單地把系統開源,會充分考慮到開源項目的適用性、通用性等,避免系統的環境依賴、
內部依賴、能力依賴,以開放的金融科技創新能力幫助相關公司提升效率、節約資源,同時也不斷完善我們開源的系統,進一步推動金融科技底層生態的完善。
”(一橙)