海量數據處理,匯量科技面臨挑戰

在數字化飛速發展的今天,廣告相關業務無時無刻地伴隨著我們左右,但你有沒有想過,各種APP中的廣告管理是什么樣的呢?

在這海量廣告的背后,是巨大的計算量和復雜的管理程序。我們來看一組數據,匯量科技主營APP開發者相關廣告服務,主要采用程序化廣告交易的方式,當用戶上線時,根據用戶興趣及時推薦廣告主的APP。其客戶包括7000多個APP開發團隊,覆蓋全球251個國家和地區的用戶,超過35億活躍設備。

匯量科技副總裁 奚原

如此海量的業務,讓匯量科技的運維面臨著巨大的挑戰。據匯量科技副總裁奚原介紹,要以超低延遲的方式滿足實時預測和個性化推薦,每天需要通過復雜的算法預測處理超過2000億個廣告請求,這一需求的背后,是每天數十PB的數據處理規模、每小時數十億個特征規模的模型訓練,這對解決方案的高存儲吞吐量與彈性提出了很高要求。每個廣告請求背后的復雜算法預測,其端到端的數據延遲要求必須少于50毫秒。

基于以上嚴苛的要求,匯量科技選擇通過亞馬遜云科技打造自己的大數據機器學習平臺,輕松應對日均10億臺獨立移動設備在線數據請求,高效處理超2000億次線上預測,使收入和凈利潤得到大幅提升。

系統方面,奚原表示:匯量科技的移動廣告業務遍布全球,如何以最快速度響應全球各地用戶請求,進行系統的全球化部署,是一個非常大的挑戰。而且,對系統的穩定性要求極高,因為流量高峰時常出現,瞬間的點擊量會急劇上升,這就要求系統能快速處理,并具備非常好的可擴展性。受益于亞馬遜云科技遍布全球、廣泛深入的服務,匯量科技的系統能夠自如應對全球客戶的請求,并且簡化了系統運維的復雜度、相應地降低了運維成本。

技術轉化方面,正如前文所述,匯量科技大規模使用亞馬遜云科技的低成本算力資源構建起了云原生彈性計算平臺SpotMax,借鑒混沌工程的最佳實踐,無需擔心資源容易中斷回收而影響穩定性,讓單位廣告請求成本降低65%。同時,匯量科技還將這一技術做成SaaS工具包,通過亞馬遜云科技Marketplace覆蓋全球客戶的數字化產品目錄,提供給同樣希望大規模使用云上低成本算力的客戶。

用戶需求升級,廣告服務迎來新紀元

作為一直耕耘在出海一線的企業,匯量科技對客戶需求的把握也處于領先位置。奚原在演講中表示,中國開發者的產品開發和運營方式與2013年有了明顯不同,產品導向從原來簡單的流量產品變成了現在的用戶產品。

流量產品獲取成本比較低,但用戶留存率表現不佳,面對現在這種市場形勢,競爭力明顯不足。所以,現在幾乎每家企業都開始構建自己的技術中臺,不斷分析用戶獲取以及所有環節各項數據指導他們運營。它們投入更多的資金,做對用戶來說更有價值的產品。

基于客戶需求的變化,反應到匯量科技方面,則更愿意用云原生的架構搭建基礎設施。并充分利用亞馬遜云科技上各種新的和豐富的服務,支撐每天幾乎是一千億到兩千億的廣告請求,以及大量的PB級的模型的建模和校驗的工作。

在計算效率提升方面,匯量科技與亞馬遜云科技合作,通過微服務包括容器化、無服務架構演進,提高了資源系統效率。其次,亞馬遜云科技提供了靈活的架構模型,針對不同的用戶場景可以自由選擇。

另外,值得一提的是,匯量科技工程師團隊基于自己的應用實踐,開發出的SpotMax彈性集群管理工具,在保證穩定性的同時,更好地使用低成本資源。節省下來的云計算成本重新投入到產品創新中去,這也是匯量科技是贏得競爭的關鍵因素之一。

AI幫助企業撐起未來

談到AI的應用,奚原表示:匯量科技自主開發了一個名為MindAlpha的智能推薦引擎,目前已經應用到廣告請求中,每次都會被實時調用,對廣告候選進行預估,選擇并推送最適合的廣告給用戶。

MindAlpha每天處理的數據量現在已達數十個PB,使用的模型特征、參數也超過了數百億,在線的推理量每天是超過10萬億次。

目前Mintegral平臺已經具備程序化廣告交易鏈路上每一個環節的全棧能力,每天處理的廣告請求在一千億到兩千億次,而且隨著數據的累積不斷進行自我的訓練和迭代。

算法層面,匯量科技很早就布局了在沒有IDFA情況下的用戶興趣建模算法。區別于現在整個行業的通用IDFA算法,匯量科技更多是從兩個方面進行創新。一方面是基于用戶的上下文去實時獲取用戶的興趣建模。另一方面,數據隱私越來越是一個全球關注的話題,匯量科技搭建了一個用戶簇,不倚靠單個用戶數據,而是一群用戶的共同特征,從而提高廣告的精準度。

像匯量科技這樣的海量業務,如果沒有云計算和AI的幫助,這在以前是難以想象的。也正是因為IT技術的飛速發展,讓更多復雜的工作變得更加簡單,把一切交給AI就夠了。