淺談如何建立互聯網風控系統

彈指間,一起創業已有大半年。這大半年間,累與成果并存,痛并快樂著,這自不用多提,應該是這一行從業者的普遍感受了?,F在每每反思以往,總結不足,其中一條就是技術團隊過于封閉,悶著頭干活,發聲不足,既不利于引入別人的好的經驗,也沒法將自身的成果拿出去接受批判,這其實與我們的技術宗旨是不符合的,還是需要擠出時間往外看,向外喊。

本文將會是豈安科技技術團隊的拋磚石,來引出小伙伴的總結分享,更重要的是能得到外界的批評指正,幫我們出謀劃策。這一篇將沒什么干貨,只是從我的角度對一些風險相關的概念進行通俗化的闡述,希望能講明我們想要針對的問題是什么,我們的定位在哪里,技術的角度看需要去做什么,為什么要這么做,我們跟巨頭的差別在哪里。

什么是風險

筆者學術時代的老板是作可信計算的,當年的課題便是信任與風險,所以恰巧也算是國內較早在計算機領域對風險一塊有所涉獵的人之一,當時最頭痛的是,雖然很多人在這些方向都有相關的學術工作,但是對“信任”和”風險“這兩個模糊的概念,從來就沒有清晰公認的定義,大家都是自說自話,概念上都是遷就自己的工作,對信任和風險都有著自己的見解,以至于光綜述里總結的定義就有上百種;現在工業界也出現了類似的情況,電商已經燒了好些年頭,互聯網金融最近也大火,征信風控的字眼更是隨處可見,幾番交道打下來,大家基本上還是在風險之上談風險,很少對其本身去作過多的定義和闡述,具體手段也限于傳統金融業經驗往線上的照搬,或者是具體漏洞的補缺,有些像手里拿著把箭在掃射。我依然執拗以為,一定要先說清楚自己面對的問題是什么,才能更加的明白自己在做什么,做起事來才能有的放矢,不至于陷入被動的攻防戰。

廢話一籮筐,直接給出我個人比較認可的通俗定義,來方便闡述本文后續的概念:

風險=probability+outcome

這是我看到的一種比較全面的解釋。很多人認為風險是帶來損失的概率,也有很多人覺得風險就是最終帶來的損失;就好像很多人認為坐汽車風險高(因為車禍幾率高),另一部分人覺得飛機更危險(基本就是掛了),大家的側重點不同。而作為風險相關的從業者,個人認為兩者都需要考慮,所以和很多人一樣,直接做了加法,既包含可能性,也包含潛在的損失。

什么是風控

風險本身只是人對客觀事實的一個評估,重要的是如何去計算它,之后又如何去用來幫我們實現利益的最大化,這里給一張簡單抽象的圖來描述所謂的風控邏輯上是一個什么樣的流程:

bigsec

這里面對信任的定義是當年從哲學論文里面摘出來的,算是相對靠譜的定義:

Trust=knowledge(weak)reduction

簡要的介紹:

所謂的信任,就是利用一切可以用的知識(通俗常稱為證據,或者情報等),進行一定的歸納,這些知識包括:

  • 一些常規的檢查工作,主要是做一些身份識別,合規的工作。這種是最常見的。
  • 社交信息,主要是一些關聯信息,可以通過交易、ip、手機號能找到一批其他個體的信息,可以有效的幫助判斷。
  • 歷史行為,被評估者的歷史行為有著極為重要的作用。。
  • 上下文,當前交易/活動的具體特征,對當下的判斷非常重要。
  • 其他信息。事實上,要做信任判斷還需要很多其他額外的知識。只是越多越準確,那么所謂的uncertainty就越小,后續的決策才會越準確現在一般傳統的就是作一些合規操作,時髦一點的就是在歷史行為和社交信息這一塊大做文章,來彌補傳統方式信息量的不足,還可以標榜“大數據”,我們豈安科技也屬于后者。

所謂的風險決策。就是利用收集的信任信息,對所有可能的結果做一個損失(損失是基本客觀存在的)和概率(主要靠信任信息來推斷)的判斷,最終形成一個風險輪廓,來方便決策后續的就好辦了,有了具體的風險輪廓,根據企業的風險承受能力和商業模式作指引,就可以做出相應的決策了。一般而言,如果需要降低風險,需要采取措施去降低風險,或者是損失。以現在流行的p2p舉例,要么是讓借貸人提供更多的材料去證明他違約的概率比較??;要么是平臺會收取一定比例的擔保費用,來減少違約帶來的損失。

現在的風控系統是啥樣的

對風控的描述比較空泛,只是給出邏輯概念。目前大多數的企業和機構應該都是這么干的,只是有的干得比較好,有的干的更好而已:

  • 成熟度。大型、新型的企業會有一整套風控框架,里面相關的人數量和角色也多,比較成熟;小公司往往投入不足,做法也山寨。
  • 量化能力。小一點的企業往往只能作到定性分析,就事論事,最后主要靠拍腦袋。牛一點的可以做到定量分析,這樣能有個科學的定義和計算模型,才能腦袋拍得輕些。
  • 持久性。小一點的企業往往只做當前的case;大一點的公司整個流程是持續迭代的,而且是正反饋的,這樣它整個風控模型就能不斷修正和完善。

至于如何去做一套完善的風控系統,這個領域已經有大量的投入和專家,可以去參考借鑒。我個人的資歷比較有限,只能提供兩個參考:

  • 如果想從流程上去改善,如果你對類似CMM這樣的成熟度模型感興趣,不放參考Octave(Operationally Critical Threat,Asset,and Vulnerability Evaluation),這同樣是CMU的SEI推出的,目的是提出緩解企業信息安全風險的方法論,它本身不是一套計算機系統,但在流程、理念、邏輯結構、方法論上能有比較好的啟發。
  • 如果想建一套完善的計算模型,可以參考paypal的架構。paypal應該是互聯網內風控玩的最早最成熟的公司,筆者也有幸成為其國內的第一批開發,學習到很多。這個公司的商業模式就是建立在風控上,所以投入也大,雖然就技術上而言非常保守,但其整體框架絕對值得一提:

bigsec

  • 上圖是我以前畫過的我印象中P公司是如何處理risk的(依然是簡單概念圖):

最大的投入是通過運營作人工分析,一方面可以更細致更準確的去處理各種高風險交易;另一方面在于找到了很多新的攻擊,人工標注產生了很多樣本,這點是最關鍵的。 大量的分析師通過數據倉庫去做模型、做規則。最早的時候還沒有hadoop,他們靠商業的teradata來作這件事,算是先驅了。大部分模型、規則也簡單,頂多是logistic regression,勝在數據量大,以及龐大的ops團隊支撐 相當數量的開發人員,去開發模型需要的數據,從數據庫里面計算出來,形成統一的變量接口,然后線上的系統就是在不停的跑了。 整個過程是循環的,在線系統標注的高危交易會被繼續人工分析,然后成為新一輪的素材來實現整套風控系統的不斷演化和改進(Ocatave也是提出了類似這種迭代的模型)。 開發、ops、分析師三個角色明確分工,有機結合在一起。這是目前國內大部分公司是很缺乏的。

整套系統里面每一塊都比較保守,有各自固有的問題,但勝在整個框架很好。體制的優勢決定了其依然是現存的最成功的風控系統,豈安科技的兩大系統(warden和redq)也都是受此影響很多。 然而,以上只是描述了一個有錢公司的成熟系統是啥樣的,現實世界中,只有極少數公司能做到這個程度。很多公司(尤其是中小型互聯網公司)是這樣干的:

bigsec

系統的脆弱點比較多,尤其是業務搬遷到互聯網后,暴露點增多。各種漏洞(技術上的和業務上的)層出不窮,黑產業的日益發達也帶來了更多的影響。 資源較少。一些金融相關的可能還好,大部分公司對此投入不足,忙不過來。 可利用的現成的技術少。風控通常是比較復雜和昂貴的,只有大公司用的起,小公司投入不起,往往就是穿個褲衩就要面對各種攻擊了。 上述幾點造成,大部分公司根本沒能力去做詳盡的數據收集和量化計算,也就很難有個成熟的風控模型或是系統去應對互聯網上頻繁出現的攻擊,最終就變成了打地鼠模式:

每當惡意(帶來損失)的事件發生,被動的去應對,而且只能作事后處理。
每次事件的處理只能作就事論事的防范。這次一錘子不能幫你打下一錘子
量化能力上還是比較難對風險作定量分析,關注的指標只能是命中率(打中多少衰神加分)和誤殺率(打中多少福神扣分)
當帶來風險的主體比較難區分,偽裝的比較好的時候,這錘子就敲不下去了。比如現在一大危害羊毛黨,很難和正常用戶區分開來,造成無法防范
當風險攻擊來得異常頻繁和快速,錘子也來不及敲。最近短信轟炸的攻擊行為忽然冒起,沒有健壯的風控系統保護,只能素手無策。

這個就是我們感受到的骨感的現實。

點擊進入豈安的世界

大发快3