當前速讀:TiDB x 同盾科技,實時數據架構為風控智能決策保駕護航
同盾科技是中國領先的人工智能科技企業,專注決策智能領域,致力于幫助政企客戶防范風險、提升決策效率。同盾科技堅持自主科技創新,多項算法和軟件系統已達全球領先水平,并形成了“基于隱私計算的共享智能平臺-智邦”和“基于人工智能的決策智能平臺-智策”兩大平臺,聚焦于金融風險、安全風險、政府治理風險三大場景,業務覆蓋全球數十個國家,為 22 大行業、118 個細分場景的上萬家客戶提供了領先且獨具特色的決策智能解決方案。
風控業務場景對數據庫的需求與挑戰
作為一家第三方風控公司,客戶經常需要調用同盾的智能決策服務去做業務決策,如電商大促期間防范黑產薅羊毛,個人信貸杜絕多頭借貸老賴行為等。因此,同盾服務調用常常呈現出非常大的 TPS 請求。同時,為了不影響客戶調用服務的質量與體驗,同盾對低延遲和高可用有著硬性要求。
(資料圖片)
基于這樣的特征,同盾日均過億的決策服務調用,會產生包括非結構化/結構化多種數據結構類型在內的海量數據入庫。豐富的數據類型與多樣的細分場景,使得同盾科技必須使用多種數據庫去滿足不同的業務場景需求,在同盾的數據架構中包含了 Cassandra、MySQL、HBase、Redis、Mongo 等數據庫。
在同盾的數據架構中,大多數初始落庫的數據還比較原始,為了提供優質的數據服務用于智能決策,技術團隊構建了成熟的大數據平臺,用 T+1 離線數據分析的方式去進行日常的離線數據分析作業,利用數據二次加工賦能上層的風控智能決策。
但面對復雜的數據基礎架構,同盾在業務增長中也遭遇了如下挑戰:
·同盾擁有在線數千個大大小小的 MySQL 工作實例,數據十分分散,有一些是核心的風控業務系統數據,有一些是后臺基礎架構平臺的數據,還有一些是集團 IT 系統數據,同盾希望通過集中化的方式對這些數據進行分析管理;
·最開始同盾將上游 MySQL 數據同步到下游進行分析,但整個過程中數據交換工作效率非常低,整體作業分析的 SLA 無法得到保證;
·由于上下游數據同步的阻塞問題,導致了離線數據同步實時性很差,上下游數據經常出現數據不一致的情況,非常影響提供給作業的數據質量。
其實同盾科技的業務場景并不復雜,只需要同步生產環境中數千個 MySQL 實例至下游的離線系統,提供給作業開發人員通過大數據平臺進行離線分析加工。項目的核心目標是在海量數據落庫下,保障在線到離線數據的數據庫的準實時性和一致性,并提供優質的數據服務給內部的風控系統開發人員、算法模型工程師和運營人員加工數據。
為什么選擇 TiDB?
經過長時間調研,同盾科技的技術團隊最后選擇了新一代分布式數據庫 TiDB 作為離線層的核心數據庫。同盾科技數據庫運維梁高升表示,主要有以下幾點原因最終促成同盾選擇 TiDB:
首先,TiDB 高度兼容MySQL協議,在 TiDB 的使用和運維過程中大大減輕了運維和開發人員的使用成本;
第二,TiDB 作為分布式數據庫,同盾可以把它看成一個大的數據庫實例,可以匯聚上游所有的MySQL實例數據;
第三,TiDB 具備存算分離的架構,可以讓同盾非常靈活地控制硬件成本,而不用一味堆砌服務器;
最后,TiDB 擁有非常活躍的社區。即使在使用 TiDB 的過程中遇到一些問題也馬上能在社區得到解決。
解決方案
最終,同盾科技數據庫團隊構建了一整套基于 TiDB 的數據流轉架構,該架構共分為三層:
實時數據層
同盾內部有 3000+ MySQL實例,在實時數據庫層通過 MySQL cloud 管控上游數千個 MySQL。
傳輸層
在傳輸層,從 MySQL Cloud 對接實時數據同步任務到內部 Otter ,Otter 可以實現準實時同步 MySQL 數據,然后再由 OTTER 實時同步數據到 TiDB。
上下游同步組件決定了數據在下游離線場景的整體數據質量,同盾對數千個 MySQL 實例同步數據的同時,需要保證其穩定性、低延遲及整體可控的管理成本。雖然 PingCAP 數據遷移工具 DM 支持全量/增量靈活的數據導入場景,并具有較快的導入速率,但目前單個 DM worker 只支持綁定一個數據源,這限制了管理大量 MySQL 同步任務的需求。同盾最后選擇使用 OTTER 作為常態化的數據增量同步平臺,但 OTTER 只支持增量數據同步,且單任務吞吐有上限,同盾通過使用其支持 spark streaming 來進一步保障同步得吞吐和準實時性。未來在 TiDB 推出一個 DM worker 支持多個數據源的特性后,同盾會再考慮進行替換。
離線數據層
離線數據層中的大數據平臺主要管控 TiDB 的元數據和實際到下游的同步情況。 在 Spark 運行作業的過程中通過 TiSpark 去訪問 TiDB,最后接入 Hadoop 進行分析作業。
業務收益
通過打造 TiDB 數據產品鏈,同盾科技實現了數千個 MySQL 數據的離線匯聚管理。TIDB 有著便捷易操作的 Dashboard 管理界面,運維無心智負擔,大大提升了數據庫運維團隊的管理運維和使用數據的便捷性與效率。同時,TiDB 的高性能保障提供高質量的數據服務,實現了準實時同步數據。
同盾科技數據庫運維梁高升介紹,同盾剛開始上線的是 TiDB 2.0 早期版本,在上下游數據同步過程中遇到了一些 TiDB 和 MySQL 不那么兼容的情況,如果在上游有大量數據更新的情況下,會出現同步阻塞的情況,導致同步的實時性、一致性出現問題。但 TiDB 版本迭代速度非常快,每個版本都會對性能及穩定性做出大量改進和優化,在升級到 5.4 版本后,同盾就已經解決了大部分的兼容問題。而且在基準測試中,TiDB 的性能也得到了質的飛躍。
未來規劃
同盾科技是 TiDB 非常早期的用戶,多年的使用讓同盾確信 TiDB 是一款非常好的產品,未來也會繼續致力于在更多的場景依靠 TiDB 生態落地賦能一些業務場景。例如,雖然同盾的大部分作業是 T+1,但內部也有很多實實在在的實時分析場景,比如實時展示的 BI 系統,通過TiFlash 實時分析查詢引擎可以進一步提升分析效率,更及時地滿足實時分析需求;同盾國內在線業務針對海量關系型數據庫初始使用的是 MYCAT,但是 MYCAT 的運維非常困難,對開發也不是很友好,更像是上一代的分布式數據庫產品。后續,類似 MYCAT 這樣的場景也很有必要使用 TiDB 進行替換。
近幾年,隨著出海趨勢愈發火熱,同盾科技在出海業務勢頭也非常迅猛,業務涉及東南亞、北美、歐洲等多個區域,這就需要在谷歌云、AWS、阿里云等通用公有云上,有一款標準的分布式數據庫服務,幫助其在全球快速布局業務。而 TiDB Cloud 已經在各大主流公有云上提供服務,這也給同盾科技構建堅實的技術底座提供了更好的選擇。
標簽: 新聞資訊
相關閱讀
-
【當前熱聞】老詹歷史得分王里程悲!主教玩兒呢?濃眉全場夢游!唯一助手威少
飯后資訊:北京時間2月8日。NBA常規賽湖人對陣雷霆的比賽。湖人主場130-133不敵雷霆,而詹姆斯雖然在本...
2023-02-08 -
環球看點!佩蒂特:德尚和98年世界杯冠軍成員沒有聯系,但我們沒有真正裂痕
直播吧1月25日訊本周一,法國奪得1998年世界杯冠軍的一些成員出席了一個晚宴,但目前擔任法國國家隊主帥...
2023-02-08 -
今日要聞!臺灣飲料(臺灣飲料品牌排行榜)喜歡飲品的看過來
臺灣飲料(臺灣飲料品牌排行榜)原創波波黛莉的異想世界2018-08-3018:07:12逛街逛到腰酸腿疼,這種時候...
2023-02-08 -
win7 7600(win7旗艦版永久激活密鑰)使用win7激活工具激活具體操作步驟
win77600(win7旗艦版永久激活密鑰)今天小編打開電腦后發現win7桌面變黑了,桌面右下角出現提示:“Win...
2023-02-08 -
全球報道:歐美經典歌曲排行榜!(必聽的20首經典英文歌:《See you again》)
歐美經典歌曲排行榜!(必聽的20首經典英文歌!)經典的歌曲百聽不厭,用心聆聽可以獲得潛移默化的能量...
2023-02-08 -
快消息!所羅門 凱恩(所羅門王72柱魔神)
所羅門凱恩(所羅門王72柱魔神)圓桌棋士2018-06-1008:17:00原創:ZelosDICE桌游社來自KS知名模型游戲《...
2023-02-08 -
全球今熱點:土敘邊境強震已致逾8000人遇難 中國救援隊抵達土耳其
土耳其南部靠近敘利亞邊境地區的強震已致兩國超過8000人遇難,受傷人數逾3 6萬人。中國救援隊8日凌晨抵...
2023-02-08 -
每日信息:星光大道2006總決賽(星光大道2008總冠軍賽)誰是冠軍
星光大道2006總決賽(星光大道2008總冠軍賽)茸芭莘那,普米族歌唱演員,全國政協第十二屆、十三屆委員...
2023-02-08 -
全球百事通!c3604黃銅相當國內什么牌號(c3604)
一、題文C3604和HPb59二、解答C3604黃銅是日本工業標準的牌號,其銅含量為57-61%,鉛含量為1 8-3 7% 鐵...
2023-02-08
精彩推薦
閱讀排行
相關詞
- 沃爾沃XC90
- 天天資訊:冒險島2什么職業厲害(小編為你帶來的職業分析攻略)
- 焦點速遞!球員要利用科學的方法來測定選擇合適與自身的球桿的重量
- 壓力開關怎么調壓力(壓力開關調試方法)
- 【全球快播報】食人塘鲺(網上流傳的吃人塘鲺是真的嗎?)
- 看熱訊:韓劇愛情雨(徐仁國歷年作品盤點)
- 世界頭條:摔角動態克里斯·杰里科離開后 何時回歸?
- 怎么看面相圖解(怎么看面相的“五官”)
- 阿根廷獒犬(世界上最兇悍的狗阿根廷獒犬)
- 全球快播:適合90后看的電影(分享幾部值得90后回味的電影:不日成婚)
- 李小龍唐山大兄 相關內容介紹
- 吳磊帆船運動推廣大使 相關內容介紹
- 今日熱搜:鮑毓明涉性侵養女案調查結果公布 來看看具體情況
- 葉子原唱(阿桑個人簡歷)
- 月嫂大概一個月多少錢(學月嫂的最佳年齡)
- 【環球聚看點】不看病能否少繳費?國家醫保局回應
- 最讓人暖心的祝福語 值得收藏
- 天天簡訊:領獎通知 | 西山區圖書館春節系列線上活動領獎啦
- 全球熱議:素質創新教育第一課(線上教育平臺)
- 光盤標簽紙( 標簽紙的種類和去除方法)什么是標簽紙?
- 吳謝宇為什么殺母 吳謝宇寫自述書
- 【聚看點】蘇軾水調歌頭全詩意思 詞句注釋發布
- 天天即時:其實3桿是高爾夫球訓練中的一個非常有趣的模式
- 史記刺客列傳原文及翻譯賞析 隨小編一起來看看
- 羽毛球讓球(10個注意點讓羽毛球實力大提升!)
- 黃海冰笑傲江湖(黃海冰是誰?)
- 天天微資訊!夏天美容養顏湯(分享6道夏季養生湯:紅棗枸杞薏米銀耳羹)
- 吳秀波演過紅孩兒嗎(吳秀波和紅孩兒到底是什么關系呢?)
- 全球動態:花千骨不歸硯的作用(花千骨不歸硯)
- 微速訊:楓橋夜泊古詩解釋簡短 一起來看看吧
- 焦點滾動:清風似夢(悠然淺雨惜清風)
- 當前觀察:校園偶像劇電視劇大全(《如此可愛的我們》)
- 熱門看點:頹廢的心(頹廢沮喪的心情說說)
- 環球熱資訊!健力寶金罐(金罐加多寶)回憶經典
- 焦點訊息:46款侵害用戶權益APP被通報
- 天天快消息!深圳大鵬哪個沙灘好玩?(深圳7個最美海灘最強攻略)
- 今日視點:不憤不啟不悱不發下一句 原文發布
- 【環球熱聞】二手房交房該如何驗房 掌握這七大要點 要注意哪些問題
- 世界熱推薦:修正液的性質(什么是修正液?)
- 每日熱門:洗澡搓泥小妙招(搓泥寶搓出來的泥還是真正的自身的泥嗎?)
- 每日看點!平安經作者被開除黨籍開除公職官方回應
- 天天視點!趣味標點符號的故事 (世界上最短的信)
- 全球通訊!胡明軒或意外獲重用,中國男籃淘汰第一人浮現,不能缺廣東元素
- 世界熱文:為什么乾隆七世孫不叫雍正八世孫?康熙九世孫?
- 環球快看:130-133!詹姆斯38+7,正式加冕歷史得分王,湖人主場不敵雷霆
- 南京是哪個省屬于哪個省(地理位置介紹)
- 天天資訊:詹姆斯登頂歷史得分王,成為歷史第一人!比賽輸贏已經沒人關注了
- 速遞!關于思鄉詩句大全 《九月九日憶山東兄弟》
- 愛的教育作文大全 文章為你介紹
- 每日動態!如何交換友情鏈接(交換友情鏈接平臺)
- 環球今熱點:唐詩三百首五言絕句李白 10首如畫一般的五言絕句
- 環球快報:幫你分辨酒杯分類有哪些?(酒杯的種類有哪些)
- 全球快播:建個人網上銀行登錄入口(建設銀行個人網上銀行證書)
- 西門子微波爐面板圖解說明書 好不好用呢?
- 網絡推廣軟件免費(免費網絡推廣工具)
- 環球快看:詹姆斯超過賈巴爾成為NBA歷史得分王
- 憤青什么意思百度知道(憤青什么意思)
- 昨天下了一夜雨現場(昨天下了一夜雨)
- 天天速遞!目前中超大多數球隊都已經開啟冬訓模式
- 9種高發癌癥各有篩查標準
- 天天熱門:有位佳人在水一方文案(有位佳人在水一方)
- 摔角動態托尼·可汗 選手不必背臺詞 這是我們同最大區別
- 世界觀察:李衛當官第三部大內低手_李衛當官第三部
- 85歲臥床新冠老人心肺康復3天后,站起來了
- 觀點:美國“長臂管轄”為禍世界
- 天天最資訊丨敘外交部:美國的制裁阻礙了敘利亞人道主義救援工作
- 全球看熱訊:提振全球市場!外媒:中國經濟“超預期反彈”惠及多國
- 《流浪地球2》| 藝卓精準還原 始終如一的專業級HDR視覺體驗
- 向烏克蘭交付“坦克營“?北約介入沖突手段升級
- 研究:美國41%生態系統正面臨崩潰
- 世界快報:短兵相接的意思是什么(短兵相接的意思)
- 十二點打一字鐘表(十二點打一字)
- 速看:一什么石崖填空(一什么石崖)
- 【環球熱聞】本月底申花中鋒伊哈洛將結束在英超豪門曼聯的租借
- 世界頭條:摔角動態《RAW 2016.11.15》戰報 紅藍隊員互毆
- 全球最新:溫泉:小橋壩里“金鑲玉”
- 拒絕交易!蔡崇信懇求杜蘭特留隊,給出3個重要承諾,繼續沖冠
- 環球動態:英媒:雷吉隆狀態不好還和西蒙尼發生沖突馬競會將他退回給熱刺
- 全球快資訊:英超:曼聯VS利茲聯,曼聯鐵打的主力缺席,利茲聯今天有機會?
- 世界報道:又邁出堅實一步!田亮女兒首獲ITF青少年排名,暫列第2822位
- 環球滾動:珠海:2023年將大力發展預制菜產業,支持格力牽頭打造1000億元規模的預制菜裝備產業聯盟
- 輕松玩轉Vlog 佳能推出普及型全畫幅專微相機EOS R8
- 每日速遞:柏拉圖和亞里士多德關于形式的討論(柏拉圖和亞里士多德)
- 環球熱議:“豺”現身高黎貢山自然保護區保山段
- 全球今日報丨全球首現!保山龍陵發現新物種“龍陵秋海棠”
- 摔角動態孤狼巴倫·科爾賓一周禁賽期結束
- 當前觀點:作為一名網紅球員長相甜美的熊熙從出道起就收獲了非常多的關注
- 環球快報:《蜀道難》原文
- 全球熱訊:試開頭的成語(試開頭的成語)
- 秩組詞組詞語詞(秩組詞組)
- 焦點資訊:這么自信?巴薩告知多特天才:降薪免費加盟,要不別來
- 【獨家】2023天心區暮云街道怡海社區衛生服務站老年人免費體檢對象一覽
- 世界百事通!這個風靡兩千年的體育游戲竟對孩子的身心有這么多的好處
- 世界消息!米體:巴斯托尼想要500萬歐續約年薪,恰爾汗奧盧有興趣
- 證監會核發2家企業IPO批文,百通能源、聯盛科技在列
- 加速度2023|用工旺求職忙,這組數據“動如脫兔”!
- 億縷陽光丨人勤春來早
- 短訊!佳能直播間將開啟“去開始 去感動”直播 新品來襲
- 十佳運動員:梅西僅第2,第1來自中國!谷愛凌退出中國籍懸念揭曉
- 環球視訊!財經聚焦丨春節后多地文旅市場持續升溫
- 當前視點!凝心聚力共奮進 同心逐夢譜新篇——金訶藏藥員工歡樂會圓滿落幕
- 世界消息!江淮春來早 農事催人忙
- 【榜樣】“最美漁技員”孫守旗:授人以漁 助農增收
- 德保羅:我覺得我錯過了世界杯剩余比賽
- 【當前獨家】【溫馨提示
- 焦點精選!秋天的樹葉作文400字觀察日記(秋天的樹葉作文400字)
- 天天實時:摔角動態克里斯·杰里科變身山羊 致謝粉絲
- 沅陵龍舟大賽直播(沅陵龍舟)
- 西山區人社局精準幫扶尋甸縣開展農村勞動力轉移就業工作
- 全球滾動:暑假里的趣事作文500字(暑假里的趣事)
- 新消息丨新賽季中國聯賽的如何發展也值得期待
- 有政策、有補貼!云南將實施推進重點群體創業行動
- 環球訊息:定了要漲價!iPhone 15屏幕大升級
- 全球速遞!大清洗!曝利物浦重建,10人或被掃地出門,2名水貨中場近乎離隊
- 大反轉,哈蘭德未來突變!14冠王醞釀搶人,造勢金球+不買姆巴佩
- 新華全媒+︱“空心村”變成“藝術村”——重慶璧山“藝術鄉建”激活鄉村振興一池春水
- 全球要聞:歐文表示會好好輔佐東契奇,他真的能做到這一點嗎?
- 焦點速讀:鄉村振興|革命老區延安:春來勤耕耘 棚棚“聚寶盆”
- 最新資訊:在傳承創新中展現非遺光彩(新語)
- 8-1,8-0!皇馬當大贏家,被西甲保送爭冠,扎心巴薩,馬競最慘
- 我國專家提出鼻咽癌放療新技術 有助減少毒副反應
- 訊息:國家醫保局:獲批上市國產新冠治療用藥已被納入醫保支付范圍
- 全球微速訊:平臺到期不提醒 關閉選項隱蔽深 App自動續費“連環計”防不勝防
- 每日關注!3個月0球0助攻!皇馬億元天才斷崖下滑,甩鍋世界杯,曼聯欲撿漏
- 天天短訊!記憶力不斷下降?一名年僅19歲的少年,患上了阿爾茨海默病
- 當前報道:中國救援隊抵達土耳其 將開展國際救援
- 增肌只吃蛋白質就夠了嗎?謎底并非如此,你還需要這個!
- 浙江湖州吳興區——政企聚合力 經濟添活力
- “內保外貸”支持持續發力 1月房企海外債融資額環比大增
- 餐廳里賞畫展、游船上品詩會,江蘇南京南藝后街——一條900米街巷的藝術延展(藝術為城市添彩)
- 【科學的溫度】即便是太空,也阻擋不了中國人種菜的腳步
- 全球新能源園林機械領先企業,格力博登陸深交所創業板
- 中乙球隊北京人和足球俱樂部正式更名為北京橙豐足球俱樂部
- 全球速遞!k21次列車18車廂座位表(k21次列車)
- 環球看熱訊:緩解停車難!昆明9條道路上設置912個夜間臨時停車泊位
- 當前熱門:泰山歸化球員德爾加多新賽季仍將以外援身份報名
- 全球速讀:筆陡的意思解釋(筆陡)
- 最新快訊!國家醫保局:獲批上市國產新冠藥已全部納入醫保
- 女人的安全期是什么時候開始算_女人的安全期是什么時候
- 高上玉皇心印妙經全文的意思(高上)
- 環球熱頭條丨2月上旬,吉星閃耀,4生肖機會多,事業順利,蛋糕上的櫻桃
- 焦點報道:德國杯:紐倫堡VS杜塞爾多夫,世俱杯:開羅阿赫利VS皇家馬德里
- 環球時訊:多地藥店連花清瘟降價,以嶺藥業市值蒸發400億元
- 天天快訊:8連勝戛然而止!3點看穿,冠軍主帥里弗斯,差菜鳥沃恩太遠!
- 天天熱點評!奧運積分賽打響!張本智和3:0兩連勝,日本9歲天才少女1:3被淘汰
- 意外!周琦發聲夢醒了,暗示已無路可走,他該咋辦?
- 環球焦點!足球前瞻分享,德國杯:波鴻VS多特蒙德,英超:曼聯VS利茲聯
- 主持人李思思的男友(李思思相關資料介紹)
- 不丹歷史(不丹國旗跟大清有沒有關系?)
- 內功圖說(難在沒有真傳,真傳易筋經10式動態教學)
- 環球看點!明星版紅樓夢(金陵十二釵現狀)一一為你介紹