欧美色欧美亚洲高清在线视频-欧美色碰碰碰免费观看长视频-欧美色频-欧美色视频超清在线观看-国产精品免费看久久久-国产精品免费看久久久久

首頁 > 技術 > 正文

數據開發必看!火山引擎DataLeap如何解決數據隔離問題?

2023-03-28 15:44:25來源:中關村在線  

在離線數倉開發過程中,研發人員需要根據業務變化,在開發/生產環境中不斷切換、解析、調試。以往,企業一般通過人工方式核驗,但由于數據量大且類型不同,導致研發人員資源、精力投入大。

如何使同構代碼在不同環境正確運行,避免因調試過程中的誤操作,對生產環境直接造成數據負面風險,成為很多企業數倉研發團隊的痛點之一。

近期,火山引擎DataLeap推出“項目參數管理”能力,即通過自定義項目參數分別設置開發、生產環境參數值,參數支持配置多種類型,包括Region、DB、shecma、table、date以及自定義等,且支持任務級別引用,快速幫助研發團隊實現資源隔離。


(資料圖片)

火山引擎DataLeap“項目參數管理”能力

以湖倉一體分析服務(LAS)引擎為例,介紹如何利用“項目參數管理”區分不同環境庫和時間格式的查詢。

在使用之前,由于1個業務需求常常涉及10+任務、30+參數,且不同環境DB中、table基本一致,需要管理2套代碼。數倉研發人員難以避免出現測試代碼在生產環境執行、表誤刪、數據誤刪等問題。

在使用之后,只需要3個步驟即可解決生產、測試環境數據隔離問題:

· 步驟一:LAS有2套環境,包括測試環境庫test_dev、生產環境庫test_prod 。2套環境都有相同表名LAS_table01、分區字段名datetimes。開發環境分區字段為yyyymmdd,生產環境分區格式為YYYY-MM-DD。在DataLeap中設置日期參數arg,開發環境參數值=\${date}、生產環境參數值=\${DATE}。設置庫參數env,開發環境=test_dev、生產環境=test_prod。

·步驟二:對于離線數據開發任務,研發人員可以直接在代碼中使用項目參數,點擊“解析”“調試”,系統會自動替換為相應的開發環境參數值,并進行語法解析、權限檢查等。

·步驟三:點擊“提交上線”、“任務例行執行”時,對于項目參數,系統會自動替換為相應的生產環境參數值,然后進行相應的語法解析以及權限檢查。從而有效提升環境代碼管理效率。

據介紹,企業可以在以下場景使用火山引擎DataLeap“項目參數管理”能力:

【場景1】開發生產環境隔離

·以HSQL任務為例,為避免在開發測試階段,因誤操作影響生產庫表的數據,研發人員可以在HSQL代碼中使用項目參數。調試時,系統會自動替換為開發環境參數值;上線后的任務例行執行,系統將自動替換為生產環境參數值。同時,DataLeap也支持代碼一致,無需在上線前批量將開發環境的庫表名稱替換為生產環境的庫表名稱。

【場景2】跨區域/項目代碼同構

·一般來說,不同Region下的庫、表名不同。為了實現不同Region、項目下代碼同構,研發人員可以在HSQL代碼中使用項目參數,來實現不同環境下,同一個任務的代碼同構,有效提升環境代碼管理效率。

火山引擎DataLeap讓研發人員不再需要通過”調度設置-任務輸入參數”的方式添加項目參數,只需定義一次參數即可輕松構建,并且實現生產、測試環境下的數據自動隔離,代碼同構。除此之外,DataLeap還具備數據集成、開發、運維、治理、資產、安全等數據中臺建設能力,助力企業提升數據研發效率、降低管理成本,為數字化轉型提供支撐。(作者:楊文文)

標簽:

相關閱讀

精彩推薦

相關詞

推薦閱讀

主站蜘蛛池模板: 中文国产成人精品久久一区 | 2021国产精品成人免费视频 | 44383亚洲大成网人网站 | 亚洲天堂在线观看视频 | 免费成人在线播放 | 羞羞视频免费网站在线 | 日韩狠狠操 | 野花的视频在线观看免费高清 | 美国一级做a一级视频 | 亚洲精品高清中文字幕 | 色偷偷777| 欧美一级片免费在线观看 | 两性午夜又粗又大又爽视频 | 中文字幕在线视频网 | 一个色在线视频 | 在线精品国内外视频 | 农村女人偷人一级大毛片 | 在线播放性xxx欧美 在线播放你懂的 | 精品久久香蕉国产线看观看亚洲 | 欧美国产成人精品一区二区三区 | 在线a人片免费观看不卡 | 欧美一区永久视频免费观看 | 欧美日韩 国产区 在线观看 | 午夜久久精品 | 久久久久成人精品免费播放动漫 | 日韩www视频 | 国产精品亚洲午夜一区二区三区 | 就草草在线观看视频 | 国产精品边做边接电话在线观看 | 日韩日批 | 精品无人区麻豆乱码1区2区 | 亚洲第一视频网 | 在线免费观看黄色网址 | 亚洲精品自在线拍 | 国产亚洲女在线精品 | 甜性涩爱免费在线观看 | 六度国产福利午夜视频黄瓜视频 | 中文字幕视频二区 | 日韩成人午夜 | 国产午夜影院 | 边做边叫床的大尺度床戏欧美 |