數據開發必看!火山引擎DataLeap如何解決數據隔離問題?
在離線數倉開發過程中,研發人員需要根據業務變化,在開發/生產環境中不斷切換、解析、調試。以往,企業一般通過人工方式核驗,但由于數據量大且類型不同,導致研發人員資源、精力投入大。
如何使同構代碼在不同環境正確運行,避免因調試過程中的誤操作,對生產環境直接造成數據負面風險,成為很多企業數倉研發團隊的痛點之一。
近期,火山引擎DataLeap推出“項目參數管理”能力,即通過自定義項目參數分別設置開發、生產環境參數值,參數支持配置多種類型,包括Region、DB、shecma、table、date以及自定義等,且支持任務級別引用,快速幫助研發團隊實現資源隔離。
(資料圖片)
火山引擎DataLeap“項目參數管理”能力
以湖倉一體分析服務(LAS)引擎為例,介紹如何利用“項目參數管理”區分不同環境庫和時間格式的查詢。
在使用之前,由于1個業務需求常常涉及10+任務、30+參數,且不同環境DB中、table基本一致,需要管理2套代碼。數倉研發人員難以避免出現測試代碼在生產環境執行、表誤刪、數據誤刪等問題。
在使用之后,只需要3個步驟即可解決生產、測試環境數據隔離問題:
· 步驟一:LAS有2套環境,包括測試環境庫test_dev、生產環境庫test_prod 。2套環境都有相同表名LAS_table01、分區字段名datetimes。開發環境分區字段為yyyymmdd,生產環境分區格式為YYYY-MM-DD。在DataLeap中設置日期參數arg,開發環境參數值=\${date}、生產環境參數值=\${DATE}。設置庫參數env,開發環境=test_dev、生產環境=test_prod。
·步驟二:對于離線數據開發任務,研發人員可以直接在代碼中使用項目參數,點擊“解析”“調試”,系統會自動替換為相應的開發環境參數值,并進行語法解析、權限檢查等。
·步驟三:點擊“提交上線”、“任務例行執行”時,對于項目參數,系統會自動替換為相應的生產環境參數值,然后進行相應的語法解析以及權限檢查。從而有效提升環境代碼管理效率。
據介紹,企業可以在以下場景使用火山引擎DataLeap“項目參數管理”能力:
【場景1】開發生產環境隔離
·以HSQL任務為例,為避免在開發測試階段,因誤操作影響生產庫表的數據,研發人員可以在HSQL代碼中使用項目參數。調試時,系統會自動替換為開發環境參數值;上線后的任務例行執行,系統將自動替換為生產環境參數值。同時,DataLeap也支持代碼一致,無需在上線前批量將開發環境的庫表名稱替換為生產環境的庫表名稱。
【場景2】跨區域/項目代碼同構
·一般來說,不同Region下的庫、表名不同。為了實現不同Region、項目下代碼同構,研發人員可以在HSQL代碼中使用項目參數,來實現不同環境下,同一個任務的代碼同構,有效提升環境代碼管理效率。
火山引擎DataLeap讓研發人員不再需要通過”調度設置-任務輸入參數”的方式添加項目參數,只需定義一次參數即可輕松構建,并且實現生產、測試環境下的數據自動隔離,代碼同構。除此之外,DataLeap還具備數據集成、開發、運維、治理、資產、安全等數據中臺建設能力,助力企業提升數據研發效率、降低管理成本,為數字化轉型提供支撐。(作者:楊文文)
標簽:
相關閱讀
-
英特爾發布NUC 13 Pro迷你主機,搭載13代酷睿處理器|世界頭條
3月28日,英特爾推出了英特爾NUC13Pro新一代迷你主機,代號為ArenaCanyon,主機尺寸還是4x4英寸,升級到...
2023-03-28 -
SSD大崩盤!2TB M.2固態硬盤低至539元
QUANXING銓興N301M 2固態硬盤2TBPCIe3 0當前秒殺價899元,領取滿減360元優惠券,折合到手價低至539元...
2023-03-28 -
當前快訊:袁希福老中醫:“腫瘤好像瘤疤,有時候瘤疤去掉了,人可能也沒了”
一旦病情發展到晚期,病人身體迅速惡化,命都快保不住了,你還想著腫塊大了,指標升高了,還有意義嗎?沒...
2023-03-28 -
步行者讓了一套首發!獨行俠23分大勝,終結4連敗,但仍排第十一 當前觀察
獨行俠今天在客場以127-104大勝步行者,終結了4連敗,這也是東歐組合同時出戰的第四場勝利。不過即使算...
2023-03-28 -
【天天快播報】咳嗽明明如此常見,為什么有些咳嗽很難治愈?是因為沒有辨證而治
咳嗽分為外感咳嗽和內傷咳嗽兩大類。外感咳嗽是外感六淫侵襲肺系統;內傷咳嗽是臟腑功能失調,內邪干肺...
2023-03-28 -
英特爾發布NUC 13 Pro迷你主機,搭載13代酷睿處理器|世界頭條
3月28日,英特爾推出了英特爾NUC13Pro新一代迷你主機,代號為ArenaCanyon,主機尺寸還是4x4英寸,升級到...
2023-03-28 -
SSD大崩盤!2TB M.2固態硬盤低至539元
QUANXING銓興N301M 2固態硬盤2TBPCIe3 0當前秒殺價899元,領取滿減360元優惠券,折合到手價低至539元...
2023-03-28 -
CBA哨聲最多的8人,遼粵僅1人入選,喬帥4大愛徒在內,一人很意外 當前頭條
CBA常規賽繼續進行,今日將迎來第39輪,一共有8場比賽,其中不乏廣東、遼寧、浙江等強隊,第三階段接近...
2023-03-28 -
太陽隊大勝爵士隊,開拓者隊之后,爵士隊也是正式退出附加賽競爭 每日時訊
北京時間3月28日,NBA常規賽,太陽隊對陣爵士隊,實力強悍的太陽隊沒有手下留情,開局就穩穩的取得了優...
2023-03-28
精彩推薦
閱讀排行
相關詞
- 沃爾沃XC90
- 觀點:教你學游泳(游泳的方法和步驟)
- 全球速遞!“南南合作的典范”——走進中烏友誼農業技術示范中心
- 【地評線】東湖評論:戒焦戒躁,美妝市場大有可為
- 劍靈沒活力了怎么辦 劍生命力耗盡法則有哪些
- 美國槍擊案幸存者當面質問官員:為何校園槍擊案再三發生?
- 企業租房的時候應該注意什么 房屋租賃的租客和房東要提供什么材料?
- 工行異地轉賬手續費 小編帶你清楚了解
- 如何打開快捷方式 具體方法如下文 全球微資訊
- 燦爛的近義詞是什么詞(燦爛的近義詞是什么)
- 全球通訊!王明的這一生簡介 詳細內容為你介紹
- 今日關注:下沉干部是什么意思 相關內容講解
- 本周聯盟第一雄鹿隊重新回到榜首的位置
- 摔角動態肥喬首度透露自己在擂臺退役后最想呆的地方
- 張雨綺八爪魚是怎么回事 節目組霸氣回應
- 南京建國甲狀腺研究院哪些原因會導致我們患上甲減對我們的身體會造成什么影響
- qq空間網頁版怎么登錄 還不知道的看過來吧
- 衛生間如何做第二次防水 衛生間防水到底要刷幾遍?
- QQ三國符鬼怎么弄啊.
- NBA常規賽尼克斯對陣火箭此役布倫森缺席 最新
- 掘金主場116比111擊敗76人迎來4連勝_最新快訊
- 房屋漏水常見問題有哪些原因 平房漏水怎么徹底解決方法有哪些?
- 名宿之子坐穩火箭先發:美記分析斯通不會提前續約明夏資質報價
- 房頂漏水找不到漏水點怎么辦 樓上漏水樓下怎么補漏?
- 全國中小學生安全教育日:與安全“童”行
- 喬治傷退后參加綜藝,細談威少是歷屆最愛隊友,詹姆斯成內心遺憾
- 刷墻面積怎么計算平方 房屋外墻滲水怎么徹底解決?
- 播報:蘋果頭顯要來?WWDC 2023 6月5日見!
- 每日熱聞!狂轟17球!國米34歲棄將越老越妖,完爆科雷亞,小因扎吉被打臉
- 湖人愿意留隊球員出爐,哈登不被看好,開拓者獲1換1交易建議 焦點快看
- 舊地磚不鏟除翻新怎么處理最好 舊房翻新70平米多少錢?
- 法國零封擊敗愛爾蘭姆巴佩承認格外關注弗格森
- 新房裝修完多久可以入住 才裝修完的新房一邊通風一邊住好嗎?
- 森林狼全民皆兵而多點開花國王三分打鐵陷入過多單打
- 房屋地基下沉會有什么影響 如何判斷房屋地基是否下沉?
- 電風扇不轉原因及維修方法視頻(電風扇 不轉)
- 房屋下沉怎么才能加固地基 造成地基下沉的原因有哪些?
- 【全球時快訊】森林狼擊敗國王拿下4連勝戰績來到39勝37負與勇士持平
- 摔角動態外媒爆料心碎小子有望在未來打兩場比賽 并任一場大賽的裁判_焦點簡訊
- 小區地下車庫屬于業主還是開發商 小區地面停車位是公攤面積嗎怎么算?
- 摔角動態黑羊回應痛襲圣盾 如今這里是我的后院-熱消息
- 全球焦點!森林狼隊本場比賽的表現十分驚艷
- 信用卡還了多久可以再刷出來 信用卡逾期無力償還如何處理?
- 農業銀行社保卡的錢可以取出來嗎安全嗎 社保卡有年費嗎現在?
- 股票賬戶丟失銀行卡怎么補辦 銀行卡注銷了還可以查流水嗎?
- 致力于可持續發展,藝卓再取得兩項新成果|環球關注
- 分紅型保險紅利怎么領取 分紅保險的分紅是如何計算的?
- 摔角動態懷亞特推特再發聲 世界吞噬者回歸在即_世界新消息
- 晴朗的拼音教學(晴朗的拼音)
- 闊達的反義詞是啥(闊達的反義詞)
- 需要一半留下一半打一字謎為什么是雷(需要一半留下一半打一字謎)|天天最資訊
- 千淘萬漉雖辛苦的下一句詩是什么(千淘萬漉雖辛苦的下一句)
- 國外泛濫成災,在海內卻是法寶,人稱“紅三七”,民間常用來泡酒
- 環球微動態丨哈爾濱市香坊區兒童口腔疾病綜合防治宣教中心成中小學健康教育基地
- 世界熱門:帕爾梅耶:當時里昂是全法最好的俱樂部
- 環球熱頭條丨“彩虹村”的樣本價值
- NBA球隊實力榜:雄鹿居首綠軍第二 勇士NO.12湖人17
- 標晚:預計孔蒂的弟弟吉安盧卡-孔蒂將會和他一起離開熱刺 環球關注
- b站購買邀請碼有什么用_b站邀請碼怎么獲得 天天訊息
- NBA官宣撤銷東契奇技犯目前累積15T今日出戰步行者 看點
- 史密斯-羅:我不知道手術后我能不能恢復到原來的狀態
- 什么燭夜游的意思(什么燭夜游)_天天微速訊
- 【世界報資訊】贊美老師的段落(贊美老師的作文)
- 我們新疆好地方視頻(我們新疆好地方) 環球頭條
- 摔角動態巴蒂斯塔表決心 直言愿意在自家后院打摔角掙錢|速看料
- 本賽季哈登坐鎮的76人可謂是有恃無恐_每日信息
- 真保值!iPhone折舊率僅為安卓一半 三年的舊iPhone僅折舊11.3% 焦點日報
- Apple Watch無創血糖監測但還得等3年|天天播資訊
- 每日速看!焦點,重頭戲!黨毅飛,連勝韓第三,大功臣!中國連續3屆包攬冠亞軍
- 消息!飛凡F7起售20.99萬元 續航666km給力
- 蘋果用戶大喜!iPhone折舊率賺大了-當前速讀
- 天天熱點評!發現惡意代碼!卡巴斯基爆錘拼多多
- 新華時評:美國制度設計的初始邏輯背離民主真諦——揭穿美式民主真相之一 觀速訊
- 貌合神離?42歲謝杏芳膚白貌美,1米78身材傲人,林丹不耐煩!
- 每日精選:姚明為何能成為NBA狀元?拋開中國市場,這三項數據CBA無人能及
- 大美中國 候鳥北歸丨記者探秘“候鳥天堂”沉湖濕地里的“黑科技”
- 暢通“知產”變“資產”渠道 全球焦點
- 潤天智、招金膜天擬闖關北交所,已完成輔導備案工作 焦點速讀
- 【新聞隨筆】為鄉村振興注入體育動力
- 全隊無力狀態,一代更比一代差,洋帥該如何破解世紀難題-世界快資訊
- 國債逆回購和銀行理財哪個好一點 國債逆回購1000元一天可以賺多少錢?
- 全球觀點:浙江祥晉擬沖刺A股,已完成輔導備案工作
- 債券漲跌和股票漲跌有什么關系 為什么股市跌債券反而漲價?
- 逾20家公司“預喜”首季業績 近半增幅超五成
- 正股價低于轉股價是好是壞 可轉債轉股對股票有什么影響?
- 焦點訊息:讓暖意在鄰里間流淌(民生觀)
- 吸金女王!中國網球名將0-2出局,無緣八強仍獲獎金67萬_天天速看料
- 可轉債正股價格和轉股價格的關系有哪些 為什么不建議玩可轉債原因是什么?
- 全球消息!浙江華遠、創志科技創業板IPO過會
- 微信50000怎么免費提現 微信提現手續費太貴了該怎么辦?
- 9月18日是什么紀念日的圖片(9月18日是什么紀念日)
- 【世界報資訊】摔角動態小妖精一連創下兩個紀錄 其中一項紀錄有點尷尬
- 云南通報受賄人行賄人相約自動投案案例 系近年來首例-環球微動態
- 商轉公順位抵押流程是什么 順位抵押可以抵押幾次貸款?
- 作文(我和書的故事)-簡訊
- 國網標志大全(國網標志) 每日視點
- 今日熱聞!“數據”賦能基層“智”理
- 義安區市衛健委分列第一名
- 天天速訊:市領導赴浙江上海等地開展招商引資
- 郵享貸還款后多久恢復額度正常 郵享貸必須要人工審核嗎為什么?
- 今日關注:爭先恐后的反義詞的四字詞語(爭先恐后的反義詞)
- “小塊頭”釋放“大能量” 環球今熱點
- 銀行卡轉入余額寶要手續費嗎 支付寶余額寶轉銀行卡多久到賬?
- 蘋果MR頭顯售價超20000元
- 環球要聞:吃了地平類降壓藥之后,為什么每天晚上腳腫,但睡醒了又正常?
- 微信分付有額度為什么付不了 微信怎么申請商家收款碼方法有哪些?
- 環球信息:百億補貼史低價!2T固態硬盤僅529元
- 景氣度上行風電產業迎交付大年 多家上市公司中標相關項目_百事通
- 微信分付額度會漲嗎為什么 微信分付關閉后可以再開通嗎?
- 科瑞思正式登陸創業板,盤中一度漲逾45%
- 頭條焦點:睡覺時突然腿抽筋,除了是缺鈣,還需警惕這2個原因
- 新華視點|高校節約用水潛力觀察:一年可節約20萬個“游泳池”|快訊
- 長江健康注射用伏立康唑獲批上市 進軍20億抗真菌藥物市場|世界微動態
- 辦一類卡要看征信嗎現在 征信不好能辦理信用卡嗎?
- 雙向奔赴促振興 東西部協作同取“共富經”|天天熱消息
- 全球微速訊:強信心·開新局丨提技能、擴渠道、強服務——就業大省穩就業觀察
- 房貸月供逾期一天會怎么樣 房貸可以逾期最多幾天?
- 環球熱議:“綠電”與“綠氫”靈活轉換!我國首次實現固態氫能發電并網
- 天天熱文:首批2只主板注冊制新股中簽率出爐 另有8只申購在即
- 新華全媒+|河南商丘宋國故城考古發現唐代墓志磚 實證“城摞城”
- 網貸銀行卡號填錯了錢沒打進來需要還嗎 網貸逾期了暫時還不上怎么解決?
- 全國中成藥集采規則新鮮出爐!不完全以低價者得,降價幅度或較溫和,頭部企業將受益 快資訊
- 于NBA之上休斯敦火箭仍舊讓不少球迷所牽掛 今日報
- 活轉定可以隨時取嗎 定期存款和整存整取區別是什么?
- 活期轉定期有風險嗎現在 買理財產品好還是存定期好?
- 【世界報資訊】火箭隊在整個聯盟里也是高居第4的水平
- 9寸比7寸大多少(9寸) 世界熱消息
- 摔角動態約翰·塞納拍女摔真人秀居然分文錢不要-世界今亮點
- 中國新版護照樣本(中國護照的樣本)相關內容介紹 每日播報
- 重疾險保費豁免條件有哪些 重疾險保額買多少更合適?
- 監控攝像機維修(監控攝像頭的維修小技巧) 世界報道
- 你會不會對如今不少以優秀后衛作為核心的隊伍產生幻想呢
- 二三四五:3月27日融資凈買入2700.61萬元,連續3日累計凈買入6207.52萬元_全球速訊
- 諾基亞產地(諾基亞產地哪個國家的)
- 英雄聯盟皓月女神 感興趣的來看看吧-每日快報
- 【環球快播報】冰激凌原料(你能區分冰淇淋和冰棍嗎?|)
- 超合金曲有哪些歌(超合金曲有哪些歌曲)下文為你帶來整理-環球觀點
- 香蕉蜂蜜面膜(蜂蜜敷面膜怎么做) |時快訊
- 復刻MacOS?微軟Win12原型系統用戶界面曝光:浮動任務欄亮相|今日觀點
- 個人u盾現在還給辦嗎現在 辦了u盾和卡給別人用會怎樣?
- 洪瑛琦李世龍(洪瑛琦李世龍分手原因)
- 視訊!寧靜被隊友感動落淚 具體什么情況
- 資訊:牛欄奶粉真偽(三招搞定荷蘭牛欄奶粉真假)
- 【播資訊】中國植樹節在幾月幾日 想了解的看過來吧
- 2022年黃道吉日一覽表 - 萬年歷 環球熱點
- 真人版阿拉蕾(林依晨cos少女阿拉蕾)
- 潮汐王子成就(潮汐王子成就攻略)
- 環球觀熱點:為什么這么多人黑周星馳 這是什么原因呢
- 什么是寒食節 寒食節的由來 - 寒食節的由來傳說
- 防輻射保護屏(防輻射保護屏有用嗎 是智商稅嗎) |全球熱議
- 全球觀點:九等天使(九等天使是什么意思)相關內容介紹