視訊!火山引擎DataLeap:從抖音電商來看,“數據質量治理”怎么做?
經過近年發展,抖音電商的體量和規模已經相當可觀。
(資料圖)
基于數據驅動思路,抖音電商在數倉建設、數據管理等層面實現準確分析和測量數據,做出以數據為依據的決策,從而推動業務快速發展。本文對話抖音電商團隊,為你揭秘龐大數據體量下的數據質量管理最佳實踐。
數據有效性、及時性、準確性關系到C端用戶體驗和B端商家決策,在數據體量龐大的情況下,難以避免數據缺失、緯度錯誤、產出延時等問題,這與數據質量管理息息相關。據抖音電商數據團隊介紹,之前數據質量問題集中體現在:歷史數據繁多,導致無法準確定位異常數據;缺乏合理的監控規則;補齊表監控規則時間、人力成本高等。
為了高效、便捷實現數據質量監控,抖音電商數據團隊引入火山引擎DataLeap數據質量平臺,通過數據波動監控、異常報警、數據內容探查及差異對比工具等功能,保證數據在生產及使用流程中的可靠性和合理性,避免因為數據質量導致的數據失信、決策失誤等事故。
抖音電商數據團隊主要介紹了數據質量監控、數據異常治理兩個場景。
在數據質量監控上,抖音電商通過火山引擎DataLeap對抖音APP存量數據質量配置監控,并沉淀合理的監控規則,方便監控任務的配置情況及把關數據質量。
火山引擎DataLeap數據質量平臺
首先,在監控范圍上,通過數據質量平臺實現ToB、ToC 任務覆蓋全量監控,及時規避數據質量風險;其次,在推進機制上,由于 ToC鏈路上游多且監控任務帶來過多計算資源消耗,抖音電商團隊優先從核心數據鏈路開展數據質量監控;最后,在落地執行上,通過確立目標、Owner和進度,完成表行數、重復值、空值、表字段、異常值的梳理。
最終實現抖音電商數據質量管理全鏈路標準化,即由牽頭人發起配置事項,通過火山引擎DataLeap數據質量平臺完成監控配置,并跟蹤完成情況,最后相關數據被推送至看板,方便相關數據研發人員查看和復盤。
對于數據異常情況,抖音電商團隊主要通過火山引擎DataLeap表探查的能力來解決。
數倉中較多數據表字段存在異常值、空值,在使用前無法感知,導致在數據使用時才發現質量問題,再由業務方反饋,處理效率較低。火山引擎DataLeap具備制定統一的監控規范與開發規范能力,支持檢測歷史數據異常以及空值等情況,并默認處理、標注數據屬性,確保無數據質量問題,才推進表上線流程。
除數據質量治理外,火山引擎DataLeap還具備數據集成、開發、運維、資產、安全等全套數據中臺建設能力,有效提升數據研發效率、降低管理成本,目前已經應用于泛互聯網、制造、新零售、汽車等領域。(作者:康峰)
關鍵詞:
2023-03-23 12:49:00
2023-03-23 12:42:32
2023-03-23 12:41:31
2023-03-23 12:33:57
2023-03-23 12:09:13
2023-03-23 11:47:43
2023-03-23 11:42:54
2023-03-23 11:41:31
2023-03-23 11:32:18
2023-03-23 10:55:57
2023-03-23 10:31:38
2023-03-23 09:42:49
2023-03-23 09:42:31
2023-03-23 09:39:06
2023-03-23 09:38:03
2023-03-23 09:36:35
2023-03-23 09:36:07
2023-03-23 09:35:48
2023-03-23 09:34:01
2023-03-23 09:29:33
2023-03-23 09:29:13
2023-03-23 09:26:51
2023-03-23 09:26:06
2023-03-23 09:25:46
2023-03-23 09:25:25
2023-03-23 09:25:20
2023-03-23 09:25:15
2023-03-23 09:24:17
2023-03-23 09:24:03
2023-03-23 09:23:43
2023-03-23 09:23:08
2023-03-23 09:22:40
2023-03-23 09:21:48
2023-03-23 09:21:34
2023-03-23 09:20:57
2023-03-23 09:20:52
2023-03-23 09:17:40
2023-03-23 09:16:55
2023-03-23 09:16:33
2023-03-23 09:15:12
2023-03-23 09:14:39
2023-03-23 09:14:28
2023-03-23 09:14:24
2023-03-23 08:58:55
2023-03-23 07:57:33
2023-03-23 07:50:34
2023-03-23 07:43:23
2023-03-23 07:36:19
2023-03-23 07:35:55
2023-03-23 06:56:57
2023-03-23 06:52:55
2023-03-23 06:37:10
2023-03-23 02:58:25
2023-03-22 22:53:28
2023-03-22 20:58:02
2023-03-22 20:51:56
2023-03-22 20:41:30
2023-03-22 20:38:42
2023-03-22 20:37:21
2023-03-22 20:34:59
2023-03-22 20:31:41
2023-03-22 19:54:02
2023-03-22 19:47:44
2023-03-22 19:45:13
2023-03-22 19:44:38
2023-03-22 19:44:12
2023-03-22 19:40:20
2023-03-22 19:39:43
2023-03-22 19:37:45
2023-03-22 19:34:38
2023-03-22 18:58:04
2023-03-22 18:58:02
2023-03-22 18:48:15
2023-03-22 18:46:51
2023-03-22 17:07:54
2023-03-22 17:06:45
2023-03-22 16:57:56
2023-03-22 16:54:11
2023-03-22 16:50:45
2023-03-22 16:40:59
2023-03-22 16:40:20
2023-03-22 16:40:12
2023-03-22 16:39:49
2023-03-22 16:38:48
2023-03-22 16:38:23
2023-03-22 16:37:28
2023-03-22 16:37:19
2023-03-22 16:37:00
2023-03-22 16:32:26
2023-03-22 16:28:06
2023-03-22 16:24:45
2023-03-22 16:24:04
2023-03-22 16:23:26
2023-03-22 16:22:28
2023-03-22 16:20:59
2023-03-22 16:20:44
2023-03-22 16:20:02
2023-03-22 16:19:53
相關新聞