采用大数据系统后,数据管理是如何随着整体数据环境的变化进行规划和执行的?Lakshmi Randall顾问分享了自己的观点。
过去的几年里,数据环境的变化不会在短时间内产生影响。随着大数据系统的扩张,数据行业的一些基本原则逐渐改变。这些变化需要数据专业人员具备很强的灵活性。近20年里,Lakshmi Randall花费了大量时间研究数据准备和质量问题。
将数据仓库与数据湖拿来做比较是有意义的。数据环境逐渐改变,你如何看待今天的数据仓库和数据湖之间的关系?
Lakshmi Randall:数据从收集到分析都是逐步完成的。当你理解了数据,当它实现结构化并且源于熟悉数据源时,线性方法就能发挥作用。
但在大数据环境下,对于半结构化或非结构化的数据,比如医生或保险索赔表单数据,线性方法不再可行。想要分析这些数据,必须找到数据源,完成数据归档并充分理解数据的意义。
你可以把获得的数据移动到数据仓库,或者直接舍弃无用数据。我认为随着数据环境的变化,不应该仅仅停留在线性的方法上,而是要思考发现和探索更多的方法。这样在处理或存储数据时,你才能采用最佳的方法。
数据环境的变化也带来了新的数据类型。我们应该拥抱不同的、合理的数据体系结构。数据治理仍然非常重要,但是你必须有一定程度的敏捷性和灵活性。
似乎越来越多不同类型的用户需要更多的IT支持,比如类固醇类药物的使用者。
Randall:不同的用户案例需要不同的策略。数据变成迭代过程的一部分,面对不同的用户必须“随机应变”,当然,日常分析也是如此。不同的用户也许是你所说的类固醇类药物的使用者或数据挖掘用户或数据科学家,也许是将某个领域理论知识实践相结合的复合型角色。
为什么要使用NoSQL?
Randall:当你掌握了真正的数据关系,在进行数据建模时更有驱动力,数据建模是不同于传统的关系数据库。这是使用NOSQL数据库的一个很好的例子。
例如,使用NOSQL可以帮助我们发现客户案例中隐藏的特殊关系,因为它存储的数据最接近自然的形式,而不是将数据转换为行和列。人们发现,有一些使用案例会将NoSQL数据库作为优先选项,这一切都与数据的性质有关。如果属于关系数据,那么关系数据库和数据仓库是更好的候选项。
如今,数据行业横跨IT业务。而现实情况是企业需要全能型人才——拥有数据分析能力、定性能力,同时又是领域专家、工艺专家、数据科学家、数据管家等,他们可以帮助企业实现多项业务目标。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
相关推荐
-
Spark尚未“成熟” 用户仍需“专业”
虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。
-
关于如何选择混合云,你不得不知的几件事
近年来,提升云计算能力一直是IT决策者和企业对于未来规划的着重点,随着云计算的不断发展,混合云渐渐成为关键词。
-
【对话Teradata高管】我们很幸运,这是一个“大I小T”的时代
Teradata天睿公司近日在上海举办的“2017 Teradata大数据峰会”上,Teradata天睿公司高管们分享了Teradata在开源技术方面的观点和举措。
-
Tableau 携手神州数码 推进中国商业分析发展进程
为了帮助商业领域的更多从业者使用数据,在更短的时间内做出更好的决策,可视化分析领域的Tableau Software今天宣布与神州数码集团建立合作伙伴关系,在中国的商业分析进程中展开深度合作。