数智化绿色低碳体系建设怎么应答,数智化转型是什么意思
墨初 知识笔记 32阅读
续分析来支持数据系统跨平台的设计、部署和使用从而实现灵活的数据交付。通过散落各处的数据孤岛都能被统一发现和使用并基于主动元数据进行建设和持续分析认为数据编织的真正价值在于它能够通过内置的分析技术动态改进数据的使用同时通过将自动化能力添加到整体数据管理中使数据管理工作量减少 70% 并加快价值实现速度。
——Gartner
而大模型在数据治理和数据管理方面的力度我最终认为会实现最终的DataFabric
Data Fabric是一套新兴的数据管理自服务方式通过智能化手段对企业的整体数据资源、元数据、业务规则等实现自发现、自分类、自关联并提供手段可以快速异构同步/查询的方式快速完成数据获取和分析从而实现企业数据资产全覆盖和高效的数据洞察。
——
不止步于数智化的数据治理
Chat with Your Data最终目标
这就是结束了么并不是。我认为最终智能化的数据治理和DataFabricChat with Your Data才是目标也就是让每个有权限的员工直接可以和企业大模型对话从而实现对企业数据的访问和分析。
而这也正在一步一步成为现实现在的ChatGPT其实是互联网数据通过大量数据训练而成所以你每次和ChatGPT对话的时候你是在和整个互联网对话。而现在有很多开源工具可以让你更简单的接入企业数据自己训练自己的大模型。如下图我前面的举例白鲸开源的WhaleLLM的大模型例子就是利用Apache SeaTunnel去获得多大150多种企业数据库同步和访问的权限利用Apache DolphinScheduler来训练出来自己的DataFabric大模型。每个企业都可以简单的使用这些开源大模型生态来通过比较小的代价GPU可以使用4090、A40、V100等来训练自己的大模型。
当然这些开源大模型的训练生态还在迭代还有很多需要进一步提高的地方而DataFabric这个概念也是和大模型一样刚开始落地不过我相信有大模型的助力和DataFabric理念框架的指引最终在每个企业里都可以拥有自己的人工智能大数据管理平台。
未来几年企业的“数智化”升级是离不开大模型的助攻数据治理的“数智化”升级只是开始私有化开源大模型的进一步普及会让企业各方面的传统软件流程再重新构建一次让我们拭目以待
·关于
先生白鲸开源CEO毕业于北京大学现任中国通信学会开源技术委员会委员中国软件行业协会智能应用服务分会副主任委员Apache基金会成员, Apache孵化器导师全球中小企业创业联合会副会长TGO鲲鹏会北京分会会长ApacheCon Asia DataOps论坛主席波兰DataOps峰会、北美Big Data Day演讲嘉宾虎啸十年杰出数字技术人物中国开源社区最佳33人中国2021年开源杰出人物。
先生曾任易观CTO联想研究院大数据总监万达电商数据部总经理先后在中金、IBM、Teradata任大数据方重要职位对大数据前沿研究做出卓越贡献。同时参与多个技术社区工作Presto, Alluxio,Hbase等是国内开源社区领军人物。
★以上由投递申报的观点性文章最终将会角逐由数据猿与上海大数据联盟联合推出的《2023中国企业数智化转型升级先锋人物》榜单/奖项。
该榜单奖项最终将于11月14日以下活动中进行榜单的首发与奖项的颁发欢迎报名莅临现场