【推荐阅读】大数据的泡沫、价值和陷阱，你分得清吗？-钱塘大数据
【推荐阅读】大数据的泡沫、价值和陷阱，你分得清吗？-钱塘大数据
点击图片，章慕良查看钱塘号相关信息
导读：数据爆炸式增长和科技高速发展所带来的冲击，加大了未来的不确定性。当我们接收的数据和信息越多，面临的选择就越多，我们该如何善用大数据？
作者：杜圣东 ZMTech CEO
期待更多读者朋友的来稿
微信后台回复：“sq”，进入资料分享社群
热门推荐：大数据热门干货报告汇总，赶快领取！
如何从混沌中发现规律，成为预测未来的“先知”，抑或是少出几只黑天鹅？是历代人类的梦想。不管是古人的占卜、算命还是现在的专家系统、商业智能、数据挖掘、机器学习、人工智能、智慧地球、智慧城市等应用，都源于我们对未来不确定性的恐惧。
随着舍恩伯格教授《大数据时代》一书的面世，给我们带来了“醍醐灌顶”式的认知洗礼，难道抓住大数据这根救命稻草，我们就有机会做“先知”？从而也更有能力把自己和周遭世界管理得更好吗？在一定程度上是这样的，但我们也要知道，任何技术都是把双刃剑。
大数据泡沫：泡沫是必然但有其深远意义
甲骨文公司CEO埃里森曾说过，高科技是唯一能媲美好莱坞的产业，说明高科技领域的技术明星也是变换极快的。技术和产品一样，有其发展周期规律，大数据也是一种技术手段，最终目的还是要解决现实问题，不管是科研、商业还是政府管理问题。关注大数据的人多了，自然就有泡沫，个人认为泡沫主要体现在如下几个方面：
（1）这几年社会上关于大数据的宣传，媒体人的引进和炒作，有部分内容是在误导大家，主要原因还是很多人在盲人摸象，少有系统的研究和理解。
（2）只知其然不知其所以然，导致对大数据应用的期望太高，大数据技术不是万金油，在新的技术泛型和技术生态下jk金东旭，现阶段技术的稳定性、成熟性和有效性还待进一步发展。
（3）关注重点有问题，导致目前的很多大数据应用并未涉及到核心业务和计算模型，多是数据的采集和存储管理，这也是造成行业整体门槛还不够高，同质化竞争激烈，没有发挥出应有价值的原因。
大数据泡沫显然是客观存在的，但其长期的应用价值却不容小觑。大数据泡沫的价值就是让全民认识到大数据时代数据分析和数据决策的重要性，这波泡沫过去，也许我们能正式跨入人工智能时代仙神易。
大数据价值：需要你自己去定义
现阶段大数据领域注重数据采集、数据存储、基础计算和可视化等层面，唯独对数据挖掘建模和决策支持这两个硬骨头没有展开深入研究和对接，这是大数据难以落地的根本原因。
我们大多数人决策其实是靠感觉、个人经验或别人建议，少部分人会亲自对报表等小数据进行客观数据分析。而大数据为我们提供了一种更加可靠的决策支持，毕竟数据不会说假话。大数据本身不产生价值，大数据的根本用途是利用大数据挖掘分析对我们的决策提供规律、知识和经验等科学依据，客观上减少面对未来决策的不确定性。
为什么大数据的价值需要我们自己去定义呢？因为对于未来、对于未知领域，我们每个人或组织面临的不确定性问题是不一样的，有的偏个体（如疾病诊断，犯罪预测），有的偏大众（如广告营销、客户细分），有的偏微观（如基因序列重生之繁衍者，个性化教育），有的偏宏观（环境监测、天文数据处理），有的关注资源优化配置（如供需匹配，出行服务），有的关注宏观决策（如政府资产分析、综合管控）......
可以说大数据分析需求无处不在，而又大不相同夏川里美。这就需要从自身实际需求和数据、技术现状出发，自行设定大数据分析的价值和应用目标，生搬硬套互联网公司那套做法，不可取。
大数据陷阱：应用前先问自己几个问题
综上所述，大数据无疑是好东西，很多组织机构也正在规划或建设大数据平台，很多创业玩家也正在计划或进行大数据领域的技术服务或产品研发。但大数据领域面临的陷阱也是不少，如何才能不畏浮云遮望眼，走出一条扎实的大数据应用落地之路。本文提几个问题供大家参考：
（1）第一问：我属于什么级别的玩家？
大数据的核心优势在于规模效应，你的业务量越大、业务覆盖性越广、数据量越大，大数据投入的成本就越容易被摊薄，而长远获取的大数据应用价值就越巨大。所以，我一直认为政府才是最适合大数据应用的超级玩家，这也是为什么大数据独角兽企业Palantir的产品只有政府定制版（ＦＢＩ，ＣＩＡ专用）和金融定制版（华尔街金融巨头专用）的原因。
所以做大数据之前，先问问自己，我属于什么级别的玩家。我有特定领域的海量数据吗？有数据科学能力相关的核心技术（应用建模）吗？有机会成为BAT吗？或者降一级有机会成为Uber、滴滴、摩拜吗？研发的产品能否等到大规模应用之时？提供的技术是否符合客户的业务需求？因为一般来讲，大数据的初始投入成本是很高的，自我定位很关键。
（2）第二问：我是搞技术驱动、业务驱动还是数据驱动？
当前不少公司的大数据产品和服务不接地气，从开始规划上就有一定问题。很多公司都号称自己有云计算和大数据方面的产品和服务，覆盖面从Hadoop、Spark、MPP、NOSQL、OpenStack等，到公有云、私有云、商业智能、人工智能、深度学习等等方面，偌大一片浮云，客观上促进了大数据领域的技术高速发展，可惜最终少有几家能活到赚钱。
首先，大数据领域，没有几把刷子是很难玩技术驱动的，像Hadoop,Spark这些基础框架，AlphaGo系统、Nvidia的核心产品等天皇秀，后面都有一帮名校博士、教授等技术大牛的身影在支持；其次，业务驱动最靠谱，但要有足够的创新和资本支持，最近几年出现的Uber、滴滴、摩拜、Airbnb、23andMe、货车帮等创新公司，就是典型的业务驱动型大数据企业，对传统社会和商业的冲击也是颠覆性的，如果能有极好的创意和资本支持，走这条路发展潜力巨大。
而政府和大型垄断国企拥有真正的大数据金矿，有数据+业务驱动的条件，但由于自身管理体制原因或引入的技术实力太弱，大数据的价值远远没有被挖掘出来，当然这也是大机会，我们的国安部门也需要中国版的Palantir。所以大数据应用要接地气，结合自身实力，问问自己搞技术驱动、业务驱动还是数据驱动，是最需要回答的问题。
（3）第三问：我是否清楚大数据应用的局限？
现阶段昔阳政府网，大数据应用面临诸多挑战，新技术泛型下标准的大数据应用体系尚未建立，技术复杂度和风险较高，成功案例和最佳实践缺乏。很多企业和机构都知道大数据潜力巨大金武林，但却不知如何着手，更不清楚大数据应用有哪些局限和潜在的问题。
伯克利的Jordan教授是机器学习领域大牛，他提出了一个很好的比喻：如果大数据给出的结果可靠性低，没有经过充分的验证，就急于应用到实际业务中，会面临很大的风险，就好比是土木工程都没学好就开始造桥，结果只能造出“豆腐渣工程”。
所以我们要充分了解大数据技术的局限性，数据采集的不全面必然导致数据偏见，数据质量的问题会导致Garbage In Garbage Out，我们对分析结果的不理解，或者不进行持续反馈验证升级，就无法确认模型的准确性和稳定性。
数据科学发展到现阶段，从某种程度上讲还不是一个足够严谨的学科，我们有一定的概率做出准确的预测，但是使用不当或预测不准，又会造成不好的后果。
（4）第四问：我是否准备好打一场大数据应用持久战？
从某种程度上讲，大数据的关键不在于具体项目，而在于数据决策中心的持续优化与运营，大数据系统建设要作为一个长远的事业来做，让每个成员都融入大数据管理思维变革过程中。大数据应用应该遵循“快、小、证”大数据应用原则，对一个具体的大数据项目来讲，能做到快速出原型，小分析点切入，证明有效之后再扩张的原则，就不用惧怕失败，失败后切换到下一个分析目标即可。
由于大数据项目前期的实际投入成本远远大于收益，这就更需要精耕细作，打一场大数据应用持久战，可以从小处着手，逐步构建统观全局的分析链，从而建立组织未来的大数据中心和基于大数据分析的辅助决策大脑。
（5）第五问：我是否了解大数据风险与数据偏见？
大数据时代，信息意味着权利，不同层级的信息代表不同层次的权利。这使得大数据集中之后也面临着技术风险、成本风险、安全风险和管理风险等多个层面的问题，每个层级玩家面临的风险各有侧重，需要充分引起重视。
（6）第六问：我是否理解并能贯彻大数据思维？
大数据时代，数据驱动决策是我们的必然选择，毕竟事实胜于雄辩，数据能最大限度地说明问题，数据能让你了解一些以前根本都不知道的事情，除了本身质量的问题，数据不会说谎，通过大数据挖掘进行量化分析有助于精细化管理和运营，这是大数据思维的核心所在。
不管是企业、机构还是政府，在做大数据规划或应用之前，先问问自己，组织人员理解数据决策吗？大数据能为他们带来怎样的好处？各级领导有没有大数据决策基因或者这种思维变革的驱动力？所以从数据决策角度讲，未来大数据思维在各行各业的渗透和如火如荼的大数据系统建设不亚于一场数据爆炸时代的管理变革“启蒙运动”。
大数据展望：当大数据傍上人工智
最后，做一点展望，谈谈大数据和人工智能，大数据傍上人工智能是IT技术发展的必然王小丫近况。另外大数据与传统商业智能技术在加速融合，如OLAP多维度分析、数据仓库等技术也在向大数据处理靠拢。
大数据的核心价值在于全量数据分析火焰龟，而全量数据意味着智能诞生的基础，初级智能诞生之后会给系统以反哺和回馈数据，就像AlphaGo的强化学习和自我对抗学习一样，通过这种自我学习迭代过程，强人工智能诞生，人类正式跨入ＡＩ时代。
那个时候的若干企业大数据中心、政府大数据中心和地球上的数朵大云，将会插上智能科学的翅膀，成为ＡＩ时代的关键基础设施，到时大数据技术如何演化，国家又会呈现出怎样的社会形态，让我们拭目以待。
作者：杜圣东 ZMTech CEO
扫码进入资料分享社群
不错过任何干货
往期PPT、报告下载：
【10G新年大礼包】大数据热门干货报告汇总，赶快领取！
【干货】45G微信小程序开发合集 （视频教程+源码），免费领取！
【精读】十分钟读完《智能时代》—吴军
【干货】万维钢解读《未来简史》，六期精英日课免费获取！
【干货推荐】大数据+互联网+工业+科技资料汇总，免费领乔四爷的故事取！
往期干货：
回复“吴晓波”，免费获取每天听见吴晓波文字、音频+《腾讯传》PDF回复“吴军”，下载《浪潮之巅》与硅谷来信音频回复“zd”，下载涂子沛《数据之巅》、《大数据》PDF
公众号后台回复“徐工”，下载徐工集团的工业大数据之路
点击图片，章慕良查看钱塘号相关信息
导读：数据爆炸式增长和科技高速发展所带来的冲击，加大了未来的不确定性。当我们接收的数据和信息越多，面临的选择就越多，我们该如何善用大数据？
作者：杜圣东 ZMTech CEO
期待更多读者朋友的来稿
微信后台回复：“sq”，进入资料分享社群
热门推荐：大数据热门干货报告汇总，赶快领取！
如何从混沌中发现规律，成为预测未来的“先知”，抑或是少出几只黑天鹅？是历代人类的梦想。不管是古人的占卜、算命还是现在的专家系统、商业智能、数据挖掘、机器学习、人工智能、智慧地球、智慧城市等应用，都源于我们对未来不确定性的恐惧。
随着舍恩伯格教授《大数据时代》一书的面世，给我们带来了“醍醐灌顶”式的认知洗礼，难道抓住大数据这根救命稻草，我们就有机会做“先知”？从而也更有能力把自己和周遭世界管理得更好吗？在一定程度上是这样的，但我们也要知道，任何技术都是把双刃剑。
大数据泡沫：泡沫是必然但有其深远意义
甲骨文公司CEO埃里森曾说过，高科技是唯一能媲美好莱坞的产业，说明高科技领域的技术明星也是变换极快的。技术和产品一样，有其发展周期规律，大数据也是一种技术手段，最终目的还是要解决现实问题，不管是科研、商业还是政府管理问题。关注大数据的人多了，自然就有泡沫，个人认为泡沫主要体现在如下几个方面：
（1）这几年社会上关于大数据的宣传，媒体人的引进和炒作，有部分内容是在误导大家，主要原因还是很多人在盲人摸象，少有系统的研究和理解。
（2）只知其然不知其所以然，导致对大数据应用的期望太高，大数据技术不是万金油，在新的技术泛型和技术生态下jk金东旭，现阶段技术的稳定性、成熟性和有效性还待进一步发展。
（3）关注重点有问题，导致目前的很多大数据应用并未涉及到核心业务和计算模型，多是数据的采集和存储管理，这也是造成行业整体门槛还不够高，同质化竞争激烈，没有发挥出应有价值的原因。
大数据泡沫显然是客观存在的，但其长期的应用价值却不容小觑。大数据泡沫的价值就是让全民认识到大数据时代数据分析和数据决策的重要性，这波泡沫过去，也许我们能正式跨入人工智能时代仙神易。
大数据价值：需要你自己去定义
现阶段大数据领域注重数据采集、数据存储、基础计算和可视化等层面，唯独对数据挖掘建模和决策支持这两个硬骨头没有展开深入研究和对接，这是大数据难以落地的根本原因。
我们大多数人决策其实是靠感觉、个人经验或别人建议，少部分人会亲自对报表等小数据进行客观数据分析。而大数据为我们提供了一种更加可靠的决策支持，毕竟数据不会说假话。大数据本身不产生价值，大数据的根本用途是利用大数据挖掘分析对我们的决策提供规律、知识和经验等科学依据，客观上减少面对未来决策的不确定性。
为什么大数据的价值需要我们自己去定义呢？因为对于未来、对于未知领域，我们每个人或组织面临的不确定性问题是不一样的，有的偏个体（如疾病诊断，犯罪预测），有的偏大众（如广告营销、客户细分），有的偏微观（如基因序列重生之繁衍者，个性化教育），有的偏宏观（环境监测、天文数据处理），有的关注资源优化配置（如供需匹配，出行服务），有的关注宏观决策（如政府资产分析、综合管控）......
可以说大数据分析需求无处不在，而又大不相同夏川里美。这就需要从自身实际需求和数据、技术现状出发，自行设定大数据分析的价值和应用目标，生搬硬套互联网公司那套做法，不可取。
大数据陷阱：应用前先问自己几个问题
综上所述，大数据无疑是好东西，很多组织机构也正在规划或建设大数据平台，很多创业玩家也正在计划或进行大数据领域的技术服务或产品研发。但大数据领域面临的陷阱也是不少，如何才能不畏浮云遮望眼，走出一条扎实的大数据应用落地之路。本文提几个问题供大家参考：
（1）第一问：我属于什么级别的玩家？
大数据的核心优势在于规模效应，你的业务量越大、业务覆盖性越广、数据量越大，大数据投入的成本就越容易被摊薄，而长远获取的大数据应用价值就越巨大。所以，我一直认为政府才是最适合大数据应用的超级玩家，这也是为什么大数据独角兽企业Palantir的产品只有政府定制版（ＦＢＩ，ＣＩＡ专用）和金融定制版（华尔街金融巨头专用）的原因。
所以做大数据之前，先问问自己，我属于什么级别的玩家。我有特定领域的海量数据吗？有数据科学能力相关的核心技术（应用建模）吗？有机会成为BAT吗？或者降一级有机会成为Uber、滴滴、摩拜吗？研发的产品能否等到大规模应用之时？提供的技术是否符合客户的业务需求？因为一般来讲，大数据的初始投入成本是很高的，自我定位很关键。
（2）第二问：我是搞技术驱动、业务驱动还是数据驱动？
当前不少公司的大数据产品和服务不接地气，从开始规划上就有一定问题。很多公司都号称自己有云计算和大数据方面的产品和服务，覆盖面从Hadoop、Spark、MPP、NOSQL、OpenStack等，到公有云、私有云、商业智能、人工智能、深度学习等等方面，偌大一片浮云，客观上促进了大数据领域的技术高速发展，可惜最终少有几家能活到赚钱。
首先，大数据领域，没有几把刷子是很难玩技术驱动的，像Hadoop,Spark这些基础框架，AlphaGo系统、Nvidia的核心产品等天皇秀，后面都有一帮名校博士、教授等技术大牛的身影在支持；其次，业务驱动最靠谱，但要有足够的创新和资本支持，最近几年出现的Uber、滴滴、摩拜、Airbnb、23andMe、货车帮等创新公司，就是典型的业务驱动型大数据企业，对传统社会和商业的冲击也是颠覆性的，如果能有极好的创意和资本支持，走这条路发展潜力巨大。
而政府和大型垄断国企拥有真正的大数据金矿，有数据+业务驱动的条件，但由于自身管理体制原因或引入的技术实力太弱，大数据的价值远远没有被挖掘出来，当然这也是大机会，我们的国安部门也需要中国版的Palantir。所以大数据应用要接地气，结合自身实力，问问自己搞技术驱动、业务驱动还是数据驱动，是最需要回答的问题。
（3）第三问：我是否清楚大数据应用的局限？
现阶段昔阳政府网，大数据应用面临诸多挑战，新技术泛型下标准的大数据应用体系尚未建立，技术复杂度和风险较高，成功案例和最佳实践缺乏。很多企业和机构都知道大数据潜力巨大金武林，但却不知如何着手，更不清楚大数据应用有哪些局限和潜在的问题。
伯克利的Jordan教授是机器学习领域大牛，他提出了一个很好的比喻：如果大数据给出的结果可靠性低，没有经过充分的验证，就急于应用到实际业务中，会面临很大的风险，就好比是土木工程都没学好就开始造桥，结果只能造出“豆腐渣工程”。
所以我们要充分了解大数据技术的局限性，数据采集的不全面必然导致数据偏见，数据质量的问题会导致Garbage In Garbage Out，我们对分析结果的不理解，或者不进行持续反馈验证升级，就无法确认模型的准确性和稳定性。
数据科学发展到现阶段，从某种程度上讲还不是一个足够严谨的学科，我们有一定的概率做出准确的预测，但是使用不当或预测不准，又会造成不好的后果。
（4）第四问：我是否准备好打一场大数据应用持久战？
从某种程度上讲，大数据的关键不在于具体项目，而在于数据决策中心的持续优化与运营，大数据系统建设要作为一个长远的事业来做，让每个成员都融入大数据管理思维变革过程中。大数据应用应该遵循“快、小、证”大数据应用原则，对一个具体的大数据项目来讲，能做到快速出原型，小分析点切入，证明有效之后再扩张的原则，就不用惧怕失败，失败后切换到下一个分析目标即可。
由于大数据项目前期的实际投入成本远远大于收益，这就更需要精耕细作，打一场大数据应用持久战，可以从小处着手，逐步构建统观全局的分析链，从而建立组织未来的大数据中心和基于大数据分析的辅助决策大脑。
（5）第五问：我是否了解大数据风险与数据偏见？
大数据时代，信息意味着权利，不同层级的信息代表不同层次的权利。这使得大数据集中之后也面临着技术风险、成本风险、安全风险和管理风险等多个层面的问题，每个层级玩家面临的风险各有侧重，需要充分引起重视。
（6）第六问：我是否理解并能贯彻大数据思维？
大数据时代，数据驱动决策是我们的必然选择，毕竟事实胜于雄辩，数据能最大限度地说明问题，数据能让你了解一些以前根本都不知道的事情，除了本身质量的问题，数据不会说谎，通过大数据挖掘进行量化分析有助于精细化管理和运营，这是大数据思维的核心所在。
不管是企业、机构还是政府，在做大数据规划或应用之前，先问问自己，组织人员理解数据决策吗？大数据能为他们带来怎样的好处？各级领导有没有大数据决策基因或者这种思维变革的驱动力？所以从数据决策角度讲，未来大数据思维在各行各业的渗透和如火如荼的大数据系统建设不亚于一场数据爆炸时代的管理变革“启蒙运动”。
大数据展望：当大数据傍上人工智
最后，做一点展望，谈谈大数据和人工智能，大数据傍上人工智能是IT技术发展的必然王小丫近况。另外大数据与传统商业智能技术在加速融合，如OLAP多维度分析、数据仓库等技术也在向大数据处理靠拢。
大数据的核心价值在于全量数据分析火焰龟，而全量数据意味着智能诞生的基础，初级智能诞生之后会给系统以反哺和回馈数据，就像AlphaGo的强化学习和自我对抗学习一样，通过这种自我学习迭代过程，强人工智能诞生，人类正式跨入ＡＩ时代。
那个时候的若干企业大数据中心、政府大数据中心和地球上的数朵大云，将会插上智能科学的翅膀，成为ＡＩ时代的关键基础设施，到时大数据技术如何演化，国家又会呈现出怎样的社会形态，让我们拭目以待。
作者：杜圣东 ZMTech CEO
扫码进入资料分享社群
不错过任何干货
往期PPT、报告下载：
【10G新年大礼包】大数据热门干货报告汇总，赶快领取！
【干货】45G微信小程序开发合集 （视频教程+源码），免费领取！
【精读】十分钟读完《智能时代》—吴军
【干货】万维钢解读《未来简史》，六期精英日课免费获取！
【干货推荐】大数据+互联网+工业+科技资料汇总，免费领乔四爷的故事取！
往期干货：
回复“吴晓波”，免费获取每天听见吴晓波文字、音频+《腾讯传》PDF回复“吴军”，下载《浪潮之巅》与硅谷来信音频回复“zd”，下载涂子沛《数据之巅》、《大数据》PDF
公众号后台回复“徐工”，下载徐工集团的工业大数据之路