什么是大数据?要简单通俗点的解释?(大数据云计算与人工智能)
什么是大数据?要简单通俗点的解释?
1.离线计算对于数据的产出会有一定的时延,具体时延可以是15分钟、小时或者天级别的。离线任务一般会对数据进行全局批计算,这一次运行完就运行完了,不会像实时计算那样,除非你自己停止实时任务,否则实时程序会一直运行。
2.离线计算的话,一般对于数据的产出时延没有那么高的要求,只要数据最终产出即可,具体使用像现在很多公司离线业务报表。目前大多数公司离线计算引擎使用的是Hive或者Spark,实时计算引擎目前主要是Flink。
3.在非关系型NoSQL数据库中,一般最底层的文件存储系统可以选择HDFS。HDFS文件系统将文件按照块来进行存储,一个块的大小为128兆,同时每个块会存储三份,对数据进行容灾存储,即使其中一个块坏了,可以选择其他块进行数据恢复。
4.分布式数据存储技术,需要不同机器一起协同工作,每台机器存储整体数据的一个子集。在未来大数据时代,肯定都会使用分布式数据存储,分布式数据库,会成为大数据系统的标配。
大数据云计算与人工智能
1.某村子里有一家人要喝水,于是就请人在自家门口挖了口水井,于是一家人喝上了水。这就是本地计算,也就是自己买服务器、装网络、装软件为自己的业务提供服务。这种模式投入成本比较高,需要自己建设、自己维护。同时,不喝水时,水井也就闲置着。
2.可是,这家人还养了很多家禽家畜,它们也要喝水。而且周边还种了果树和菜地,这里也需要经常浇水。以前按照传统的“本地计算”模式,就在每个地方都打口井,很费钱。于是,家长想了个整合的办法。先打一口大井,然后在多个用水点装上水管联通。这样哪里要用水就开水龙头即可。这就是私有云。就是将本地服务器进行资源整合,提供本地计算存储资源的共享和弹性使用。
3.上面私有云模式,依然还是要自己打井,自己买装备,自己维护,一次性投入比较高。而且,整个村子的村民都按这种方式搞,村里面还是比较浪费投资。于是村长决定,成立自来水公司。由自来水公司负责打井,取水,储水,净化等工作,同时,自来水公司为每一户用水的村民接上水管,装上水表。这样,村民用水时,只需要打开水龙头就可以用水。水表会记录用了多少水,每个月按量付费给自来水公司就可以了。这就是公有云。这种公有云模式只是提供了基础水资源,我们可以称之为IAAS,翻译成中文就是基础架构既服务。就是有云服务商统一提供IT基础架构,租户可以弹性使用资源,按量付费。而服务商可以将资源共享提供给很多租户。
4.村民要想真正靠卖猪、卖菜、卖水果赚钱。他们还需要在水资源到位的基础上,各自做围蔽、猪圈、安防等环境设施。这又是一种投资浪费。于是,村长决定建设养殖基地和种植基地。基地按承包的面积来付计费,水按水表计费。这样,村民只管使用这些基础水资源和环境就可以了。这就是PAAS,翻译成中文平台即服务。就是在IAAS的服务基础上,又增加了软件的开发环境、运行环境、维护环境等等服务。用户只需专心自己的业务即可。
本文到此结束,希望对大家有所帮助。
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:http://www.9iwh.cn/chuxing/202208/47983.html