在21世纪人类创造了一个革命性的新能源--大数据.关于大数据的概念,笔者作为技术人,并不从官方角度解释,下面笔者就自己工作经验讲讲大数据.
话分两边说,就大部分投资人、互联网公司或计算机工程师来说,大数据是开拓"金矿"的钥匙,将用户数据存放到HDFS(一种分布式存储大数据方式),再通过计算机高内聚运算,如Spart(一种大数据分布式运算架构)挖掘出需要的用户动态结果,如用户搜索、浏览历史、点评、购物车记录、下单、折扣卷领域或退换货等数据分析已达到需要目的.
另一面,就消费者(APP用户或其他终端设备用户)大数据是看不见,摸不着,人云亦云,听着不同版本措辞解释.当前者挖掘出用户需求之后,用户个人"行踪"动态便被透明化,当再次打开APP或其他终端设备,惊讶的发现智能设备已经"推荐"用户需要的商品或阅读内容,增强了用户体验.这就是大数据,一种交互、维系于终端与服务端的关系链,一旦脱离其一,大数据就失去它应有的价值!
在身边的大数据
当下时代,保存个人相册已成为主流,以我个人家庭为例,家人都喜欢拍照,我家整个相册,包括普通胶片、PPT(幻灯片),以及各种短视频等等,将数码相机与手机内存中加起来平均年数据达到7G之多,而且这个速度还在不断增长,因为现在拍照片真的是越来越容易了.当然作为大数据在物联网机器设备产生的数据远远超过我们个人磁盘,如设备机器日志、RFID读卡器、传感器网络、车载GPS和零售店交易数据这些都产生巨大数据.
大数据存储
多年来,硬盘的存储容纳不断提升,可是访问硬盘的读取速度却无法与时俱进.1990年一个普通硬盘可以存储1370MB数据,传输速度为4.4MB/s.因此只需要5分钟可读完整个磁盘空间数据.20多年了,1TB数据硬盘已成为主流存储空间,但传输速度约为100MB/s,读完整个磁盘大约花费2.5小时,写入数据就更不敢想象.为了解决大数据时代数据存储、读取问题,分布式计算应运而生,目前市面上比较成熟的分布式系统有雅虎的Hadoop、阿里的Dubbo等,不同企业根据自身适应情况选取不同分布式系统框架.
本篇文章是有青岛达内培训为您呈现,希望给您带来更多更好的文章
更多青岛IT培训相关资讯,请扫描下方二维码