W3CAPI 在线教程 | 菜鸟教程_LOGO
文档目录
文档目录
我的书签
 

大数据

大数据处理框架大全

20世纪以来,计算机对于数据的处理已经由少量变为了海量,数据的存储也从MB、GB到TB、PB级别,如何存储、处理这海量的数据在当今软件行业已经变得非常重要;对于开发者我们应该及时关注针对大数据处理的最新技术和开源框架,以便我们在实际需求中可以参考。

W3CAPI
1
2020-04-30 08:29:54

什么是大数据?大数据的简介及概念理解

我们要想理解大数据的概念,还是一贯的逻辑,就是需要先理解大数据的由来及为什么存在大数据?

要理解大数据这一概念,首先要从"大"入手,"大"是指数据规模,大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别,其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity),即体量大、多样性、价值密度低、速度快。

  第一,数据体量巨大。从TB级别,跃升到PB级别。
  第二,数据类型繁多,如前文提到的网络日志、视频、图片、地理位置信息,等等。
  第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。
  第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。

  大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域,通过解决巨量数据处理问题促进其突破性发展。因此,大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息,也体现在如何加强大数据技术研发,抢占时代发展的前沿。
相关提问
敬请期待