在我看来，一个完整的大数据应该提供离线计算、即席查询、实时计算、实时查询这几个方面的功能。
hadoop、spark、storm 无论哪一个，单独不可能完成上面的所有功能。
hadoop+spark+hive是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案，解决存储问题；hadoop mapreduce、hive、spark application、sparkSQL解决的是离线计算和即席查询的问题；spark streaming解决的是实时计算问题；另外，还需要HBase或者Redis等NOSQL技术来解决实时查询的问题；
除了这些，大数据中必不可少的需要任务调度系统和数据交换工具；
任务调度系统解决所有大数据中的任务调度与监控；数据交换工具解决其他数据源与HDFS之间的数据传输，比如：数据库到HDFS、HDFS到数据库等等。
关于大数据的架构技术文章，可搜索"lxw的大数据田地"，里面有很多。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024