【作者主页】Francek Chen【专栏介绍】⌈ ⌈⌈大数据技术原理与应用⌋ ⌋⌋专栏系统介绍大数据的相关知识分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。【GitCode】专栏资源保存在我的GitCode仓库https://gitcode.com/Morse_Chen/BigData_principle_application。文章目录一、数据仓库概念二、数据仓库和数据库的区别小结本文介绍数据仓库概念、传统数据仓库面临的挑战、Hive 简介、Hive 与 Hadoop 生态系统中其他组件的关系、Hive 与传统数据库的对比分析以及 Hive 在企业中的部署和应用。一、数据仓库概念数据仓库的一个比较公认的定义是由 W. H. Inmon 给出的即“数据仓库Data Warehouse是一个面向主题的Subject Oriented、集成的Integrated、相对稳定的Non-Volatile、反映历史变化Time Variant的数据集合用于支持管理决策”。随着信息技术的普及和企业信息化建设步伐的加快企业逐步认识到建立企业范围内的统一数据存储的重要性越来越多的企业已经建立或正着手建立企业数据仓库。企业数据仓库有效集成了来自不同部门、不同地理位置、具有不同格式的数据为企业管理决策者提供了企业范围内的单一数据视图从而为综合分析和科学决策奠定了坚实的基础。常见的传统数据仓库工具供应商或产品主要包括 Oracle、BusinessObjects、IBM Informix、Sybase、NCR、Microsoft、SAS 等。数据仓库的体系结构见图1通常包含 4 个层次数据源、数据存储和管理、数据服务、数据应用。1数据源数据仓库的数据来源包括外部数据、现有业务OLTP联机事务处理系统和文档资料等。2数据存储和管理主要涉及对数据的存储和管理包括数据仓库、数据集市、数据仓库监视、运行与维护工具和元数据管理等。3数据服务为前端工具和应用提供数据服务可以直接从数据仓库中获取数据供前端应用使用也可以通过 OLAP联机分析处理服务器为前端应用提供更加复杂的数据服务。OLAP 服务器提供了不同聚集粒度的多维数据集合使得应用不需要直接访问数据仓库中的底层细节数据这大大减少了数据计算量提高了查询响应速度。OLAP 服务器还支持针对多维数据集的上钻、下探、切片、切块和旋转等操作增强了多维数据分析能力。4数据应用直接面向最终用户包括数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。图1 数据仓库的体系结构二、数据仓库和数据库的区别总体而言数据仓库和数据库有很大的区别具体如表1所示。表1 数据仓库和数据库的区别特性数据库数据仓库擅长做什么事务处理分析、报告、大数据数据从哪里来从单个来源“捕获”从多个来源抽取和标准化数据标准化高度标准化的静态Schema非标准化Schema数据如何写针对连续写入操作进行优化按批处理计划进行批量写入操作数据怎么存针对单行型物理块的高吞吐写操作进行了优化使用列式存储进行了优化便于实现高速查询和低开销访问数据怎么读大量小型读取操作为最小化I/O且最大化吞吐而优化小结数据仓库是面向主题、集成、稳定且反映历史变化的数据集合主要用于支持管理决策。其体系结构包括数据源、数据存储与管理、数据服务和数据应用四层。传统数据仓库虽能整合多源数据、提供统一视图但在海量数据扩展性、实时处理能力和成本上面临挑战。与数据库不同数据仓库侧重分析与批量处理数据来自多个来源并采用列式存储优化查询而数据库则擅长事务处理和高频写入二者定位有所差异。欢迎点赞 | 收藏⭐ | 评论✍ | 关注
