大数据协作框架不是一个人硬扛而是一群人一起干一、先别管技术想想这个场景假设你现在有一项任务把全校 3000 个同学每个人过去 3 年的借书记录全部统计一遍找出借书最多的那个人。如果只有你一个人干你要翻 3000 人的记录每人三年可能有几百条总共几十万条数据光看完一遍可能就要好几天中间要是笔记本死机了全部白干这就像 让你一个人搬一座山 —— 不是不能搬是搬到猴年马月也搬不完。二、那怎么办叫人来帮忙你叫了 9 个同学一共 10 个人一起干。但问题来了 ——谁负责哪几年的数据各算各的最后怎么合在一起万一有人中途跑路了怎么办这时候你就需要一套 “分工规则”有人负责存数据把 10 年的记录分成 10 份每人发一份有人负责派任务谁算 2018 年谁算 2019 年……有人负责计算每个人算出自己那几年的 Top 10有人负责汇总把 10 个人的 Top 10 再比一次得出总冠军有人负责盯着如果有人偷懒或掉线马上安排别人顶上这套规则就是 “协作框架” 的雏形。三、那在电脑世界里这套规则叫什么大数据协作框架 就是给电脑们用的那套“分工规则”。它要做的事情和你刚才组织的 10 人小组一模一样你的小组 大数据协作框架你分配数据给每个人 HDFS存数据 分块 备份你安排谁算什么 YARN调度任务大家各自算自己的 MapReduce / Spark并行计算你最后汇总结果 也是 MapReduce / Spark合并你盯着有没有人掉链子 ZooKeeper协调、故障处理四、用最土的话翻译每个角色如果你第一次接触这些名词别慌我用人话翻译一遍HDFS —— 就是“仓库管理员”把数据切成很多小块分散放到不同电脑上还会自动复制几份存着防止硬盘坏了数据丢了。YARN —— 就是“排班经理”哪台电脑现在有空这个任务交给谁就像餐厅门口叫号的那个人。MapReduce / Spark —— 就是“干活的人”真正跑数据、做计算的那群人。Spark 比 MapReduce 跑得快因为 Spark 把数据放内存里算MapReduce 每次都要从硬盘里读。ZooKeeper —— 就是“班长”负责让大家保持一致谁当领导谁掉线了遇到分歧听谁的五、整个过程长什么样走一遍你就懂了还是那个“统计全校借书最多的人”的例子10 台电脑一起干第一步存数据HDFS 把 10 年的记录切成 100 个小块分散存到 10 台电脑上每台电脑分到 10 个小块。第二步派任务YARN 说“10 台电脑每台把自己手上的 10 块数据统计一遍算出你们那部分的 Top 10。”第三步同时开干10 台电脑同时算互不影响。每台都交出自己的 Top 10 名单一共 100 个候选人。第四步合并结果再把这些候选人汇总到一起重新排个序最终得出全校真正的 Top 10。第五步万一出事如果第 3 台电脑算到一半死机了ZooKeeper 会立刻发现让第 4 台电脑接手它的任务整体进度不受影响。整个思路就八个字分而治之合而总之。六、那这些工具都是干嘛的一张表看懂名字 一句话人话解释Hadoop 整个地基提供存数据HDFS和派任务YARN的能力Spark 超级加速器在内存里算比 MapReduce 快几十到一百倍Hive 翻译官你写 SQL像英语一样简单它帮你转成 MapReduce 或 Spark 能听懂的命令HBase 实时查询员海量数据里快速找到某一条像查字典ZooKeeper 班长协调所有电脑让大家步调一致Kafka 数据传送带像流水线一样实时把数据从 A 送到 B七、协作框架到底牛在哪用了这套东西你就能存得多 —— 数据从几 TB 扩展到 PB 级1 PB 100 万 GB加硬盘就行算得快 —— 100 台电脑一起算理论上比 1 台快 100 倍不怕坏 —— 坏了几台电脑数据还在任务会自动转移省钱 —— 用一堆普通电脑拼起来比买一台巨型超级计算机便宜得多八、用校园生活再理解一遍全校大扫除校长调度员把校园划成 10 个区每个班负责一块存储同时打扫并行最后检查汇总篮球赛教练协调员安排前锋、中锋、后卫不同角色有人受伤就换替补容错小组作业组长调度员把任务拆成几份组员同时写并行最后合并成完整报告汇总 最后用一句最土的话总结大数据协作框架就是让一大群普通电脑像一支训练有素的队伍各干各的活最后凑在一起把大事办了
