本地模式：本地模式是Hadoop默认的模式，只有Hadoop被配置成以非分布式模式运行的一个独立Java进程。默认模式下所有3个XML文件均为空，此时，Hadoop会完全运行在本地。它只负责存储，没有计算功能。
伪分布式模式：伪分布式模式是在一台机器上模拟分布式部署，方便学习和调试。使用多个守护线程模拟分布的伪分布运行模式，此时每个Hadoop守护进程都作为一个独立的Java进程运行。
集群模式：真正多台机器来搭建分布式集群。
Hadoop集群是在同一地点用网络互连的一组通用机器。数据存储和处理都发生在这个机器“云“中。不同的用户可以从独立的客户端提交计算“作业“到Hadoop，这些客户端可以是远离Hadoop集群的个人台式机。
注：虽非绝对必要，但通常在一个Hadoop集群中的机器都是相对同构的X86 Linux服务器。而且它们几乎总是位于同一个数据中心，并通常在同一组机架里。
节点: H1、H2、H3、H4 … …
节点H1、H4、H7的机架名对应为：/D1/R1、/D1/R2、/D2/R3 … …
机架：R1、R2、R3 … …
数据中心：D1、D2
这些拓扑结构的特点是：
在主节点上运行NameNode和JobTracker的守护进程，并使用独立的节点运行SecondaryNameNode以防主节点失效。在小型集群中，SecondaryNameNode（SNN）也可以驻留在某一个从节点上，而在大型集群中，连NameNode和JobTracker都会分别驻留在两台机器上。每个从节点均驻留一个DataNode和TaskTracker，从而在存储数据的同一个节点上执行任务。
首先定义一些术语：
MapReduce作业（job）是客户端需要执行的一个工作单元。它包括输入数据、MapReduce程序和配置信息。Hadoop将作业分成若干个小任务（task）来执行，其中包括两类任务：map任务和reduce任务。
有两类节点控制着作业执行过程：
Jobtracker通过调度tasktracker上运行的任务，来协调所有运行在系统上的作业。
Tasktracker在运行任务的同时将运行进度报告发送给jobtracker，jobtracker由此记录每项作业任务的整体进度情况，如果其中一个任务失败，jobtracker可以在另外一个tasktracker节点上重新调度该任务。
Hadoop将MapReduce的输入数据划分成等长的小数据块，成为输入分片（input spit）或简称分片，Hadoop为每个分片构建一个map任务，并由该任务来运行用户自定义的map函数从而处理分片中的每条记录。
拥有许多分片，意味着处理每个分片所需要的时间少于处理整个输入数据所花的时间。因此，如果我们并行处理每个分片，且每个分片数据比较小，那么整个处理过程将获得更好的负载平衡。因为一台较快的计算机能够处理的数据分片比一台较慢的计算机更多，且成一定的比例。即使使用相同的机器，处理失败的作业或其他同时运行的作业也能够实现负载平衡，并且如果分片被切分得更细，负载平衡的质量会更好。
另一方面，如果分片切分得太小，那么管理分片的总时间和构建map任务的总时间将决定着作业的整个执行时间。对于大多数作业来说，一个合理的分片大小趋向于HDFS的一个块的大小，默认是64MB，不过可以针对集群调整这个默认值，在新建所有文件或新建每个文件时具体指定即可。
因为它是确保可以存储在单个节点上的最大输入块的大小。如果分片跨越两个数据块，那么对于任何一个HDFS节点，基本上都不可能同时存储这两个数据块，因此分片中的部分数据需要通过网络传输到map任务节点。与使用本地数据运行整个map任务相比，这种方法显然效率更低。
Hadoop在存储有输入数据（HDFS中的数据）的节点上运行map任务，可以获得最佳性能。这就是所谓的数据本地化优化（data locality optimization）。
MapReduce程序通过操作键/值对来处理数据，一般形式为
map: (k1, v1) -> list(k2, v2)
reduce:(k2, list(v2)) -> lsit(k3, v3)
这些问题的答案来自磁盘的另一个发展趋势：
如果数据的访问模式中包含大量的磁盘寻址，那么读取大量数据集所花的时间势必会更长（相较于流式数据读取模式），流式读取主要取决于传输速率。另一方面，如果数据库系统只更新一小部分记录，那么传统的B树更有优势（关系型数据库中使用的一种数据结构，受限于寻址的比例）。但数据库更新大部分数据时，B树的效率比MapReduce低得多，因为需要使用“排序/合并”来重建数据库。
在许多情况下，可以将MapReduce视为关系型数据库管理系统的补充。两个系统之间的差异如下图所示。
MapReduce比较适合以批处理的方式处理需要分析整个数据集的问题。RDBMS适用于“点查询”和更新，数据集被索引后，数据库系统能够提供低延迟的数据检索和快速的少量数据更新。MapReduce适合一次写入、多次读取数据的应用，而关系型数据库更适合持续更新的数据集。
Map任务将其输出写入本地硬盘，而非HDFS。
因为map的输出是中间结果：该中间结果由reduce任务处理后才产生最终输出结果，而且一旦作业完成，map的输出结果可以被删除。因此，如果把它存储在HDFS中并实现备份，难免有些小题大做。如果该节点上运行的map任务在将map中间结果传送给reduce任务之前失败，Hadoop将在另一个节点上重新运行这个map任务以再次构建map中间结果。
在仅有一个reduce任务的情况下，输入通常来自于所有mapper的输出。因此，排过序的map输出需通过网络传输发送到运行reduce任务的节点。数据在reduce端合并，然后由用户定义的reduce函数处理。
如果是多个reduce任务的情况，mapper的输出也要经过一系列的分区操作，将一部分mapper合并，然后分别输入到不同的reducer中。
Reducer通过HTTP方式得到输出文件的分区。因为Map的输出结果是存放在本地的。
Reduce的输出通常存储在HDFS中以实现可靠存储。
对于每个reduce输出的HDFS块，第一个复本存储在本地节点上，其他复本存储在其他机架节点中。
因此，reduce的输出写入HDFS确实需要占用网络带宽，但这与正常的HDFS流水线写入的消耗一样。
HDFS流水线写入：
client把数据Block只传给一个DataNode，这个DataNode收到Block之后，传给下一个DataNode，依次类推，...，最后一个DataNode就不需要下传数据Block了。
Map的作用是过滤一些原始数据
Reduce则是处理这些数据，得到我们想要的结果
HDFS、NDFS、GFS
Map任务的数量由输入分片的的个数决定。
Hadoop将MapReduce的输入数据划分为等长的小数据块，称为输入分片(input split)或简称分片。
Hadoop为每个分片构建一个map任务，并由该任务来运行用户自定义的map函数从而处理分片中的每条数据。
Reduce任务的数量不由输入数据的大小决定，而是特别指定的。
真实应用中，作业都把它设置成一个较大的数字，否则由于所有的中间数据都会放到一个reducer任务中，从而导致作业效率较低。
注意：在本地作业运行器上运行时，只支持0个或1个reducer。
如有多个reduce任务，则每个map任务都会对其输出进行分区（partition），即为每个reduce任务建一个分区。每个分区有许多键（及其对应值），但每个键对应的键/值对记录都在同一个分区中。分区由用户定义的分区函数控制，但通常用默认的分区器（partitioner，有时也称“分区函数“）通过哈希函数来分区，这种方法和高效。
虚线框表示节点，虚线箭头表示节点内部的数据传输，而实线箭头表示节点之间的数据传输。
每个TaskTracker可以生成多个JVM（JAVA虚拟机）来进行并行地处理许多map或reduce任务。
在一个tasktracker上能够同时运行的任务数取决于一台机器有多少个处理器。由于MapReduce作业通常是I/O-bound，因此将任务数设定为超出处理器数也有一定道理，能够获得更好的利用率。
但经验法则是任务数（包括map和reduce任务）与处理器数的比值最好在1和2之间。
1、其中一个职责是持续不断地与JobTracker通信。
JobTracker作为主节点，监测MapReduce作业的整个执行过程，同时，TaskTracker管理各个任务在每个从节点上的执行情况。每个TaskTracker负责执行由JobTracker分配的单项任务。虽然每个从节点上仅有一个TaskTracker，但每个TaskTracker可以生成多个JVM（JAVA虚拟机）来进行并行地处理许多map或reduce任务。
TakTracker的一个职责是持续不断地与JobTracker通信。如果JobTracker在指定时间内没有收到来自TaskTracker的“心跳“，它会假定TaskTracker已经崩溃，进而重新提交相应的任务到集群中的其他任务节点。
集群上的可用带宽限制了MapReduce作业的数量，因此最重要的一点是尽量避免map任务和reduce任务之间的数据传输。Hadoop允许用户针对map任务的输出指定一个合并函数（combiner，就像mapper和reducer一样），合并函数的输出作为reduce函数的输入。由于合并函数是一个优化方案，所以Hadoop无法确定针对map任务输出中任一条记录需要调用多少次合并函数。换言之，不管调用多少次合并函数，reducer的输出结果都应一致。
MapReduce似乎采用的是一种蛮力方法。每个查询需要处理整个数据集——或至少数据集的很大一部分。不过，这也正是它的能力。MapReduce是一个批量查询处理器，并且它能够在合理的时间范围内处理针对整个数据集的即时查询。
它操作的数据集是结构化数据。
结构化数据它是具有既定格式的实体化数据，诸如XML文档或满足特定预定义格式的数据表。
MapReduce对于结构化或半结构化数据非常有效，因为在处理数据时才对数据进行解释。换句话说：MapReduce输入的键和值并不是数据固有的属性，而是由分析数据的人员来选择。
半结构化数据
一些常见的半结构化数据比较松散，虽然可能有格式，但经常被忽略，所以它只能用作对数据的一般指导。例如，一张电子表格，其结构由其单元格组成的网格，但是每个单元格自身可保存任何形式的数据。
非结构数据
没有什么特别的内部结构，例如纯文本或图像数据。
我认为，节点即指机器。守护进程例如NameNode、DataNode、JobTracker、TaskTracker、SecondaryNameNode等都驻留在节点中。即，存放守护进程的地方。
一、实验内容与要求1、下载安装虚拟机软件；下载Ubuntu镜像文件，安装Ubuntu虚拟机；2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量；3、下载Hadoop并解压；4、修改配置文件；5、名称节点格式化；6、启动Hadoop，JPS查看是否启动成功；7、运行测试例子；8、在安装好的Hadoop伪分布式环境中操作HDFS命令；
随着大数据时代的到来，Hadoop作为大数据处理的核心框架，其重要性不言而喻。Hadoop 3.0版本在性能、容错性和功能上都有显著提升。本文详细介绍了如何从零开始搭建一个 Hadoop 3.0 完全分布式集群，包括 Linux 环境准备、JDK 安装、Hadoop 安装配置以及一个简单的 MapReduce 示例。希望这篇博客能帮助您顺利搭建自己的 Hadoop 集群，并为后续的大数据学习和实践打下基础。
# Hadoop伪分布式与完全分布式搭建的异同点在Hadoop的使用中，我们经常会遇到伪分布式模式与完全分布式模式的搭建。理解这两者的异同，对于一个初学者来说非常重要。本文将详细介绍它们的搭建流程、步骤与所需的代码示例。## 1. 流程与步骤下面的表格展示了伪分布式与完全分布式环境的搭建步骤。| 步骤 | 伪分布式搭建 | 完全分布
hadoop伪分布式和完全分布式配置
Hadoop是一个开源的分布式计算系统，用于大规模数据处理。在部署Hadoop时，我们可以选择将其配置为伪分布式或完全分布式，这两种部署方式有一些不同之处。本文将详细介绍Hadoop伪分布式和完全分布式的区别，并给出配置步骤及相应的代码示例。## Hadoop伪分布式和完全分布式的区别在Hadoop的伪分布式模式中，所有Hadoop组件运行在同一台计算机上，模拟了一个真实的分布式环境，但实
伪分布式模式也是在一台单机上运行，集群中的结点由一个NameNode和若干个DataNode组，另有一个SecondaryNameNode作为NameNode的备份。一个机器上，既当namenode，又当datanode,或者说既是jobtracker，又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行
一、 准备工作 1、安装虚拟机 （1）打开安装向导； （2）、接受许可协议，点击下一步； （3）选择典型安装； （4）更改安装路径； （5）等待安装完成。 2、 安装Linux操作系统 （1）打开新建虚拟机向导，选择典型，点击下一步； （2）更改安装路径； （3）填写安装信息； （4）将网络适配器更改为桥接模式； 3、 登录Linux操作系统进行相关配置 （1）查看文件夹结构 （2）、测试网络环境
最近刚自己又分别搭了一次Hadoop的两个环境，主要是给想学习Hadoop刚开始的环境搭建以及遇到的一些问题。因为刚开始自己Hadoop也是自学的所以遇上了很多问题，这次比较顺利，Hadoop学习的基础肯定是java和Linux，下面我就从伪分布式开始说一下其中的步骤和遇上的问题。其中虚拟机用的是Centos 6的版本，这个用起来比较方便，建议用mini版
一台机器的各个进程上运行hadoop多个模块，但并不是真正的分布式，因为是一台机器。但是HDFS和MapReduce，还有yarn等模块都运行起来了。因此掌握伪模式的配置较为重要。一、创建用户使用hadoop框架useradd hadooppasswd hadoop然后给hadoop以root的权限，这样比较方便，当然真正配置分布式时不能给这么大权限。vim /etc/sudoers添加如下ro
Hadoop运行模式包括：本地模式、伪分布式模式，以及完全分布式模式。 1、本地模式 安装简单，在一台机器上运行服务，几乎不用做任何配置，但仅限于调试用途。没有分布式文件系统，直接读写本地操作系统的文件系统。 2、伪分布式模式 在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等进程，模拟分布式运行的各个节点。配
CentOS下Hadoop伪分布模式安装笔记 一. 前言Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop 本身是无法区分伪分布式和分布式的，两种配置也很相似，唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个
思考1：为什么学习Hadoop？ 思考2：Hadoop能解决什么问题？ 一个小小的建议：我们每次再安装、配置应用时，最好从虚拟机开始，一步步安装一、Hadoop概述Apache提供的开源技术除了Apache提供的，还有Cloudera的CDH，华为的HDP发展历史（略）安装方式 单机：下载安装包，直接解压就能使用。单机只能使用mapReduce。所有数据存储在本机文件系统中
? hello!各位铁子们大家好哇。今日更新了MySQL访问的内容要使用库，必须先进行初始化！如：MYSQL *mfp = mysql_init(NULL)初始化完毕之后，必须先链接数据库，在进行后续操作。第一个参数 MYSQL是 C api中一个非常重要的变量（mysql_init的返回值），里面内存非常丰富，有 port,dbname,charset等连接基本参数。
1.浮动的基本使用 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title ...
Elasticsearch SQL 是 Elastic 官方提供的一个模块（自6.3版本起内置），允许用户通过标准 SQL 语法查询 Elasticsearch 中的数据。它并非独立数据库，而是将 SQL 查询翻译成 Elasticsearch 的 Query DSL 和 Aggregation 请求，在底层执行后再将结果转换回表格形式返回。今天我们系统学习了Elasticsearch SQL 的设计思想、执行机制、编码实践与典型应用。
多任务原理1、什么是多任务？2、多任务的实现机制2.1 串行：2.2 并行：2.3 并发：3、多任务的实现技术3.1 多进程3.2多线程3.3 协程1、什么是多任务？多个任务同时运行在同一个操作系统上，这种机制就是多任务。现在的操作系统大多都是采用多任务。2、多任务的实现机制2.1 串行：多个任务依次执行，前面的任务不完成后面的任务就无法开启2.2 并行：多个任务同时执行，并行系统需要有多个CPU
进一步抽象可引入专用绑定属性，用于声明该元素为时间渲染目标，并指定其格式类型：初始化时统一注册：// 缓存解析结果});// 启动定时器});}, 1000);此设计使得HTML结构与JavaScript逻辑高度解耦，新增时钟只需添加带的元素即可自动接入系统，符合现代组件化开发理念。+init()