关于 Hadoop 的文章
Hadoop 数据迁移用法详解

 一般用法 hive数据迁移 Export/Import方式 同步元数据 总结 数据迁移使用场景 冷热集群数据分类存储,详见上述描述. 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为

Hadoop,大数据离不开它

  搭建数仓,hadoop虽然有点落伍,但还是不可或缺的。本文描述下单机版的hadoop运作机制。 HDFS是Google GFS的开源实现,是一个分布式文件系统,是大数据技术的基石,直接上架构图: 主要包含Namenode和Datano

企业是如何解决HDFS单点问题的?

前言 在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题,接下来我们就

HDFS是如何设计架构的?

 前言 Hadoop到目前为止发展已经有10余年,版本经过无数次的更新迭代,目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0 三个版本。 一、Hadoop 简介 Hadoop版本刚出来的时候是为了解决两个问

数据分析工具篇――Spark计算原理

Hadoop的MR结构和YARN结构是大数据时代的第一代产品,满足了大家在离线计算上的需求,但是针对实时运算却存在不足,为满足这一需求,后来的大佬研发了spark计算方法,大大的提高了运算效率。 Spark的计算原理 spark

Hadoop 超燃之路

1 Hadoop 简介 1.1 Hadoop 由来 数据容量 大数据时代数据量超级大,数据具有如下特性: Volume(大量) Velocity(高速) Variety(多样) Value(低价值密度) 以前的存储手段跟分析方法现在行不通了!Hadoop 就是用来解决

监控大规模Hadoop集群,Prometheus完胜Zabbix?

  作者介绍 洪迪,联通大数据高级运维开发工程师,主要负责大数据平台运维管理及核心监控平台开发工作。具有多年大数据集群规划建设、性能调优及监控体系建设经验,对Prometheus架构设计、运维开发等方面有深入

风口过后 大数据Hadoop该回归理性思考了

2016年对大数据来说,是一个很有趣的时间点,Cloudera的估值已经下降了38%,Hortonwork的估值已经下降了近40%,这些迫使它们不得不削减专业服务部。企业开始对Hadoop进行重新评估,很多企业将他们的投资范围缩小为“大数据”,专注于解决具体的业务问题。

英特尔亚太研发集团总经理何京翔(右)与英特尔Hadoop发行版研发团经经理孙元浩 【TechWeb报道】12月3日消息,英特尔亚太研发集团总经理、英特尔软件与服务事业部中国区总经理何京翔近日在接受媒体采访时称,英特尔

1

手机游戏更多