关于 Spark 的文章
KKR为首财团出价37亿美元收购澳洲基础设施投资集团Spark

澳大利亚Spark基础设施集团(Spark Infrastructure Group)周一宣布,同意接受以美国私募股权巨头KKR为首的一个财团提出的价值约52亿澳元(约合37亿美元)的收购要约。 该财团对总部位于悉尼的Spark的出价为每股2.95

投融资 2021-08-23
Hive 和 Spark的爱恨情仇恩怨交织

  本文转载自微信公众号「明哥的IT随笔」,作者IT明哥。转载本文请联系明哥的IT随笔公众号。  最近在面试一些应聘大数据岗位的技术小伙伴时,发现不少朋友对业界 所谓的hive on spark和spark on hive分不

硬核!一文学完Flink流计算常用算子

直入正题! Flink和Spark类似,也是一种一站式处理的框架;既可以进行批处理(DataSet),也可以进行实时处理(DataStream)。 所以下面将Flink的算子分为两大类:一类是DataSet,一类是DataStream。 DataSet 一、Source算

Spark性能调优-RDD算子调优篇

Spark调优之RDD算子调优 不废话,直接进入正题! 1. RDD复用 在对RDD进行算子时,要避免相同的算子和计算逻辑之下对RDD进行重复的计算,如下图所示: RDD的重复计算 对上图中的RDD计算架构进行修改,得到如下图所示

云计算 2021-03-04
数据分析工具篇――Spark计算原理

Hadoop的MR结构和YARN结构是大数据时代的第一代产品,满足了大家在离线计算上的需求,但是针对实时运算却存在不足,为满足这一需求,后来的大佬研发了spark计算方法,大大的提高了运算效率。 Spark的计算原理 spark

图文理解 Spark 3.0 的动态分区裁剪优化

本文转载自微信公众号「过往记忆大数据」,作者过往记忆大数据 。转载本文请联系过往记忆大数据公众号。 Spark 3.0 为我们带来了许多令人期待的特性。动态分区裁剪(dynamic partition pruning)就是其中之一。本文将

Spark优化之小文件是否需要合并?

我们知道,大部分Spark计算都是在内存中完成的,所以Spark的瓶颈一般来自于集群(standalone, yarn, mesos, k8s)的资源紧张,CPU,网络带宽,内存。Spark的性能,想要它快,就得充分利用好系统资源,尤其是内存和CPU

5G丨新西兰Spark将华为留在优选设备供应商名单中

新西兰电信与数字服务提供商Spark New Zealand(以下简称Spark)周一表示,将把华为留在三家优选(preferred)设备供应商名单上。

Mac版Spark应用更新: 加入新的智能搜索

开发商 Readdle 本周对旗下的 Spark 邮件应用进行了更新,为 Mac 版桌面电子邮件客户端带来了新的智能搜索功能。最新的 1.3.0 版本为用户提供了新方法,可以轻松地从电子邮件中找到文件、附件和其他消息内容。

手机游戏更多