大数据

SparkStreaming(写于20年4月)

0 条评论 大数据 计算机 笔尖

1、Spark Streaming

低延时、容错性、可扩展性、可以集合图计算、机器学习完成多功能实时流计算。


Kafka及整合Flume(写于20年4月)

0 条评论 大数据 计算机 笔尖

1、Kafka作为消息中间件(消息队列),可以缓冲生产者与消费者中间的数据流,具有可扩展、容错的特点。


Flume(写于20年4月)

0 条评论 大数据 计算机 笔尖

1、相比离线处理,实时流处理更加注重时效性,因此数据来源通常从消息队列,处理速度也需要更加快速。另外,相比离线处理的进程机制,实时流处理通常常驻与内存中。


Spark运行模式和项目踩坑(写于20年3月)

0 条评论 大数据 计算机 笔尖

1、Spark的4种运行模式

Local:本地开发测试时使用的模式

Standalone:如果测试集群环境,则需要每台机器都配置Spark环境