大数据个人学习笔记

02-06 09:30

#0

这是个人学习笔记，随时记录，随时修改，不能保证正确性，因此有需要的朋友可以移步到我的CSDN博客或者个人博客阅读。CSDN博客:http://blog.csdn.net/sunnyyoona
如果有问题，可以发送到我的邮箱: 1203745031@qq.com

[未完]Hive Group By实现分析.md

[未完]Hive Join 优化之 Map Join 实战.md

[未完]Hive Join优化.md

[未完]Hive Skewed Table.md

[未完]Hive 你必须要了解的几种 Join.md

[未完]Hive 并行执行.md

[未完]Hive 彻底解决小文件问题.md

[未完]Hive 性能调优.md

[未完]Hive 数据倾斜优化.md

[未完]Hive 查看 Explain 执行计划.md

[未完]Hive内置服务介绍.md

Hive 执行脚本分析.md

Hive 源码解读 CliDriver HQL 命令处理.md

Hive 源码解读 CliDriver HQL 语句拆分.md

Hive 源码解读 CliDriver HQL 读取与参数解析.md

Hive 源码解读 CliDriver 变量替换.md

Hive 源码解读 CliDriver 命令处理器 CommandProcessor.md

Hive 源码解读 Dirver 命令处理器.md

Hive 源码解读 Driver 将 AST 转换为 QueryBlock.md

Hive 源码解读 Driver 将 AST 转换为 ResolvedParseTree 解析树.md

Hive 源码解读 Driver 将 HQL 语句转换为 AST.md

Hive 源码解读 Driver 将 QueryBlock 转换.md

Hive 源码解读 Driver 将 QueryBlock 转换为 OperatorTree 操作树.md

Hive 源码解读 Driver 语义分析器 SemanticAnalyzer.md

Hive 源码解读 Hook 执行.md

Hive 源码解读 Shell 脚本解读.md

Hive 源码解读准备篇 Debug 讲解.md

Hive 源码解读输出控制台.md

Hive Count Distinct 优化.md

Hive Count Distinct 去重优化方案.md

Hive Join 优化之 Map Join.md

Hive Join 优化之 Skewed Join.md

Hive Multi Distinct 性能优化.md

Hive ROW_NUMBER TopN 性能优化.md

Hive 公用表表达式 CTE 使用指南.md

Hive 存储压缩格式.md

[20171221]Hive 简单查询FetchTask.md

[20180412]Hive 启用压缩.md

[20180610]Hive 本地执行模式.md

[Hive]Hive执行引擎之Spark(Hive on Spark).md

img-hive-optimization-how-to-use-skewed-join-1.png

TroubleShooting1个子项

Hudi 编译 Failed to collect dependencies at io.confluent:kafka-avro-serializer:jar:5.3.4.md

其他4个子项

Apache Hudi 2022 新年大礼包.md

Hudi 学习笔记.md

Hudi 精选内容.md

视频教程.md

原理1个子项

[20210324]Apache Hudi初学者指南.md

基础1个子项

Apache Hudi 是什么.md

实战2个子项

Apache Hudi 与 Hive 集成.md

[Hue]Hue使用指南一安装与启动.md

Base1个子项

为什么我选择 Apache Iceberg.md

Other1个子项

Iceberg 精选内容.md

实战1个子项

Apache Iceberg 如何与 Hive 集成.md

Antlr6个子项

antlr-grammar-structure-1.png

antlr-grammar-structure-2.png

antlr-parser-rules-1.png

antlr-parser-rules-2.png

antlr-parser-rules-3.png

antlr-parser-rules-4.png

Calcite1个子项

calcite-sql-parse-source-target-table-1.png

Flink12个子项

flink-class-not-found-exception-1.png

flink-class-not-found-exception-2.png

flink-class-not-found-exception-3.png

flink-class-not-found-exception-4.png

flink-kafka-connector-implementation-analysis-1.png

flink-kafka-connector-implementation-analysis-2.png

flink-kafka-connector-implementation-analysis-3.png

flink-kafka-connector-implementation-analysis-4.png

flink-local-web-ui-1.png

flink-source-code-state-1.png

flink-stream-richfunction.png

Iceberg3个子项

why-i-choose-iceberg-1.png

why-i-choose-iceberg-2.png

why-i-choose-iceberg-3.png

Maven3个子项

pom-ignored-file-1.png

pom-ignored-file-2.png

pom-ignored-file-3.png

MyBatis2个子项

mybatis-xml-mapper-crud-1.png

mybatis-xml-mapper-crud-2.png

Mybatis1个子项

mybatis-quick-start-1.png

Spark11个子项

offset-management-for-apache-kafka-with-apache-spark-streaming-1.png

spark-internal-operating-mode-1.jpg

spark-internal-operating-mode-2.jpg

spark-internal-operating-mode-3.jpg

spark-internal-operating-mode-4.jpg

spark-internal-operating-mode-5.jpg

spark-internal-operating-mode-6.jpg

spark-sql-how-to-use-dataframe-in-spark-1.png

spark-sql-how-to-use-dataframe-in-spark-2.png

spark-streaming-improved-driver-fault-tolerance-and-zero-data-loss-1.png

spark-streaming-improved-driver-fault-tolerance-and-zero-data-loss-2.jpg

Spring23个子项

apache-tomcat-setup-1.png

apache-tomcat-setup-2.png

mybatis-plus-intro-1.png

mybatis-plus-intro-2.png

spring-boot-application-properties-tips-1.png

spring-boot-application-properties-tips-2.png

spring-boot-application-properties-tips-3.png

spring-boot-application-properties-tips-4.png

spring-boot-application-properties-tips-5.png

spring-boot-application-properties-tips-6.png

spring-boot-application-properties-tips-7.png

spring-boot-quick-start-1.png

spring-boot-quick-start-2.png

spring-boot-quick-start-3.png

spring-boot-quick-start-4.png

spring-boot-quick-start-5.png

spring-boot-quick-start-6.png

spring-boot-spring-profiles-invalid-1.png

spring-ioc-1.png

spring-jdbctemplate-1.png

spring-jdbctemplate-2.png

spring-mvc-quick-start-1.png

spring-mvc-quick-start-2.png

CLI1个子项

Apache Common CLI 如何实现命令行解析.md

Druid3个子项

入门1个子项

Druid SQL Parser 解析入门.md

实战8个子项

Druid SQL Parser 入门：实现 SQL 数据治理检查器.md

Druid SQL Parser 入门：简单解析 MySQL Create 语句.md

Druid SQL Parser 入门：解析 MySQL 表名.md

img-druid-sql-parser-sql-checker-1.png

img-druid-sql-parser-sql-checker-2.png

img-druid-sql-parser-sql-checker-3.png

img-druid-sql-parser-sql-checker-4.png

img-druid-sql-parser-sql-checker-5.png

源码12个子项

img-druid-sql-parser-ast-1.png

img-druid-sql-parser-ast-2.png

img-druid-sql-parser-ast-3.png

img-druid-sql-parser-ast-4.png

img-druid-sql-parser-ast-5.png

img-druid-sql-parser-ast-6.png

img-druid-sql-parser-ast-7.png

img-druid-sql-parser-ast-8.png

img-druid-sql-parser-ast-9.png

深入理解 Druid SQL Parser 抽象语法树 AST.md

源码解析系列- Druid SQl Parser 访问器 Visitor.md

Gson1个子项

[20180905]Gson 如何解析多态对象.md

Guava10个子项

[Guava]Guava实战 Throwables:简化异常和错误的传播与检查.md

[Guava源码日报]（10）Iterables.md

[Guava源码日报]（11）BiMap.md

[Guava源码日报]（3）Joiner分析.md

[Guava源码日报]（4）Preconditions.md

[Guava源码日报]（5）Optional分析.md

[Guava源码日报]（6）Objects分析.md

[Guava源码日报]（7）Throwables分析.md

[Guava源码日报]（8）ImmutableCollection.md

[Guava源码日报]（9）Closeables.md

JMX5个子项

JMX Do not know how to make a xxx from a CompositeData.md

JMX MBean class xxx does not implement DynamicMBean, and neither follows the Standard MBean conventions.md

JMX 使用指南一 Java Management Extensions.md

JMX 使用指南二 MBean 与 MXBean.md

JMX 精选文章.md

JVM5个子项

GC overhead limit exceeded.md

JVM 垃圾收集器.md

JVM 垃圾收集算法.md

JVM 类加载器与双亲委派模型.md

垃圾回收机制.md

JavaCC3个子项

Other1个子项

精选内容.md

基础4个子项

JavaCC 入门介绍.md

JavaCC解析表达式并生成抽象语法树.md

img-javacc-expression-ast-1.png

img-javacc-expression-ast-2.png

实战11个子项

JavaCC 实战一：安装与入门示例.md

JavaCC 实战七：支持乘法和除法的计数器.md

JavaCC 实战三：整数加法运算.md

JavaCC 实战二：入门介绍.md

JavaCC 实战五：支持小数运算的计算器.md

JavaCC 实战八：支持括号、一元运算符和历史记录的计数器.md

JavaCC 实战六：支持减法运算的计算器.md

JavaCC 实战四：支持加法运算的计算器.md

img-javacc-calculator-parenthesis-1.png

img-javacc-calculator-parenthesis-2.png

img-javacc-calculator-times-divide-1.png

Log1个子项

TroubleShooting1个子项

Java 解决 ERROR StatusLogger No log4j2 configuration file found 异常.md

Lombok1个子项

Lombok 使用指南.md

MapStruct1个子项

MapStruct 快速入门.md

OpenCsv1个子项

OpenCSV 3.8 快速实践.md

Quartz2个子项

[Quartz]Quartz指南一任务调度.md

RoaringBitmap6个子项

RoaringBitmap 更好的位图压缩算法.md

roaring-bitmap-introduce-1.png

roaring-bitmap-introduce-2.png

roaring-bitmap-introduce-3.png

在Java中如何使用RoaringBitmap.md

基础18个子项

[20181103]Java newInstance与new的区别.md

[20190107]Java线程状态.md

[20191007]长期支持 LTS（Long-term Support）是怎样的一种支持方式.md

[20210807]SPI 使用指南.md

[20211006]深入理解 Java 泛型与类型擦除.md

[Java]DaateTime使用指南.md

[Java]Double保留N位有效位数.md

[Java]Java 堆内内存与堆外内存.md

[Java]Java序列化内部实现机制.md

[Java]反射指南一.md

[Java]反射指南三之Constructor.md

[Java]反射指南二之Classes.md

[Java]反射指南五之Method.md

[Java]反射指南四之Field.md

[Java]比较器.md

[未完]Java 随机数 Random.md

深入理解 Java SPI 工作原理.md

序列化1个子项

Protocol Buffers用户指南.md

Connect10个子项

[20210919]Kafka Connect 构建大规模低延迟数据管道.md

[20210921]Kafka Connect 如何构建实时数据管道.md

[20210922]Kafka Connect 如何安装 Connect 插件.md

[20210926]Kafka Connect JDBC Source MySQL 全量同步.md

[20210927]Kafka Connect JDBC Source MySQL 增量同步.md

[20211224]深入理解 Kafka Connect Converter 和序列化.md

[20211229]深入理解 Kafka Connect Single Message Transforms.md

[未完]Kafka Connect Single Message Transforms 实战.md

[未完]Kafka Connect 深度解析 JDBC Source Connector.md

KSQL1个子项

[20181009]使用Kafka和KSQL实现流处理的普及化.md

Notes10个子项

Apache Kafka 2.4.0 发布中的新功能与改进.md

Apache Kafka 2.3.0 发布中的新功能与改进.md

Apache Kafka 2.5.0 发布中的新功能与改进.md

Apache Kafka 2.6.0 发布中的新功能与改进.md

Apache Kafka 2.7.0 发布中的新功能与改进.md

Apache Kafka 2.8.0 发布中的新功能与改进.md

Apache Kafka 3.0.0 发布中的新功能与改进.md

Other5个子项

[20210812]Kafka 精选文章.md

[20210918]批处理 ETL 已经消亡，Apache Kafka 才是数据处理的未来？.md

[Kafka]Apache Kafka：下一代分布式消息系统.md

那些年我们遇到的 Kafka 的坑.md

TroubleShooting5个子项

CMAK requirement failed: No jmx port but jmx polling enabled!.md

Kafka CMAK KeeperErrorCode = Unimplemented.md

Kafka CMAK only recognizes class file versions up to 52.0.md

Kafka Topic Leader Not Available.md

Kafka bootstrap.server is not a recognized option.md

Tuning2个子项

[20190621]Kafka如何实现每秒上百万的高并发写入.md

[Kafka]Kafka 处理大消息.md

实战15个子项

Kafka 0.10.0.0 安装与运行.md

Kafka 2.3.0 安装与启动.md

Kafka 如何通过 wakeup 优雅的退出轮询.md

Kafka 常用命令.md

[20190409]解读Kafka的Exactly-Once语义.md

[20190902]Kafka 配置文件详解.md

[20190906]0.8.0 SimpleConsumer Example.md

[20201010]Java 实现 Kafka Producer.md

[20201011]Java 实现 Kafka Consumer.md

[20210911]Kafka 消费者如何提交 Offset.md

[20220107]Kafka 删除 Apache ZooKeeper 的依赖.md

[20220116]Apache Kafka 变得简单:删除 ZooKeeper 的初体验.md

[Kafka]20181030 Kafka如何删除Topic.md

[Kafka]为什么使用kafka?.md

监控8个子项

Kafka Lag 计算误区及正确实现.md

Kafka 开启 JMX.md

Kafka 监控工具之 CMAK.md

Kafka 监控工具之 Kafka Eagle.md

Kafka 监控工具之 Kafka Manager.md

[Kafka]Kafka 监控工具之Kafka Web Console.md

[Kafka]Kafka 监控工具之KafkaOffsetMonitor.md

[Kafka]Kafka 监控工具之chaperone.md

[Logstash]Logstash指南一简介.md

[Logstash]Logstash指南二安装与启动.md

基础1个子项

高性能、分布式对象存储服务 MinIO.md

实战3个子项

MinIO 实战：使用 Docker Compose 部署 MinIO 集群.md

docker-compose-deployment-minio-1.png

docker-compose-deployment-minio-2.png

实战2个子项

Neo4j 实战：Cypher 语法.md

Neo4j 实战：使用 Docker compose 部署 Neo4j.md

AIOps3个子项

adtributor-revenue-debugging-in-advertising-systems-1.png

adtributor-revenue-debugging-in-advertising-systems-2.png

论文解读系列-Adtributor: revenue debugging in advertising systems.md

[前奏]如何阅读论文.md

大数据经典论文推荐.md

计算19个子项

img-apache-calcite-a-foundational-framework-for-optimized-query-processing-over-heterogeneous-data-sources-1.png

img-apache-calcite-a-foundational-framework-for-optimized-query-processing-over-heterogeneous-data-sources-2.png

img-apache-calcite-a-foundational-framework-for-optimized-query-processing-over-heterogeneous-data-sources-3.png

img-apache-calcite-a-foundational-framework-for-optimized-query-processing-over-heterogeneous-data-sources-4.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-1.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-2.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-3.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-4.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-5.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-6.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-7.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-8.png

lightweight-asynchronous-snapshots-for-distributed-dataflows-9.png

论文系列-Apache Calcite: A Foundational Framework for Optimized Query Processing Over Heterogeneous Data Sources.md

论文系列-Bit-Sliced Index Arithmetic.md

论文系列-Distributed Snapshots: Determining Global States of Distributed Systems.md

论文系列-Improved Query Performance with Variant Indexes.md

论文系列-Lightweight Asynchronous Snapshots for Distributed Dataflows.md

论文系列-One SQL to Rule Them All.md

论文解读系列.md

TroubleShooting1个子项

其他1个子项

[20210109]Presto资源.md

基础10个子项

[20200216]Presto 安装与部署.md

[20200217]Presto JDBC.md

[20200502]PrestoDB vs PrestoSQL.md

[20200628]Presto 核心数据结构：Slice、Page、Block.md

[20200711]Presto 内存参数设置.md

[20200718]Presto Web UI.md

[20200801]Presto 内存管理.md

[20210104]与 Facebook 分手后，PrestoSQL 再度因商标侵权被迫更名.md

[20210110]为什么要使用Presto.md

[20210123]深入理解Presto架构.md

其他1个子项

Prometheus 资料.md

基础1个子项

Prometheus 安装与启动.md

其他1个子项

[20210130]Pulasr资料.md

其他1个子项

[20210117]Ranger资料.md

基础2个子项

[20210116]Apache Ranger:Hadoop 生态的安全管理框架.md

[20210116]Apache Ranger安装与编译.md

Redis 精选好文.md

[Redis]那些年我们一起遇到的Redis坑.md

优化4个子项

Redis 使用 Pipeline 加速查询速度.md

[Redis]Redis与Memcached的讨论.md

img-using-pipelining-to-speedup-redis-queries-1.png

img-using-pipelining-to-speedup-redis-queries-2.png

命令1个子项

[20191215]Redis中Scan命令的基本用法.md

基础16个子项

Redis 安装与启动.md

[20181225]如何使用Shell操作Redis.md

[20190121]Redis 命令之INCR.md

[20190515]Redis常用命令.md

[20211117]Redis 深入了解键的过期时间.md

[Redis]Redis初体验之安装与运行.md

[Redis]Redis指南一数据类型.md

[Redis]Redis指南二配置.md

[Redis]Redis指南十 GEO.md

[Redis]事务.md

[Redis]多数据库.md

[Redis]持久化.md

[未完]Redis 深入了解内存回收机制.md

[未完]Redis 深入理解内存模型.md

数据结构4个子项

Redis 使用 Bitmap 简单快速实时计算指标.md

Redis 如何使用 Bitmap.md

Redis 如何使用 HyperLogLog.md

[20190426]Bitmap的基本原理和实现.md

入门2个子项

Apache SeaTunnel 分布式数据集成平台.md

img-apache-seatunnel-introduction-1.png

实战11个子项

SeaTunnel 实战：Apache SeaTunnel Web 安装与部署.md

SeaTunnel 实战：Apache SeaTunnel 本地模式安装与部署.md

img-seatunnel-setup-1.png

img-seatunnel-setup-2.png

img-seatunnel-setup-3.png

img-seatunnel-web-setup-1.png

img-seatunnel-web-setup-2.png

img-seatunnel-web-setup-3.png

img-seatunnel-web-setup-4.png

img-seatunnel-web-setup-5.png

img-seatunnel-web-setup-6.png

TroubleShooting1个子项

[20210117]Solr 那些年我们遇到过的坑.md

基础1个子项

[20210117]Solr 安装与启动.md

MLLIB3个子项

[Spark]Spark MLlib 指南一指南.md

[Spark]Spark MLlib 指南二数据类型.md

[Spark]Spark MLlib 指南二相似性与假设检验.md

Notes4个子项

Apache Spark 2.3 重要特性介绍.md

Apache Spark 3.2.0 新特性详解.md

Spark 学习笔记系列.md

Spark 精选好文.md

SQL16个子项

Spark 2.0 如何使用 SparkSession.md

Spark SQL DataFrame 与 RDD 交互.md

Spark SQL 入门.md

Spark SQL 如何使用 DataFrame.md

Spark SQL 如何使用 DataSet.md

Spark SQL 数据源 Load 与 Save 函数.md

Spark SparkSession:一个新的入口.md

Spark Tungsten：让Spark将硬件性能压榨到极限.md

[20180812]Spark SQL Join的几种实现.md

[Spark]Spark SQL 聚合.md

[Spark]Spark SQL指南二数据源.md

[Spark]Spark SparkSession读取Hive表.md

[Spark]Spark Spark操作Hive.md

[Spark]Spark 如何选择RDD,DataFrame,DataSet.md

Streaming8个子项

入门18个子项

Apache Spark 流应用程序新的可视化.md

Spark Streaming DStream 转换操作.md

Spark Streaming DStream 输出操作.md

Spark Streaming 初始化 StreamingContext.md

Spark Streaming 核心抽象 DStream.md

Spark Streaming 程序结构.md

Spark Streaming 第一个应用程序 WordCount.md

Spark Streaming 输入 DStreams 和 Receivers.md

img-spark-streaming-first-example-1.png

img-spark-streaming-first-example-2.png

img-spark-streaming-structure-1.png

img-spark-streaming-ui-streaming-tab-1.png

img-spark-streaming-ui-streaming-tab-2.png

img-spark-streaming-ui-streaming-tab-3.png

img-spark-streaming-ui-streaming-tab-4.png

img-spark-streaming-ui-streaming-tab-5.png

img-spark-streaming-ui-streaming-tab-6.png

img-spark-streaming-ui-streaming-tab-7.png

实战4个子项

[20180818]Spark Streaming createDirectStream介绍.md

[Spark]Spark Streaming 2.3.1 监控应用程序.md

[Spark]Spark Streaming 2.3.1 自定义Receivers.md

容错3个子项

Spark Streaming 如何优雅的终止正在的运行的Spark Streaming.md

Spark Streaming 如何使用 Checkpoint.md

[20180811]Spark Streaming 2.3.1 容错语义.md

性能优化1个子项

Spark Streaming 2.2.0 性能调优.md

数据源4个子项

kafka9个子项

Spark Streaming 2.2.0 与 Kafka 0.8 整合.md

Spark Streaming 3.1.3 与 Kafka 集成.md

Spark Streaming Kafka 偏移量 Offset 管理.md

Spark Streaming spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10 如何选择.md

Spark Streaming 基于 Direct API 优化与 Kafka 集成.md

Spark Streaming 容错改进与零数据丢失.md

[Spark]Spark Streaming与Kafka如何保证数据零丢失.md

[未完]Spark Streaming 基于 Receiver 方式与 Kafka 集成实战.md

接收器1个子项

Spark Streaming 自定义 Receiver.md

数据库4个子项

Spark Streaming 与外部存储系统交互.md

Spark Streaming 输出到 MySQL.md

文件4个子项

Spark Streaming Connector 从文件读取数据.md

Spark Streaming 为啥无法读取历史老文件.md

img-spark-streaming-connector-text-file-1.png

img-spark-streaming-connector-text-file-2.png

源码2个子项

Spark Streaming fileStream 实现原理.md

img-spark-streaming-filestream-code-1.png

状态2个子项

Spark Streaming 如何使用 MapWithState 实现有状态应用.md

Spark Streaming 如何使用 UpdateStateByKey 实现有状态应用.md

窗口2个子项

Spark Streaming 滑动窗口与滚动窗口.md

深入理解 Spark Streaming 中的窗口算子.md

TroubleShooting12个子项

Spark 3.1.2 The checkpoint interval for xxx has been set to xxx ms which not a multiple of its slide time.md

Spark 3.1.3 Cannot update the state that is timing out.md

优化27个子项

入门18个子项

实战14个子项

工作原理31个子项

未完4个子项

首页上一页3下一页末尾

点赞回复