bigdata-learning-notes

大数据

Zookeeper

• Zookeeper3.4.5 分布式安装部署
• Zookeeper 常用命令行操作
• Zookeeper 实现分布式锁

Hadoop

• Hadoop3.0 完全分部署安装部署
• Hadoop 基准测试
• Hadoop 数据迁移

git

• git
• git log format
• rpm方式 安装 gitlab
• docker方式 安装 gitlab
• gitlab 关闭注册功能

Flume

• Flume 安装部署

HBase

• HBase 生产环境调优

Hive

• Hive 安装部署
• Hive beeline连接
• Hive 导出 csv 文件
• Hive drop database删除数据库
• Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
• Hive DDL 数据定义
• Hive 查询

Kudu

• kudu异常

Kafka

• kafka 安装部署
• kafka 常用命令
• kafka 杂谈
• kafka stop 脚本有时候不起作用的原因
• kafka connector rest api

debezium/confluent

• 使用 confluent 实现 SqlServer 实时同步数据到 PostGreSql
• confluent6.0.1 平台搭建

Sentry

• CDH 安装配置Sentry
• hue: There are currently no roles defined

Phoenix

• CDH 平台安装 Apache Phoenix

ClickHouse

• ClickHouse 入门概述
• ClickHouse 安装
• ClickHouse 数据类型
• ClickHouse 表引擎
• ClickHouse 表操作

WaterDrop

• WaterDrop入门
• Hive to Hdfs

Atlas

• Atlas 安装

DolphinScheduler

• DolphinScheduler 安装
• DolphinScheduler 使用
• DolphinScheduler 本地开发环境搭建

CDH

• CentOS7.3 CDH5.13.3 安装教程
• CentOS7.7 CDH6.2.1 安装教程
• CDH 安装 Hue 连接不上MySQL
• CDH 查询 Hive执行过的SQL语句

Scala

• 1. scala 变量和数据类型
• 2. scala 流程控制
• 3. scala 函数之-语法
• 3. scala 函数之-高阶函数(高阶算子)
• 4. scala 函数之-闭包和柯里化
• 5. scala 包声明和包导入
• 6. scala 类和对象
• 7. scala 给类取别名
• 8. scala 的 trait
• 9. scala 集合的 map 映射、高阶函数使用、集合的压平、 集合的过滤、集合的简化、集合的折叠、集合的扫描、集合的拉链、集合的迭代器、集合的分组
• 10.scala 模式匹配
• 11.scala 部分应用函数与偏函数
• 12.scala 隐式转换
• 13.scala 的排序
• 14.scala API
• 15.scala 数组
• 16.scala 值调用、名调用和控制抽象

Spark

• Spark 安装部署
• Spark 常用 API
• Hive on Spark 参数调优
• Spark Streaming 的 reduceByKeyAndWindow 窗口函数
• Spark 任务停止后自动重启
• Spark源码之-CDH6下Spark2.4写Hive分区表异常
• Spark 读取HDFS失败
• Spark 读取JDBC数据源优化和源码解析
• Spark 读取JDBC数据Time类型字段异常解析

    Spark 内核

• Spark 内核概述(待补充)
• Spark 部署模式
• Spark 任务调度机制
• Spark Shuffle解析
• Spark 内存管理

    Spark 性能优化和故障处理

• Spark 性能优化
• Spark 数据倾斜解决方案
• Spark 问题及解决

Flink

• Flink 源码编译和远程debug设置(version: 1.12.7)
• Flink on Kubernetes native session mode 源码分析(version: 1.12.7)
• Flink 安装部署
• Flink 构成和提交流程
• Flink 并行度的划分
• Flink HelloWorld
• Flink Connectors
• Flink Window&时间语义和Watermark
• Flink ProcessFunction
• Flink 多流转换
• Flink State
• Flink CEP
• Flink 实时同步Oracle数据到Hive

---

• FLink CDC(Standalone)
• Flink CDC 集成 Iceberg 入湖

---

• Chunjun on K8s 部署

---

• Flink 搭建本地开发环境

Canal

• 使用 canal 实时监控 mysql 并读取到 Kafka(scala 版)

Elasticsearch

• Docker 安装Elasticsearch
• Elasticsearch 常用操作
• Elasticsearch 更新证书

Kibana

• Docker 安装Kibana

Azkaban

• Azkaban 安装部署
• Azkaban 迁移机器找不到executor

MySQL

• MySQL 安装
• MariaDB YUM 安装
• MySQL 常用配置
• MySQL binlog
• MySQL 慢查询日志
• MySQL 约束
• MySQL基础(尚硅谷宋红康)
• MySQL高级(尚硅谷宋红康)

Iceberg

• Iceberg - 01 基本入门
• Iceberg - 02 cdc 入湖
• Iceberg - 03 spark
• Iceberg - 04 基于 Hadoop 的数据存储结构(v2)
• Iceberg - 05 合并小文件

Java

构建工具

• Maven maven-shade-plugin
• Gradle 安装整合Idea

Nginx

• nginx 基础
• nginx
• nginx常用操作
• nginx转发80端口到443

Redis

• centos7 安装redis
• redis 三主三从搭建
• Redis 安装(docker)
• redis 数据类型
• redis conf详解
• redis 持久化
• redis 事务
• redis 发布订阅
• redis 主从复制
• redis java客户端
• redis 数据备份与恢复
• redis 安全
• redis 性能测试

Doris

• Doris 编译安装(填坑)
• Doris 备份还原

Idea

• Idea 常用配置

设计模式

• 设计模式之单例模式
• 设计模式之工厂模式
• 设计模式之构建者模式
• 设计模式之代理模式

数据结构和算法

• 数据结构和算法

Java 基础

• Java 泛型
• Java8
• Java日志框架发展史
• spring6

JVM

黑马

• 基础篇
• 实战篇
• 高级篇
• 原理篇
• 面试篇

---

尚硅谷

• 内存与垃圾回收-1.类加载机制
• 内存与垃圾回收-2.运行时数据区-程序计数器
• 内存与垃圾回收-3.运行时数据区-虚拟机栈
• 内存与垃圾回收-4.运行时数据区-本地方法接口和本地方法栈
• 内存与垃圾回收-5.运行时数据区-堆
• 内存与垃圾回收-6.运行时数据区-方法区
• 内存与垃圾回收-7.对象的实例化和直接内存
• 内存与垃圾回收-8.执行引擎
• 内存与垃圾回收-9.String Table
• 内存与垃圾回收-10.垃圾回收概述和算法
• 内存与垃圾回收-11.垃圾回收相关概念
• 内存与垃圾回收-12.垃圾回收器
• 字节码与类的加载-1.Class 文件结构
• 字节码与类的加载-2.字节码指令集与解析举例
• 字节码与类的加载-3.类的加载过程(类的生命周期)详解
• 字节码与类的加载-4.再谈类的加载器
• 性能监控与调优-1.概述
• 性能监控与调优-2.JVM监控及诊断工具-命令行
• 性能监控与调优-3.JVM监控及诊断工具-GUI
• 性能监控与调优-4.JVM运行时参数
• 性能监控与调优-5.分析GC日志
• 性能监控与调优-6.补充:浅堆深堆与内存泄漏
• 性能监控与调优-7.补充:使用OQL语言查询对象信息

运维/云原生

StarRocks

• 生产事故
• 监控说明
• StarRocks-Profile分析及优化指南
• [查询]Profile分析（非pipeline版本）
• StarRocks数据导入--Insert into

Milvus

• 向量数据库Milvus

golang

• golang 安装

软件部署

• ubuntu部署ftp服务.md
• centos7 nfs
• centos7 sftp
• keepalived

Zabbix

• Centos7.7 安装 Zabbix
  • 编译源码安装zabbix4.4
    • Centos7.7 编译源码安装使用 Zabbix(zabbix-server)
    • Centos7.7 编译源码安装使用 Zabbix(zabbix-agent)
  • 二进制文件安装使用 Zabbix5.0
    • Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-server)
    • Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-agent)
• Zabbix5.0 中文乱码
• Zabbix: 添加被监控主机、创建主机、监控项、触发器、图形和模板
• Zabbix: 自定义邮件告警

Prometheus & Grafana

• Prometheus & Grafana 部署监控

Docker

• CentOS7 YUM安装 docker
• CentOS7 离线安装 docker
• CentOS7 降级 Docker
• Docker 常用命令
• Docker 镜像
• Docker 容器数据卷
• DockerFile 解析
• Docker 常用安装
• Docker 本地镜像发布到阿里云
• 可视化界面 Portainer
• 再探 Docker 数据卷
• docker 网络
• docker 的 CI/CD
• docker 常用安装m1版
• docker 设置代理

Kubernetes

• kubernetes guide
• 云原生的定义
• 三种方式部署k8s
• 扩容 K8s
• 命令自动补全
• 使用秘钥从私有仓库下载镜像
• first k8s容器化应用
• Kubernetes Token过期的问题
• Kubernetes YAML文件配置详解
• Kubernetes 常用操作命令
• Kubernetes 部署 Dashboard
• Kubernetes 工作负载 | Pod实践
• Kubernetes 工作负载 | Deployment实践
• Kubernetes 工作负载 | 服务网络和负载均衡
• Kubernetes 工作负载 | RS、RC、DaemonSet、StatefulSet、Job、CronJob实践
• Kubernetes 存储 | 卷的实践
• Kubernetes 权限
• Kubernetes helm
• Kubernetes 常用服务部署
• Kubernetes devops
• Jenkins 动态感知部署
• Kubernetes 更换证书
• Kubernetes context 上下文配置

---

旧版

• Kubernetes label
• Kubernetes Volume挂载相关
• Kubernetes 特殊 Volume
• Kubernetes PodPreset预设置
• Kubernetes 副本机制和水平扩展&滚动更新
• Kubernetes Controller
• Kubernetes statefulset
• Kubernetes DaemonSet
• Kubernetes job
• Kubernetes cronjob
• Kubernetes Ingress
• Kubernetes NFS-PV-PVC
• Kubernetes 部署Java
• Kubernetes 声明PodPreset异常
• Kubernetes 常见问题
• Kubernetes 链路整合(待补完)

Linux

• Linux 基础
• Shell 编程
• 开机、重启和用户登录注销
• linux 常用操作命令
• This account is currently not available（用户当前不可用）
• Linux 集群时间同步
• Linux 修改主机和IP
• Linux 更换镜像源
• Linux 安装 JDK
• Linux 集群分发脚本
• Linux 下卸载 MySQL
• kill pid 和 kill -9 pid 的区别
• frp+openvpn+docker 搭建
• curl使用指南
• 大数据常用软件部署总结

内网穿透

• 内网穿透-暴露内网端口
• 内网穿透-frp开启web服务

科学上网

• 科学上网指南
• Centos7.x科学上网

Mac

Mac

• mac iterm2 安装 lrzsz
• mac iterm2 批量删除主题
• mac 自动登录服务器
• mac oh-my-zsh