作者归档-谷百特博客

谷百特博客

温度 IT 记忆，传播IT和软件技术的博客

累计撰写 73 篇文章
累计创建 60 个标签
累计收到 2 条评论

目录CONTENT

以下是醉酒的行者的文章

2025-10-11
唯品会 1000+ 台 Hadoop 集群优化经验 1 性能挑战 HDFS 是一个分布式系统，只要有足够的资源，可以扩容上千个节点支持100PB以上的集群。我们发现Hadoop集群升级（2.5.0-cdh5.3.2-->2.6.0-cdh5.13.1）以后，NameNode RPC（remote procedure call）queue time在持
- 2025-10-11
- 13
- 0
- 0
- 大数据
2025-10-11
HDFS 2.x 升级到 3.x 在车好多的实践 1 背景 HDFS 集群作为大数据最核心的组件，在公司承载了DW、AI、Growth 等重要业务数据的存储重任。随着业务的高速发展，数据的成倍增加，HDFS 集群出现了爆炸式的增长，使用率一直处于很高的水位。同时 HDFS文件数持续增长导致Namenode 压力过大、RPC 过多，整体性能下降。作为
- 2025-10-11
- 13
- 0
- 0
- 大数据
2025-10-11
Hadoop 2.7 不停服升级到 3.2 在滴滴的实践 Hadoop 3的第一个稳定版本在2017年底就已经发布了，有了很多重大的改进。在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Intra-datanode balancer 等功能，大家可能对这些功能很
- 2025-10-11
- 13
- 0
- 0
- 大数据
2025-10-11
万台规模 HDFS 集群升级 HDFS 3.x 有哪些坑？ Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNode Read、FairCallQueue、
- 2025-10-11
- 22
- 0
- 0
- 大数据
2025-10-11
历时两周,我司录信的Hadoop2升级到Hadoop3，踩了几个大坑继一次超万亿规模的Hadoop NameNode性能故障排查过程之后，虽然解决了Hadoop2.6.0版本在项目中的问题，但客户依然比较担心，一是担心版本过老，还存在其他未发现的问题；二是按目前每天近千亿条的数据增长，终究会遇到NameNode的第二次瓶颈。基于上述原因，我们决定将当前集群由Had
- 2025-10-11
- 34
- 0
- 0
- 大数据
2025-10-11
Hadoop3升级实践 Hulu/Disney Streaming Hadoop3升级实践 1 引言 Hadoop 3 发布已有5年，最新版本已经更新到3.3.2。在这5年中，Hadoop发布了许多重大特性。HDFS EC编码趋于成熟，在提升容错的前提下降低了存储空间；HDFS RBF简化了客户端的配置，平衡了amenod
- 2025-10-11
- 46
- 0
- 0
- 大数据
2025-06-08
【6月4日更新】IDM第40版本，修复U管视频分辨率限制，可任意下载4K分辨率视频最新的下载地址，在文末。就在昨晚，2025年3月25日，某管（某管）再次更新规则，导致IDM和其他下载器大面积失效，让很多视频创作者没有了下载工具，所以我在第一时间完成了安装包的制作，完美解决IDM某管浮窗问题，秒弹出，秒下载。 IDM一天一更，我也是醉了，25-26-27-28号分别更新了，28
- 2025-06-08
- 245
- 0
- 0
- 软件
2025-05-26
mac m1使用clion创建c++的hello world 1 软件 clion版本：2025.1.1 2 编译环境 1）安装xcode和命令行工具 (base) ➜ xcode-select --install #Xcode自带clang #安装完成后，验证clang (base) ➜ clang --version Apple clang versi
- 2025-05-26
- 99
- 0
- 0
- 笑谈编程
2025-05-10
Visual Studio 2019调试无法找到initterm.cpp vitual studio 2019调试c++代码时，提示无法找到initterm.cpp文件，具体异常堆栈如下：您需要查找 initterm.cpp 以通过查看源来确定当前调用堆栈帧。为“minkernel\crts\ucrt\src\appcrt\startup\initterm.cpp”查
- 2025-05-10
- 68
- 0
- 0
- 笑谈编程
2025-05-06
汇编语言dword ptr表示的意义在汇编语言（特别是 x86 架构）中，dword ptr 是一个术语，用于指定内存操作的数据大小和寻址方式。 1 dword 表示“double word”（双字），指的是 32 位（4 字节）的数据。在 x86 架构中： 1 word（字） = 16 位（2 字节） 1 dword（双字） =
- 2025-05-06
- 79
- 0
- 0
- 笑谈编程

1
2
3
4
5
...
8