2024年10月06日
作者 | 郭俊
封图 | BanburyTang
字节跳动数据仓库架构团队负责数据仓库领域架构设计，支持字节跳动几乎所有产品线（包含但不限于抖音、今日头条、西瓜视频、火山视频）数据仓库方向的需求，如 Spark SQL / Druid 的二次开发和优化。字节跳动数据仓库架构负责人郭俊从 SparkSQL 的架构简介、字节跳动在 SparkSQL 引擎上的优化实践，以及字节跳动在 Spark Shuffle 稳定性提升和性能优化三个方面全方位地分享了字节跳动在 Spark SQL 上的核心优化的探索与实践。
2024年10月06日
RDD作为弹性分布式数据集，弹性具体体现在
自动进行内存和磁盘数据存储的切换
Spark会优先把数据放到内存中，如果内存放不下，会放到磁盘里面。当应用程序内存不足时，Spark应用程序将数据自动从内存存储切换到磁盘存储，以保证其高效运行。
基于Lineage（血统）的高效容错机制
Lineage是基于Spark RDD的依赖关系来完成的，每个操作只关联其父操作，各个分片的数据之间互不影响，出现错误只需要恢复单个Split的特定部分即可。
2024年10月06日
采坑笔记：
使用git下载文件时报错：error: RPC failed; curl 18 transfer closed with outstanding read data remain
1、缓存区溢出curl的postBuffer的默认值大小，需要增加
使用命令：git config --global http.postBuffer 524288000
524288000B也就500M左右
有时增加到500M还不行，直接加到2G
2024年10月06日
从 JDK 19 开始，我们可以依赖 Future#state()。此方法基于众所周知的 get(), isDone(), 和 isCancelled() 计算 Future 的状态，并返回一个 Future.State 枚举项，如下所示：
2024年10月06日
初学者总是不知道如何学习，我一直建议你要拥有一本属于自己的学习课本，不管是基础，还是提升。
文章正文
在工作中，你总是与代码打交道，上传代码的时候，相信你不是用svn，就是用Git版本控制器，下面是最近这几天整理下来经常会遇到的Git的一些错误的解决访问，希望能帮助到你。
1 git pull遇到错误：error: Your local changes to the following files would be overwritten by merge:
2024年10月06日
自从1998年发布IE5以来，浏览器中异步网络请求都是通过 XMLHttpRequest (XHR)。
这之后几年，Gmail等应用大量使用这种方法，使这种方法逐渐流行，并给它一个名字：AJAX。
直接使用XMLHttpRequest总是非常痛苦的，许多库都对这种方法进行了封装，特别地，jQuery封装的方法如下：
2024年10月06日
间隔了一段时间未往gitlab上push文件，近期使用时，发现push时报错，这里记录下解决处理的方法。
错误一：
[root@361way shell]# git push warning: push.default is unset; its implicit value is changing in Git 2.0 from 'matching' to 'simple'. To squelch this message and maintain the current behavior after the default changes, use: git config --global push.default matching To squelch this message and adopt the new behavior now, use: git config --global push.default simple See 'git help config' and search for 'push.default' for further information. (the 'simple' mode was introduced in Git 1.7.11. Use the similar mode 'current' instead of 'simple' if you sometimes use older versions of Git)
2024年10月06日
原创 YP小站 YP小站
来自专辑
Kubernetes故障解决
下面 “坑” 都是作者升级 Kubernetes 遇到的问题并给出解决方法，目的就是避免读者不要在掉进同样的坑中。
2024年10月06日
2024年10月06日
说到fetch就不得不提XMLHttpRequest了，XHR在发送web请求时需要开发者配置相关请求信息和成功后的回调，尽管开发者只关心请求成功后的业务处理，但是也要配置其他繁琐内容，导致配置和调用比较混乱，也不符合关注分离的原则；fetch的出现正是为了解决XHR存在的这些问题。例如下面代码：
fetch(url)
.then(function(response) {
return response.json();
})
.then(function(data) {
console.log(data);
})
.catch(function(e) {
console.log("Oops, error");
});