如何在Windows中安装Spark3.5并运行首先,我们理一下 Spark 3.5 的依赖: JDK Spark3.x支持Java 8和Java 11,首选Java 11 Apache Spark Hadoop 本地运行Spark需要依赖一些Hadoop的内容 下面我们逐个安装并配置。 第一步:安装并配置Java 下载JDK11 Download Link 安装 配置环境变量 新建环境变量:JAVA_HOME,设置值为JDK11的 2024-05-27 Spark #Spark
一个数据人眼中的《上游思维》最近读了《上游思维》这本书,很受启发,我想从一个数据人的角度来聊一聊我对这本书的读后感。上游思维本质上是帮助我们解决问题,我发现在解决问题相关的每个阶段:发现问题、找到解决问题的方法、解决问题的过程中、评估问题以及预防问题等,数据都发挥了不可替代的至关重要的作用。 利用数据发现问题预见问题的能力让我们拥有了更多解决问题的空间,上游思维的重要一环就是我们要在问题的上游发现问题。发现问题靠的不是想象 2024-04-27 读书笔记 #上游思维 #系统科学
不开玩笑,你应该像「搬砖」一样写代码!斯坦福大学研究如是说由于程序员不可避免要进行很多重复性的工作,并且工作强度很高,导致有一种自嘲的说法出现:程序员们自称自己每天都在搬砖(实际上很多职场人都这么自嘲)。我相信当我们说工作像「搬砖」的时候,只是在表达一种不满和自嘲,没有其他积极的含义。不过从斯坦福大学10年前的一份研究结果来看,我们或许真的可以对「搬砖」这个词进行另外一种解读,并从中找到一些提升工作效率的密码。 如何让你的想法长腿?2014年斯坦福大学 2024-04-07 程序人生 #创意 #程序员
YC’s Demo Day速递!现在有哪些比较热的创业方向?Y Combinator (YC) 是一家著名的创业孵化器,每年举办两次 Demo Day。这是一个特殊的活动,吸引了约 1,500 名投资人和媒体代表。在 Demo Day 上,YC 最新一批的初创公司会进行演示,展示他们的产品、业务模式和愿景。这是一个难得的机会,让这些初创公司向潜在投资者展示他们的潜力和创新。 2024年Demo Day刚刚落幕,活动上有很多创业公司进行了演讲,涵盖医疗保健 2024-04-05 #科技咨询 #YC #创业
见证历史:Quantinuum与微软取得突破性进展,开启了可靠量子计算的新时代!Quantinuum与微软的合作取得了重大突破,将可靠量子计算带入了新的时代。他们结合了Quantinuum的System Model H2量子计算机和微软创新的量子比特虚拟化系统,在逻辑量子比特领域取得了800倍于物理电路错误率的突破。这一创新不仅影响深远,加速了量子计算的进展,也挑战了传统对大规模可靠量子计算时间表的认知。 这一工作的主要创新点包括:可靠逻辑量子比特的实现,实时量子错误校正协 2024-04-04 量子计算 #微软 #Quantinuum #量子计算
揭开AI编程语言Mojo比Pyhon快6.8万倍的5个秘密!最近(2024年3月29日),号称比Python快6.8万倍的Mojo编程语言开源啦!6.8万倍?你敢相信这个数字是真的吗?不过,就连Mojo官网都把这个结果贴了出来(见下图),这就很难让你不对这个数字引起好奇。很显然,Mojo官方的结果难免有“自卖自夸”的嫌疑,但至少说明在某些特殊的场景下确实得到了这个数字,官网不会造假。那么,究竟是什么原因让Mojo能比Python快这么多呢?下面我们就揭开 2024-04-03 #Mojo
XZ后门技术解读:狼是怎么进来的?这一篇文章尝试从技术角度来解读XZ后门事件,试图搞清楚这个恶意代码引入和执行的逻辑。关于该事件的整体情况,请关注本公众号,查看最新的另一篇文章《XZ压缩工具被植入后门,Linux发行版差点全部沦陷?开源软件界炸了~》。 后门是如何工作的首先,liblzma库中被引入了恶意代码,这个代码劫持了 RSA_public_decrypt 这一函数,在 sshd 的公钥认证过程中,会调用RSA_publi 2024-04-01 网络安全 #网络安全 #Backdoor
XZ压缩工具被植入后门,Linux发行版差点全部沦陷?开源软件界炸了~最近,开源软件界发生了一件惊天大事,引起了广泛和高度的关注。XZ压缩工具被发现被植入了后门,使得在某些情况下利用RCE(Remote Code Execution/远程代码执行)在未经授权的情况下进行ssh登录。起初一些工程师并不觉得这是一个大事,XZ就是一个压缩工具而已,影响不大。但是,很快大家发现事情没那么简单:在很多Linux发行版,包括Debian(Ubuntu),中openssh以间 2024-04-01 网络安全 #网络安全 #Backdoor
《搞定系统设计》深度阅读以下是《搞定系统设计》(System Design Interview)这本书中推荐的参考资料,整理如下,方便喜欢这本书的朋友进行深度阅读。 1. 从0到100万用户的扩展 HTTP - wiki Should you go Beyond Relational Databases? Replication(computing) - wiki Multi-master replication Ca 2024-02-05 系统设计 #系统设计 #《System Design Interview》 #资料
如何在Windows上和Linux上配置自启动服务?我们以 FastTunnel 这个内网穿透工具为例,其中Server端的程序运行在Linux上,Client端的程序运行在Windows上。关于这个程序的配置请参考官方文档: 快速上手:快速搭建服务。为了避免每次手动启动程序,我们把它们做成开启自启动的服务,这样你就可以无缝使用远程桌面了。 Windows 下载 nssm http://nssm.cc/download 下载 FastTunnel 2024-01-30 工具之美 #Windows #Linux #nssm #systemctl