分布式技术最全详解(图文全面总结)

分布式是大型架构的核心,下面我重点详解分布式技术@mikechen

什么是分布式技术

分布式技术(Distributed Technology),是指将一个系统拆分为多个独立节点,通过网络协作共同完成任务的技术体系。

分布式技术最全详解(图文全面总结)

核心目标包括:

性能提升(并行处理、多节点负载分摊);

高可用性(节点故障时系统仍可运行);

可扩展性(灵活增加节点应对业务增长);

容错性(自动恢复与异常处理)。

简单理解:一台机器干不动的事,让一群机器一起干。

 

分布式计算

将大型计算任务分解成小块,分配给多台计算机(节点)并行处理,并将最终结果汇总。

分布式技术最全详解(图文全面总结)

解决的问题:

单机性能瓶颈: 解决单台机器计算能力不足的问题。

高吞吐量: 实现对海量数据的快速分析、处理和实时计算。

核心技术点:

并行化: 任务拆分和节点间的协同调度。

容错机制: 确保某个节点计算失败时,任务可以自动转移到其他节点。

代表技术:

离线计算:

实时/内存计算:

容器编排: (用于调度微服务计算资源)。

分布式存储

将海量数据分散存储在多台独立的服务器上,对外提供统一的存储服务接口。

典型的实现,包括: 

分布式技术最全详解(图文全面总结)

解决的问题:

存储容量限制: 突破单台服务器的硬盘容量限制。

高并发读写: 提升数据的读写吞吐量和并发能力。

数据可靠性: 通过多副本备份机制,防止单点故障导致数据丢失。

分布式通信

分布式通信,是分布式系统各节点之间信息传递、和交互的基础。

分布式技术最全详解(图文全面总结)

解决分布式架构中,不同服务或节点之间如何进行高效、可靠、安全的网络交互。。

同步通信:(远程过程调用)。

,实现高性能的直接调用。

异步通信:(消息队列)。

,用于削峰填谷和系统解耦。

 

分布式事务

分布式事务在多个独立节点参与的情况下,保证一组操作要么全部成功执行,要么全部回滚,确保数据一致性。

分布式技术最全详解(图文全面总结)

常见实现方式包括:

两阶段提交(2PC)/ 三阶段提交(3PC): 强一致性模型,但性能较低。

(Try-Confirm-Cancel): 业务层面的补偿机制,解决强一致性问题,但代码侵入性高。

模式: 适用于长事务,通过一系列本地事务和补偿事务来实现最终一致性。

代表技术: 等分布式事务框架。

陈睿mikechen

10年+大厂架构经验,资深技术专家,就职于阿里巴巴、淘宝、百度等一线互联网大厂。

关注作者「mikechen」公众号,获取更多技术干货!

后台回复架构,即可获取《阿里架构师进阶专题全部合集》,后台回复面试即可获取《史上最全阿里Java面试题总结

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧