hefylia
本站致力于IT相关技术的分享
  文章分类
后端架构 8 数据工程与存储 1 分布式系统 5 分布式架构 3 架构与设计 2 MLOps 3 DevOps 1 前端工程化 2 云原生 1 架构设计 1 基础设施安全 1
在 Serverless 架构中集成 etcd 与 Memcached 构建幂等且高并发的代码格式化任务 在 Serverless 架构中集成 etcd 与 Memcached 构建幂等且高并发的代码格式化任务
我们的 GitOps 流程开始出现一个棘手的问题。在一个庞大的 Monorepo 中，多个 CI/CD 流水线可能被几乎同时触发，它们都会尝试对同一组配置文件（例如共享的 package.json 或 tsconfig.json）执行自动化
2023-10-27 分布式系统
AWS SNS etcd Prettier Memcached Vercel Functions
使用 JavaScript 构建管理分片数据库的声明式 Saga 事务 Kubernetes Operator 使用 JavaScript 构建管理分片数据库的声明式 Saga 事务 Kubernetes Operator
在一个按用户ID分片的微服务体系中，一个看似简单的用户注册流程暴露了架构的裂缝。该流程要求原子性地完成两个操作：在users分片库中创建核心用户记录，并在accounts分片库中初始化用户的资金账户。这两个库物理隔离，传统的本地ACID事务
2023-10-27 分布式系统
数据库分片 容器编排 Kubernetes 分布式事务 JavaScript
基于 Haskell 与 WebSocket 实现一个带状态机前端的二阶段提交协调器 基于 Haskell 与 WebSocket 实现一个带状态机前端的二阶段提交协调器
需要在一个原子操作中同时更新 S3 上的文件和 PostgreSQL 中的元数据记录。这是一个典型的分布式事务场景。最初的方案是先上传文件，成功后再写入数据库，失败则尝试删除文件。但这套补偿逻辑脆弱不堪，网络抖动或服务重启都可能导致状态不一
2023-10-27 分布式系统
WebSockets Two-Phase Commit (2PC) XState RESTful API Haskell
结合eBPF与强化学习构建自adaptiveGoogle Cloud Pub/Sub消费端流控架构 结合eBPF与强化学习构建自adaptiveGoogle Cloud Pub/Sub消费端流控架构
一、问题的根源：静态配置与动态负载的矛盾在处理高吞吐量的消息流时，Google Cloud Pub/Sub 消费端的性能调优是一个无法回避的挑战。标准的 Go cloud.google.com/go/pubsub 客户端库提供了一个配置项
2023-10-27 分布式系统
Google Cloud Pub/Sub eBPF 强化学习
使用 Ray Actors 构建一个分布式、有状态的断路器服务 使用 Ray Actors 构建一个分布式、有状态的断路器服务
一个断路器的核心本质是一个状态机。它封装了对下游服务的调用，并根据失败率在三个状态之间转换：CLOSED（允许所有调用通过）、OPEN（立即拒绝所有调用）和 HALF_OPEN（允许有限的探测调用以确定服务是否恢复）。在单体应用或单个进程中
2023-10-27 分布式系统
框架 (Python) Ray 核心库 断路器 高可用