归档: 2023 | hefylia

2023

10

27

我们的 GitOps 流程开始出现一个棘手的问题。在一个庞大的 Monorepo 中，多个 CI/CD 流水线可能被几乎同时触发，它们都会尝试对同一组配置文件（例如共享的 package.json 或 tsconfig.json）执行自动化

2023-10-27 分布式系统

AWS SNS etcd Prettier Memcached Vercel Functions

27

为我们的 MLOps 平台构建新的“模型洞察”模块时，团队面临一个棘手的架构挑战。现有的模块普遍采用纯客户端渲染（CSR）方案，但随着模型日益复杂、特征维度增多，前端看板的加载和交互性能瓶颈愈发突出。数据科学家在审查模型版本、对比实验结果时

2023-10-27 后端架构

MLOps Actix-web SSR MobX Jib

27

一个棘手的生产需求摆在了面前：我们需要为核心风控系统提供近乎实时的关联关系特征。例如，在用户发起一笔交易时，系统必须在50毫秒内判断该用户的设备、IP地址是否与已知的欺诈账户存在两度以内的关联。传统的做法是使用离线图计算（如Spark Gr

2023-10-27 数据工程与存储

Apache Flink DynamoDB NoSQL 图计算实时系统

27

一、问题的根源：静态配置与动态负载的矛盾在处理高吞吐量的消息流时，Google Cloud Pub/Sub 消费端的性能调优是一个无法回避的挑战。标准的 Go cloud.google.com/go/pubsub 客户端库提供了一个配置项

2023-10-27 分布式系统

Google Cloud Pub/Sub eBPF 强化学习

27

需要在一个原子操作中同时更新 S3 上的文件和 PostgreSQL 中的元数据记录。这是一个典型的分布式事务场景。最初的方案是先上传文件，成功后再写入数据库，失败则尝试删除文件。但这套补偿逻辑脆弱不堪，网络抖动或服务重启都可能导致状态不一

2023-10-27 分布式系统

WebSockets Two-Phase Commit (2PC) XState RESTful API Haskell

27

我们面临一个越来越普遍的问题：当系统指标开始出现异常时，传统的基于阈值的告警系统往往为时已晚。当CPU利用率持续95%的告警触发时，服务通常已经受到影响。我们需要的是一套能够从指标流的“形态”而非“数值”中学习，并提前预警潜在风险的系统。这

2023-10-27 架构与设计

MobX WebSockets BentoML Docker Swarm MySQL