hefylia
本站致力于IT相关技术的分享
构建基于DVC服务网格与Angular的机器学习特征全链路可观测性与版本化实践 构建基于DVC服务网格与Angular的机器学习特征全链路可观测性与版本化实践
团队的机器学习模型迭代开始失控，根源不在算法，而在特征。一个特征工程脚本的微小改动，一周后可能导致线上模型性能的神秘衰减，而彼时，没人能准确复盘出是哪个版本的代码、处理了哪一批数据、最终生成了线上正在使用的那版特征。特征的生成过程变成了一个
2023-10-27 MLOps
MLOps DVC Service Mesh Angular Vitest Istio
构建基于Knative的事件驱动型Snowflake数据摄取核心库与自动化工具链 构建基于Knative的事件驱动型Snowflake数据摄取核心库与自动化工具链
团队内部的数据源越来越多，从 Kafka 的业务事件流，到对象存储上游系统定时落地的文件，都需要统一汇入 Snowflake 数仓进行分析。最初的解决方案是为每个数据源编写一个独立的微服务，常驻运行，监听事件并执行ETL。这种模式很快暴露了
2023-10-27 云原生
Snowflake Knative 核心库 构建与工具 Golang Serverless
构建一个集成Jotai前端、Ruby后端与云端SciPy计算的异步任务平台 构建一个集成Jotai前端、Ruby后端与云端SciPy计算的异步任务平台
我们团队的数据分析师最近遇到了一个瓶颈。他们依赖一组复杂的Python脚本进行蒙特卡洛模拟，这些脚本大量使用SciPy和NumPy。问题在于，这些计算任务通常需要运行5到20分钟，完全锁死他们的本地机器，而且结果分享极为低效——通常是截图或
2023-10-27 后端架构
云服务商 Jotai SciPy Ruby
基于in-toto证明的Pandas工作负载在MLOps GitOps流程中的安全部署实践 基于in-toto证明的Pandas工作负载在MLOps GitOps流程中的安全部署实践
我们的 MLOps 平台最近遇到了一个棘手的安全问题。数据科学团队提交了一个用于特征工程的 Pandas 脚本，附带一个 requirements.txt 文件。CI 管道按部就班地构建容器镜像，Argo CD 忠实地将其同步到生产环境。两
2023-10-27 MLOps
MLOps Pandas Security Argo CD Kubernetes GitOps Tekton Kyverno in-toto
一个集成了动态样式、OpenCV处理与WebSocket通信的视觉组件开发实录 一个集成了动态样式、OpenCV处理与WebSocket通信的视觉组件开发实录
团队接手了一个新需求，要求在多个前端项目中嵌入一个功能：实时捕获用户摄像头画面，发送到后端进行视觉分析，然后将分析结果（如人脸框、关键点）实时绘制在画面上。直接的想法是为每个项目单独实现，但这显然不是一个可维护的方案。我们需要的是一个独立的
2023-10-27 前端工程化
WebSockets Storybook 样式方案 OpenCV
使用 JavaScript 构建管理分片数据库的声明式 Saga 事务 Kubernetes Operator 使用 JavaScript 构建管理分片数据库的声明式 Saga 事务 Kubernetes Operator
在一个按用户ID分片的微服务体系中，一个看似简单的用户注册流程暴露了架构的裂缝。该流程要求原子性地完成两个操作：在users分片库中创建核心用户记录，并在accounts分片库中初始化用户的资金账户。这两个库物理隔离，传统的本地ACID事务
2023-10-27 分布式系统
数据库分片 容器编排 Kubernetes 分布式事务 JavaScript
3 / 5