hefylia
本站致力于IT相关技术的分享
  文章分类
后端架构 8 数据工程与存储 1 分布式系统 5 分布式架构 3 架构与设计 2 MLOps 3 DevOps 1 前端工程化 2 云原生 1 架构设计 1 基础设施安全 1
构建基于Nomad与ClickHouse的高吞吐可观测TensorFlow模型服务 构建基于Nomad与ClickHouse的高吞吐可观测TensorFlow模型服务
最初的尝试是一场灾难。一个简单的 Flask 应用，通过 tensorflow.keras.models.load_model 加载模型，然后用 Gunicorn 部署了几个 worker。当流量只有每秒几次请求时，一切看起来都还不错。但当
2023-10-27 MLOps
Nomad TensorFlow Django 模型部署 ClickHouse
构建基于DVC服务网格与Angular的机器学习特征全链路可观测性与版本化实践 构建基于DVC服务网格与Angular的机器学习特征全链路可观测性与版本化实践
团队的机器学习模型迭代开始失控，根源不在算法，而在特征。一个特征工程脚本的微小改动，一周后可能导致线上模型性能的神秘衰减，而彼时，没人能准确复盘出是哪个版本的代码、处理了哪一批数据、最终生成了线上正在使用的那版特征。特征的生成过程变成了一个
2023-10-27 MLOps
MLOps DVC Service Mesh Angular Vitest Istio
基于in-toto证明的Pandas工作负载在MLOps GitOps流程中的安全部署实践 基于in-toto证明的Pandas工作负载在MLOps GitOps流程中的安全部署实践
我们的 MLOps 平台最近遇到了一个棘手的安全问题。数据科学团队提交了一个用于特征工程的 Pandas 脚本，附带一个 requirements.txt 文件。CI 管道按部就班地构建容器镜像，Argo CD 忠实地将其同步到生产环境。两
2023-10-27 MLOps
MLOps Pandas Security Argo CD Kubernetes GitOps Tekton Kyverno in-toto