walledeo
本站致力于IT相关技术的分享
  文章分类
MLOps 3 前端工程化 1 云原生 3 可观测性 6 分布式系统 4 数据工程 3 后端架构 4 分布式架构 1 API 网关 1 数据工程与存储 1 架构与设计 1 架构设计 1 前端架构 1
构建不可变推理单元 以 Packer 和 ASP.NET Core 赋能 Kubeflow 服务 构建不可变推理单元 以 Packer 和 ASP.NET Core 赋能 Kubeflow 服务
团队的 MLOps 平台最近遇到了一个棘手的瓶颈。我们的模型训练环境是清一色的 Python 技术栈，但绝大部分线上业务系统都构建在 .NET 之上。这就导致了一个持续的矛盾：当数据科学家交付一个 pickle 文件或一组 .py 脚本时，
2023-10-27 MLOps
ASP.NET Core Packer Kubeflow
构建基于OpenTelemetry的PyTorch模型全链路可观测性与组件化调试方案 构建基于OpenTelemetry的PyTorch模型全链路可观测性与组件化调试方案
一个训练好的PyTorch模型部署到生产环境后，往往会迅速变成一个难以捉摸的黑盒。我们团队遇到的问题很典型：一个图像字幕生成模型的API，在某些请求下响应异常缓慢，或者生成质量不符合预期的文本。传统的日志打印 (print 或 loggin
2023-10-27 MLOps
OpenTelemetry PyTorch ELK Stack Storybook
构建基于 MLflow 与 Google Cloud Functions 的可观测 Serverless 推理架构 构建基于 MLflow 与 Google Cloud Functions 的可观测 Serverless 推理架构
将一个训练好的 MLflow 模型部署到 Google Cloud Functions (GCF) 似乎是实现低成本、自动扩缩容推理服务的捷径。但这条捷径在生产环境中往往通向一个调试与监控的黑洞。当一个请求的延迟突然飙升，或者模型开始返回异
2023-10-27 MLOps
MLflow Google Cloud Functions 可观测性 Serverless OpenTelemetry