winmaxfit
本站致力于IT相关技术的分享
  文章分类
分布式架构 4 架构与设计 2 后端架构 7 架构设计 2 分布式系统 2 可观测性 2 MLOps 2 可观测性与韧性工程 1 云原生 1 数据工程 1 SRE 1 DevSecOps 2 可观测性工程 1 全栈开发 1 DevOps 1
构建基于OIDC与MySQL的实时特征存储元数据服务及Storybook组件化前端 构建基于OIDC与MySQL的实时特征存储元数据服务及Storybook组件化前端
当团队的机器学习模型从个位数增长到几十个时，特征管理混乱是必然会引爆的第一个问题。最初，特征逻辑散落在各个数据处理脚本和模型训练代码中，不仅重复计算，更严重的是线上线下特征不一致导致的灾难性后果。我们决定构建一个内部的Feature Sto
2023-10-27 MLOps
Go Feature Store MySQL OpenID Connect (OIDC) Storybook Emotion React
构建基于Kubeflow的分布式SciPy计算组件以处理海量数据湖特征工程 构建基于Kubeflow的分布式SciPy计算组件以处理海量数据湖特征工程
我们的特征工程管道遇到了一个无法回避的物理瓶颈。最初为GB级数据集设计的、基于SciPy和Pandas的信号处理脚本，在面对数据湖中TB级的时序数据时，单机执行时间从几小时飙升到数天。简单地垂直扩展实例（使用内存和CPU更大的机器）很快就触
2023-10-27 MLOps
Kubernetes Kubeflow MLOps SciPy Data Lake