winmaxfit
本站致力于IT相关技术的分享
构建基于整洁架构与Redis Streams的幂等事件处理器并使用Ansible与Podman自动化部署 构建基于整洁架构与Redis Streams的幂等事件处理器并使用Ansible与Podman自动化部署
一个看似简单的事件处理任务，在生产环境中往往会演变成一场维护性的灾难。问题通常始于一个不起眼的耦合：业务逻辑与消息队列客户端库的深度绑定。当我们需要更换消息中间件、独立测试核心业务规则，或者保证消息处理的幂等性时，这种紧耦合的结构就会暴露出
2023-10-27 后端架构
Go DevOps Podman Ansible Clean Architecture Redis Streams
在 AWS EKS 上构建具备 ACID 保证的 CQRS 命令侧服务 在 AWS EKS 上构建具备 ACID 保证的 CQRS 命令侧服务
在一个典型的CQRS系统中，命令处理器接收一个命令，执行业务逻辑，更新数据库中的聚合状态，然后发布一个领域事件。这个流程看似简单，但在分布式环境中却暗藏着一个致命的问题：如果在数据库事务提交成功后、事件发布到消息队列之前，服务实例发生崩溃或
2023-10-27 分布式系统
Go CQRS AWS EKS ACID Kubernetes Transactional Outbox
多技术栈环境下基于XState与事件驱动的复杂工作流架构权衡 多技术栈环境下基于XState与事件驱动的复杂工作流架构权衡
摆在面前的问题是一个复杂的、长周期的文档处理工作流。一个文档从上传开始，需要经过多个异步处理阶段：光学字符识别（OCR）、内容校验、风险规则匹配、人工审核，最终归档或驳回。整个过程可能耗时数分钟到数天，其中“人工审核”是一个阻塞步骤，需要等
2023-10-27 架构设计
Code Review XState Java Django Koa
构建基于Kubeflow的分布式SciPy计算组件以处理海量数据湖特征工程 构建基于Kubeflow的分布式SciPy计算组件以处理海量数据湖特征工程
我们的特征工程管道遇到了一个无法回避的物理瓶颈。最初为GB级数据集设计的、基于SciPy和Pandas的信号处理脚本，在面对数据湖中TB级的时序数据时，单机执行时间从几小时飙升到数天。简单地垂直扩展实例（使用内存和CPU更大的机器）很快就触
2023-10-27 MLOps
Kubernetes Kubeflow MLOps SciPy Data Lake
在GKE上利用自定义Kong插件为OpenFaaS函数构建分布式GraphQL聚合层 在GKE上利用自定义Kong插件为OpenFaaS函数构建分布式GraphQL聚合层
我们面临一个典型的Serverless架构演进后的困境：几十个细粒度的OpenFaaS函数部署在Google Kubernetes Engine (GKE)上，每个函数负责一个独立的业务领域，例如查询用户信息、获取订单列表、检查库存状态。前
2023-10-27 云原生
Google Cloud (GCP) OpenFaaS Kong GraphQL Client
在 Monorepo 架构下统一 Webpack 前端构建与 Hadoop 数据管道的平台工程实践 在 Monorepo 架构下统一 Webpack 前端构建与 Hadoop 数据管道的平台工程实践
一个棘手的现实摆在面前：我们的前端团队使用 React 和 Webpack，以周为单位快速迭代；而数据团队则维护着一套基于 Java 的 Hadoop MapReduce 任务，发布周期以月计，流程繁琐。两个团队之间唯一的交集，是一份口头约
2023-10-27 架构与设计
DevOps Monorepo Webpack SQL Hadoop 平台工程
3 / 5