归档: 2023/10 | winmaxfit

2023

10

27

一个线上突发的Log4j高危漏洞，将整个技术团队拖入了长达数周的应急响应。问题不在于修复Java应用本身，真正的梦魇来自于数据平台。成千上万的Hadoop任务，每天处理着PB级的数据，它们运行时依赖了各式各样的JAR包。现在，一个无法回避的

2023-10-27 数据工程

ACID Hadoop 依赖扫描 Iceberg 数据治理

27

我们面临一个典型的Serverless架构演进后的困境：几十个细粒度的OpenFaaS函数部署在Google Kubernetes Engine (GKE)上，每个函数负责一个独立的业务领域，例如查询用户信息、获取订单列表、检查库存状态。前

2023-10-27 云原生

Google Cloud (GCP) OpenFaaS Kong GraphQL Client

27

团队接手了一个实时用户行为分析仪表盘。后端是 Apache Flink，负责处理海量的用户点击事件流，进行复杂的状态计算，比如会话窗口（Session Window）分析；前端是一个 React 应用，通过 WebSocket 接收 Fli

2023-10-27 后端架构

测试 React Testing Library Apache Flink 数据一致性端到端测试

27

一个棘手的现实摆在面前：我们的前端团队使用 React 和 Webpack，以周为单位快速迭代；而数据团队则维护着一套基于 Java 的 Hadoop MapReduce 任务，发布周期以月计，流程繁琐。两个团队之间唯一的交集，是一份口头约

2023-10-27 架构与设计

DevOps Hadoop Monorepo Webpack SQL 平台工程

27

当团队的机器学习模型从个位数增长到几十个时，特征管理混乱是必然会引爆的第一个问题。最初，特征逻辑散落在各个数据处理脚本和模型训练代码中，不仅重复计算，更严重的是线上线下特征不一致导致的灾难性后果。我们决定构建一个内部的Feature Sto

2023-10-27 MLOps

Go Feature Store MySQL OpenID Connect (OIDC) Storybook Emotion React

27

一个棘手的问题摆在面前：如何构建一个多人协作的操作平台，既要保证操作的绝对安全，又要让所有在线用户的界面实时、精准地同步状态，同时还需保留一份不可篡改的完整操作审计日志。传统的 CRUD + WebSocket 方案能勉强应付，但在真实项目

2023-10-27 后端架构

API Gateway Chakra UI Event Sourcing Server-Sent Events (SSE) WebAuthn