归档: 2023 | walledeo

2023

10

27

我们面临的初始场景并不罕见：一个运行了数年的核心分析平台，其数据心脏是一个庞大的Hadoop集群。每天凌晨，TB级的原始日志通过MapReduce作业进行聚合、转换，最终生成一系列覆盖业务全景的报表数据，存储在HDFS上。业务方对这些报表的

2023-10-27 分布式系统

MapReduce CAP Theorem CQRS API 与架构 Ant Design

27

技术痛点：隔离的数据孤岛在复杂的微服务环境中，Grafana、Loki 和 Consul 是我们的标准技术栈。Grafana 负责展示，Loki 存储海量日志，Consul 管理服务发现和配置。日常排障时，我们面临一个典型困境：在 Loki

2023-10-27 可观测性

Grafana Rollup Consul Loki Actix-web

27

我们的数据平台遇到了一个棘手的可维护性问题。随着微服务数量增长到数百个，它们与后端PostgreSQL集群的交互变得极其复杂。一个核心的痛点是数据血缘的完全失控：当需要修改一个核心数据表的结构时，我们无法准确、快速地定位到所有依赖该表的上游

2023-10-27 数据工程

Consul SQL spaCy 测试

27

传统的单体式爬虫脚本在面对动态、高反扒的现代Web应用时，其脆弱性暴露无遗。一个简单的cron任务，执行一个庞大的Python脚本，往往因为一个JavaScript渲染超时、一个选择器变更或是一个临时的网络波动而全盘崩溃。更糟糕的是，这类脚

2023-10-27 数据工程

Playwright 数据湖与仓库微服务 Docker

27

我们的告警系统在周一早上7点15分崩溃了。不是因为它承载的业务系统出了故障，而是因为监控系统本身不堪重负。问题根源在于高基数（high cardinality）指标。随着业务从单体架构迁移到数百个微服务，再加上按租户、地域、实例ID等维度进

2023-10-27 可观测性

OpenTelemetry Ruby on Rails ScyllaDB Sass/SCSS Matplotlib

27

一个微服务系统在演进到一定阶段后，必然会面临内外部通信模型的抉择。外部通信，尤其是面向公众或第三方开发者的 API，通常要求具备良好的自描述性、广泛的客户端支持和成熟的生态系统。而内部服务间的通信，则更侧重于极致的性能、严格的类型安全和低廉

2023-10-27 分布式架构

Istio FastAPI RESTful API tRPC