walledeo
本站致力于IT相关技术的分享
构建一个由MapReduce驱动的CQRS读写分离架构 构建一个由MapReduce驱动的CQRS读写分离架构
我们面临的初始场景并不罕见：一个运行了数年的核心分析平台，其数据心脏是一个庞大的Hadoop集群。每天凌晨，TB级的原始日志通过MapReduce作业进行聚合、转换，最终生成一系列覆盖业务全景的报表数据，存储在HDFS上。业务方对这些报表的
2023-10-27 分布式系统
MapReduce CAP Theorem CQRS API 与架构 Ant Design
基于 Actix-web 与 Consul 构建 Grafana 动态日志关联面板的实践 基于 Actix-web 与 Consul 构建 Grafana 动态日志关联面板的实践
技术痛点：隔离的数据孤岛在复杂的微服务环境中，Grafana、Loki 和 Consul 是我们的标准技术栈。Grafana 负责展示，Loki 存储海量日志，Consul 管理服务发现和配置。日常排障时，我们面临一个典型困境：在 Loki
2023-10-27 可观测性
Grafana Rollup Consul Loki Actix-web
构建一个利用spaCy进行实体识别的动态SQL血缘解析引擎 构建一个利用spaCy进行实体识别的动态SQL血缘解析引擎
我们的数据平台遇到了一个棘手的可维护性问题。随着微服务数量增长到数百个，它们与后端PostgreSQL集群的交互变得极其复杂。一个核心的痛点是数据血缘的完全失控：当需要修改一个核心数据表的结构时，我们无法准确、快速地定位到所有依赖该表的上游
2023-10-27 数据工程
Consul SQL spaCy 测试
构建基于Playwright微服务和事件驱动架构的弹性数据采集管道 构建基于Playwright微服务和事件驱动架构的弹性数据采集管道
传统的单体式爬虫脚本在面对动态、高反扒的现代Web应用时，其脆弱性暴露无遗。一个简单的cron任务，执行一个庞大的Python脚本，往往因为一个JavaScript渲染超时、一个选择器变更或是一个临时的网络波动而全盘崩溃。更糟糕的是，这类脚
2023-10-27 数据工程
Playwright 数据湖与仓库 微服务 Docker
构建基于ScyllaDB与OpenTelemetry的高基数指标监控系统的实践复盘 构建基于ScyllaDB与OpenTelemetry的高基数指标监控系统的实践复盘
我们的告警系统在周一早上7点15分崩溃了。不是因为它承载的业务系统出了故障，而是因为监控系统本身不堪重负。问题根源在于高基数（high cardinality）指标。随着业务从单体架构迁移到数百个微服务，再加上按租户、地域、实例ID等维度进
2023-10-27 可观测性
OpenTelemetry Ruby on Rails ScyllaDB Sass/SCSS Matplotlib
在 Istio 服务网格中构建混合 API 架构：FastAPI RESTful 端点与 tRPC 内部通信的统一管理实践 在 Istio 服务网格中构建混合 API 架构：FastAPI RESTful 端点与 tRPC 内部通信的统一管理实践
一个微服务系统在演进到一定阶段后，必然会面临内外部通信模型的抉择。外部通信，尤其是面向公众或第三方开发者的 API，通常要求具备良好的自描述性、广泛的客户端支持和成熟的生态系统。而内部服务间的通信，则更侧重于极致的性能、严格的类型安全和低廉
2023-10-27 分布式架构
Istio FastAPI RESTful API tRPC
2 / 5