walledeo
本站致力于IT相关技术的分享
  文章分类
MLOps 3 前端工程化 1 云原生 3 可观测性 6 分布式系统 4 数据工程 3 后端架构 4 分布式架构 1 API 网关 1 数据工程与存储 1 架构与设计 1 架构设计 1 前端架构 1
构建基于Playwright微服务和事件驱动架构的弹性数据采集管道 构建基于Playwright微服务和事件驱动架构的弹性数据采集管道
传统的单体式爬虫脚本在面对动态、高反扒的现代Web应用时，其脆弱性暴露无遗。一个简单的cron任务，执行一个庞大的Python脚本，往往因为一个JavaScript渲染超时、一个选择器变更或是一个临时的网络波动而全盘崩溃。更糟糕的是，这类脚
2023-10-27 数据工程
Playwright 数据湖与仓库 微服务 Docker
构建一个利用spaCy进行实体识别的动态SQL血缘解析引擎 构建一个利用spaCy进行实体识别的动态SQL血缘解析引擎
我们的数据平台遇到了一个棘手的可维护性问题。随着微服务数量增长到数百个，它们与后端PostgreSQL集群的交互变得极其复杂。一个核心的痛点是数据血缘的完全失控：当需要修改一个核心数据表的结构时，我们无法准确、快速地定位到所有依赖该表的上游
2023-10-27 数据工程
Consul SQL spaCy 测试
构建基于 Tekton 和 XState 的分布式 Iceberg 表维护任务幂等性保障架构 构建基于 Tekton 和 XState 的分布式 Iceberg 表维护任务幂等性保障架构
在 Kubernetes 环境中执行 Apache Iceberg 的表维护任务，如 expire_snapshots 或 optimize，面临一个核心挑战：如何确保这些长时间运行、多步骤操作的幂等性和容错性。一个简单的 Pod 或 Jo
2023-10-27 数据工程
Apache Iceberg 分布式锁 XState NoSQL (键值型) Tekton