归档: 2023/10 | walledeo

2023

10

27

传统的单体式爬虫脚本在面对动态、高反扒的现代Web应用时，其脆弱性暴露无遗。一个简单的cron任务，执行一个庞大的Python脚本，往往因为一个JavaScript渲染超时、一个选择器变更或是一个临时的网络波动而全盘崩溃。更糟糕的是，这类脚

2023-10-27 数据工程

数据湖与仓库 Playwright 微服务 Docker

27

我们的iOS应用最初的搜索功能是直接查询生产环境的PostgreSQL数据库，使用了几个LIKE '%query%'。这个方案在用户量过百后迅速崩溃，不仅查询缓慢，还给主库带来了不必要的压力。第一个迭代是引入Meilisea

2023-10-27 后端架构

Python iOS 开发 Meilisearch Kafka Debezium CDC

27

标准的 API 网关速率限制策略，无论是基于 IP、令牌还是全局计数，都存在一个根本性的缺陷：它们是“哑”的。一个配置为每分钟 100 次请求的限制，无法区分 100 次正常的业务调用和 100 次旨在探测漏洞的恶意扫描。在真实项目中，我们

2023-10-27 API 网关

可观测性 NumPy Argo CD Tyk Cypress GitOps

27

单体应用里的速率限制实现起来直截了当，一个内存中的哈希表加几行逻辑就能搞定。但在水平扩展的微服务架构里，这种方式立刻失效。每个 Fastify 实例都只维护自身节点的请求计数，无法对来自同一客户端的跨节点请求进行全局限制。这就导致实际的请求

2023-10-27 分布式系统

Consul 分布式一致性 Fastify 速率限制 Node.js

27

团队的 MLOps 平台最近遇到了一个棘手的瓶颈。我们的模型训练环境是清一色的 Python 技术栈，但绝大部分线上业务系统都构建在 .NET 之上。这就导致了一个持续的矛盾：当数据科学家交付一个 pickle 文件或一组 .py 脚本时，

2023-10-27 MLOps

ASP.NET Core Packer Kubeflow

27

一台性能不错的开发机上，我们的 Electron 应用在处理一个本地数据集时出现了无法解释的卡顿。用户点击一个“生成报告”按钮后，UI 会冻结大约 500ms 到 800ms，然后才恢复响应。Chrome DevTools 的 Perfor

2023-10-27 可观测性

OpenTelemetry Jaeger Node.js SQLite Redux