walledeo
本站致力于IT相关技术的分享
在 Istio 服务网格中构建混合 API 架构：FastAPI RESTful 端点与 tRPC 内部通信的统一管理实践 在 Istio 服务网格中构建混合 API 架构：FastAPI RESTful 端点与 tRPC 内部通信的统一管理实践
一个微服务系统在演进到一定阶段后，必然会面临内外部通信模型的抉择。外部通信，尤其是面向公众或第三方开发者的 API，通常要求具备良好的自描述性、广泛的客户端支持和成熟的生态系统。而内部服务间的通信，则更侧重于极致的性能、严格的类型安全和低廉
2023-10-27 分布式架构
Istio FastAPI RESTful API tRPC
构建基于Playwright微服务和事件驱动架构的弹性数据采集管道 构建基于Playwright微服务和事件驱动架构的弹性数据采集管道
传统的单体式爬虫脚本在面对动态、高反扒的现代Web应用时，其脆弱性暴露无遗。一个简单的cron任务，执行一个庞大的Python脚本，往往因为一个JavaScript渲染超时、一个选择器变更或是一个临时的网络波动而全盘崩溃。更糟糕的是，这类脚
2023-10-27 数据工程
数据湖与仓库 Playwright 微服务 Docker
构建基于CDC与Python的Meilisearch实时索引服务以支持iOS端 构建基于CDC与Python的Meilisearch实时索引服务以支持iOS端
我们的iOS应用最初的搜索功能是直接查询生产环境的PostgreSQL数据库，使用了几个LIKE '%query%'。这个方案在用户量过百后迅速崩溃，不仅查询缓慢，还给主库带来了不必要的压力。第一个迭代是引入Meilisea
2023-10-27 后端架构
Python iOS 开发 Meilisearch Kafka Debezium CDC
使用 Tyk Python 插件、NumPy 与 Argo CD 构建 API 流量异常检测系统 使用 Tyk Python 插件、NumPy 与 Argo CD 构建 API 流量异常检测系统
标准的 API 网关速率限制策略，无论是基于 IP、令牌还是全局计数，都存在一个根本性的缺陷：它们是“哑”的。一个配置为每分钟 100 次请求的限制，无法区分 100 次正常的业务调用和 100 次旨在探测漏洞的恶意扫描。在真实项目中，我们
2023-10-27 API 网关
可观测性 NumPy Argo CD Tyk Cypress GitOps
利用 Consul Session 与 KV 实现 Fastify 集群的滑动窗口速率限制 利用 Consul Session 与 KV 实现 Fastify 集群的滑动窗口速率限制
单体应用里的速率限制实现起来直截了当，一个内存中的哈希表加几行逻辑就能搞定。但在水平扩展的微服务架构里，这种方式立刻失效。每个 Fastify 实例都只维护自身节点的请求计数，无法对来自同一客户端的跨节点请求进行全局限制。这就导致实际的请求
2023-10-27 分布式系统
Consul 分布式一致性 Fastify 速率限制 Node.js
构建不可变推理单元 以 Packer 和 ASP.NET Core 赋能 Kubeflow 服务 构建不可变推理单元 以 Packer 和 ASP.NET Core 赋能 Kubeflow 服务
团队的 MLOps 平台最近遇到了一个棘手的瓶颈。我们的模型训练环境是清一色的 Python 技术栈，但绝大部分线上业务系统都构建在 .NET 之上。这就导致了一个持续的矛盾：当数据科学家交付一个 pickle 文件或一组 .py 脚本时，
2023-10-27 MLOps
ASP.NET Core Packer Kubeflow
3 / 5