团队内部的数据源越来越多，从 Kafka 的业务事件流，到对象存储上游系统定时落地的文件，都需要统一汇入 Snowflake 数仓进行分析。最初的解决方案是为每个数据源编写一个独立的微服务，常驻运行，监听事件并执行ETL。这种模式很快暴露了
2023-10-27