大数据架构师必懂的5大实时计算核心技术

　　我原以为“大数据架构师必懂的5大实时计算核心技术”这选题，就是换个壳子讲Flink、Kafka、Pulsar、Iceberg、Trino——结果主编拍着桌子说“冰山得叫‘湖仓一体底座’，Trino得叫‘联邦即服务中间件’”，我端着那碗凉透的牛肉面在工位上扒拉了十八秒，没动筷子。

　　两个月之前，我蹲在客户机房改完第七版流式作业拓扑，空调冷凝水正滴在UPS柜顶上，嗒、嗒、嗒，像倒计时。运维老张掀开机柜门扇风，说“你那个Checkpoint存OSS，小文件多得跟头皮屑似的”，我点头，手还在敲Flink conf，嘴里应着“对对”，心里想的是下午三点得赶去隔壁楼听平台规则宣讲——他们把Kafka消息积压超三百万条定义为“高水位异常”，但没定义“三百万”是按字节还是按批次算，我问了三次，没人答，只听见打印机卡纸时“咔”的一声闷响。

　　这事儿真不能赖甲方。上周四，我在会议室用白板画flink watermark推进逻辑，刚画到watermark迟到窗口那条虚线，销售小陈推门进来，手里拎着两杯瑞幸，“哥，甲方刚提需求：要实时感知用户点击热力图，延迟压到五百毫秒以内”。我笔尖顿住，他补了句：“对了，他们说‘你们以前不是搞原生开发的吗？应该懂实时’。”我差点把白板擦扔过去——原生开发？我上回写Java代码是修一个Android 4.4的WebView内存泄漏，距今十八年。

文章配图，仅供参考

　　所以我说“优胜劣汰”站得住。不是因为技术本身多牛，是淘汰太狠：Kafka 0.10之前靠自己写Consumer Group协调器的早没了；Spark Streaming硬扛微批的，现在连面试都过不了二面；还有那个坚持用Storm做实时反欺诈的团队，去年团建照片里六个人，仨换赛道去搞AIGC了。这个我敢打包票——我亲眼见他们CTO在酒桌上删GitLab账号，手指抖得按错三次。

　　（微信弹了个群消息：“审稿反馈回来了，标题‘必懂’被标黄，说‘绝对化表述’，建议改成‘值得关注的’……”）

　　改个标题？先切到Word，复制原标题；再切到钉钉，翻聊天记录找编辑发来的修改意见原文；再切回Word，删掉“必懂”，打上“值得关注的”，光标还悬在“的”字后面，就听见主编在走廊吼：“王工！那个实时计算的稿子，第三段提到Exactly-once语义，但没提具体场景——加个电商下单幂等的例子！”——我回：“例子有了，但不是电商下单，是充电桩结算，客户自己写的State TTL配置错了一天，账单重复冲了三百七十二次。”主编沉默两秒：“……换成电商吧，安全。”

　　我无所谓。真的无所谓。上次我改稿改到凌晨两点，对着“伪原创检测工具”上传第十一版，系统报“原创度91.3%”，我点开对比报告，发现它把我写的“窗口触发策略”和知乎某篇2019年的草稿划成相似——那篇草稿连Flink版本号都写错了，1.9写成1.7。但我没争。争没用。平台规则不认对错，只认指纹比对阈值。就像昨天行政大姐来收快递，顺手把桌上半包抽纸拿走，说“这个也归档”，我点头，心想反正抽纸也没标Flink logo。

　　（谁端着外卖进来，油渍从袋口洇出来，搁在我键盘右下角。我挪了挪鼠标垫，没说话。）

　　反常识结论来了：现在最稳的实时链路，不是Flink + Kafka，是ClickHouse物化视图+HTTP轮询——别笑，某地医保平台真这么干的，日均八亿事件，延迟三百毫秒，运维零报警。为什么？因为没人敢动它。Flink任务重启要配CKP路径，Kafka要调ISR，而CH那个视图，建完就丢那儿，连注释都没人敢加。它就像工位底下那台总响的老式打印机，卡纸时所有人绕着走，反而活到了现在。

　　失败案例必须提：上个月帮朋友公司救火，他们用Pulsar做实时风控，schema演进直接崩了Schema Registry，消费者全挂。救回来的办法？回滚schema，手动patch所有旧消息加default字段——用了三天。而隔壁组用Kafka+Avro，早就跑通Schema兼容性方案了。但朋友说：“我们当时选Pulsar，就因为它名字带‘P’，看着比K强。” 我没接话。这种事，说了也是白说。

　　说到这儿我其实有点后怕。上周五下班前，测试组突然问我：“你文档里写‘Flink状态后端建议用RocksDB’，那如果我们不用呢？” 我说“那用FsStateBackend也行”，他盯着我看三秒：“哦，可我们FS用的是MinIO，最近挂过两次。” 我愣住，这个我说不准——我没测过MinIO断连对FsStateBackend的recover影响到底有多大。只记得两年前在某个项目，有人试过，恢复时间波动从八秒到一百零七秒不等。

　　（对方敲桌面的小动作：哒、哒、哒，像在敲ETL调度周期。）

　　站长个人见解，别信什么“五大核心技术”这种排比。真正在乎的只有三条：第一，故障时能不能人工介入；第二，新同事三天内能不能看懂拓扑图；第三，三年后交接给下一任的时候，ta愿不愿意在离职答辩PPT里写“这套实时链路挺靠谱”。其他全是废话。我现在准备把这篇稿子发群里，谁有现成的ClickHouse实时物化视图案例，截图发我——我要抄一段进去，凑够审稿要求的“业务落地感”。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!