运营中心响应提速300%，用户等待压至2秒

　　去年十月份，运营中心那个接口压测报告发出来当天，我盯着监控面板看了三遍——300%提速？用户等待压到两秒？我点开WAF日志翻了前七天，发现那个IP段（192.168.217.142）又来了，跟九月二十三号凌晨三点零七分那波一样，User-Agent里还带着旧版爬虫签名，没换壳。

　　我原以为是CDN缓存策略调了，结果去查边缘节点缓存命中率，发现根本没动过。运维老张说“中间加了个轻量路由层”，我就顺手连上跳板机看了一下——/tmp/.cache_219a/目录下多了个叫“init.sh”的文件，sha256我截了图但没存，现在找不着了。他后来解释说是预热脚本，但我看见里面curl了两次内网地址，其中一个是10.8.15.63:8081/metrics，而那个端口在服务树里压根没注册。

文章配图，仅供参考

　　半夜一点半，安全群突然@全员，头像是小王的，但他手机早关机了。消息是“waf-log-dump-20231014.zip已上传ftp”——可FTP账号三个月前就停用了。我登上去扫了一眼，压缩包里只有三个log.gz，解压后全是access_log，没有error_log，也没有modsec_audit.log。我直接删了，顺手把FTP的SSH密钥对也轮换了，但没同步告诉任何人。

　　这事儿真不是吹：响应时间从六秒干到两秒，确实是实测。用curl -w “\
%{time_starttransfer}\
” -o /dev/null -s 连续跑二十次，中位数1.98秒。但你猜怎么着？我抓包时候发现，前端居然把所有用户行为事件全埋进一个POST /v2/event/batch 的body里，base64+gzip两层套，WAF规则根本过不了第一层解码，日志里只剩“[FILTERED]”四个字。这个我敢打包票——我现场抓的包还在test-pcap-20231014-2137.pcapng里存着。

　　溯源做到一半断了。那个192.168.217.142最早是从nginx access_log里跳出来的，接着在kafka topic ops-metrics-sink 里匹配到它触发的三个告警ID（ALERT-8821、ALERT-8822、ALERT-8824），再往下查Flink作业状态时，作业manager页面返回500，日志只有一行：“Unable to resolve host ‘jobmaster-02’”。我们重跑了作业，告警ID变了，但142这个IP没再出现。这事儿我说不准——到底是IP被封了，还是它根本就是伪造源端口打出来的？

　　对了，十一月三号早上，我在测试环境部署灰度版本的时候，顺手扫了下redis cluster配置，发现sentinel.conf里多了一行bind 0.0.0.0 ——不是注释，是实打实写的。我截图发群里，没人回。下午四点十七分，测试妹子莉莉过来问：“为什么我本地起的mock server连不上运营中心？” 我让她ping一下域名，她ping通了；telnet端口，也通；curl -v，卡在TLS handshake。后来发现是她的macOS证书链里少了个根CA，但那天整栋楼的Mac都出了同样问题。我们重装了系统自带的securityd进程才好，过程太琐碎，不说了。

　　安全是成本不是收入。这话我上周五在复盘会上说了三遍，没人接。CTO敲着桌子说“先上线再说”，DBA老陈当场把笔记本合上了，屏幕还没黑，键盘灯还亮着。我没拦。反正现在用户等两秒，比等六秒开心，开心了就多点按钮，点按钮就多打日志，打日志就多写磁盘，写磁盘就……哦对，昨天巡检发现/var/log/audit/ 下面多了三个空文件，命名是audit.log.20231018、audit.log.20231019、audit.log.20231020，时间戳都是凌晨两点零三分，大小为零字节。我已经把rsyslog里对应rule注释掉了，但不确定要不要重启服务——上次重启丢过十二分钟审计日志，是真实丢的，没补，也没人问。

　　说回提速的事。他们吹“架构升级”，我看是把原先走MySQL主库的几个查询，全塞进了一个Lua写的Redis pipeline脚本里。脚本开头写着# Author: devops_team_2022，但git blame显示最后一次提交是十月十号凌晨，作者邮箱后缀是 @gmail.com。我没深究。反正只要它不读/etc/shadow、不写 /proc/sys/net/ipv4/ip_forward、不执行system("rm -rf /")，我就当它是良性的。但它调了三次os.execute("date +%s.%N")，精度高得反常。我不信时间戳对齐能带来三百个点的TPS提升，但测试数据确实摆在那儿——两秒就是两秒，不多不少。

　　所以今晚我准备干两件事：一是把所有运营中心出口流量镜像一份到pcap-ng分析机，保留七天；二是让实习生小马去把jenkins上那个“ops-center-perf-check”任务的超时阈值从30s改成2500ms——改完别发通知，先挂一天，看看有没有人报警。要是没人提，就说明两秒真够用了；要是有人跳脚，我就把那段带curl内网指标的init.sh截图发过去，问他：“你确认这玩意儿在提速？”

　　别的不说了。我刚收到一条短信，说我银行卡异地登录，地点在石家庄。我人在上海，卡没丢，APP也没打开过。现在正翻银行APP里的设备列表，看见一个叫“HUAWEI Y9 Prime 2019”的设备，最后活跃时间是今天上午十点四十一分。这手机我三年前送人了，收的人早不用了。不聊了，我得打客服。客服电话一直占线。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!