Linux深度学习环境搭建：7年测试工程师的排障实战

　　我原以为搭个CUDA环境顶多三小时——结果在conda-forge源里卡了整整十八秒，就那会儿王磊端着黄焖鸡进来，油星溅到我键盘F12键上，他边擦边说“你这报错是不是又没清缓存”，我说清了清了，清了三遍，他拿我终端扫了一眼：“兄弟，你装的是cudatoolkit不是cudnn啊”，我点开history一看，果然是敲错了，但问题是……这错误连conda都不报warning，就给你静默装了个假货，装完还自己跑出个fake version number糊弄人。

　　主编上礼拜催日更指标催得像催命，群里发了个红色感叹号截图：“专题排期压着呢，你们测的环境必须能一键复现”，我回了个“OK”，转头就发现nvidia-smi根本不起——显卡驱动版本和内核模块对不上，我重装四次，第四次发现是系统自动更新了kernel但没重装nvidia-dkms，等我手动invoke dkms install，打印机卡纸了，卡得特别艺术，半张A4悬在出纸口抖，像在冷笑。李薇路过瞄了一眼，顺手抽出来塞我手里：“你这环境，比我们测试部去年春晚小品还靠不住。”

　　我改个标题改了七次。第一次写《Linux深度学习环境搭建：7年测试工程师的排障实战》，主编说“太干，没热词”；第二次加了“避坑指南”，他说“指南这个词平台限流”；第三次改成“保姆级教程”，他回“教程类内容原创度检测过不了”，我翻出检测报告截图，红框标着“相似段落来自2023年某高校AI实验室Wiki”，我说那Wiki是我们组实习生写的，他没理我；第四次我把“保姆级”换成“手把手”，第五次加了“小白友好”，第六次删掉所有冒号，第七次我直接粘了编辑KPI表里本月高频词库里的“实战”“避雷”“稳了”三个词凑成标题，主编回了个“行，先上”。

文章配图，仅供参考

　　优胜劣汰？这词我敢打包票站得住——不是机器淘汰人，是环境自己筛人。你装错一个cudnn patch，模型训到一半OOM，你调lr衰减函数参数，训练损失突然跳变，你查半天发现是torch版本里某个算子在特定batch_size下有隐式int overflow——这种bug不报错，只给你一个诡异loss curve，像在考你信不信自己的眼睛。上周陈工提了个PR，说要加个dtype校验前置断言，review里被驳回了，理由是“影响初始化速度”，可我们真机跑的时候init快了三百七十二毫秒，却多花了四小时定位那个tensor device mismatch……这个我说不准。

　　空调滴水声从下午三点开始，滴、滴、滴，节奏很准，像某种倒计时。我数到第七次的时候，微信弹出个群消息：“@所有人 明早十点审稿，新规则：所有实操类内容必须附可复现commit hash和dockerfile片段”。我盯着屏幕看了两分钟，把刚写的“.bashrc alias cudatest='python -c \\"import torch; print(torch.cuda.is_available())\\"'”这段删了，重写成“请确保nvidia-container-toolkit已正确注册进containerd runtime config”，但其实……我昨天才亲眼见赵磊用同一份dockerfile，在他本机跑通，在测试服务器上拉取镜像时卡在sha256校验，等了十七分钟，最后发现是内网registry缓存了一个损坏层，没人通知运维清理——这种事没法写进文档，写了等于告诉审核：我们流程本身就不稳。

　　前天跟甲方技术对接，对方问“你们验证环境是否支持分布式训练”，我点头说支持，他接着问“NCCL版本是多少”，我卡住了，翻笔记发现我们测过的是2.11，但文档写的是2.10.3，因为那天build完没来得及改md，我含糊说“大版本一致”，他点点头走开。五分钟后他回来，拿手机拍我屏幕上的nvidia-smi输出，说：“你这驱动版本，2.11压根跑不起来。”我赶紧ssh过去看，果然nccl-test直接segmentation fault——这个我敢打包票，fault信号打到shell里是没日志的，得用strace才看到它卡在ibv_reg_mr，而这个函数崩溃的原因，是驱动和firmware握手时某个capability flag对不上。没人管这个，除了我凌晨两点重启服务器顺便硬拔了三次GPU插槽试试物理接触……

　　说回优胜劣汰。不是说谁代码写得好就能活，是看你愿不愿意为一行报错去翻NV的JIRA私有issue、愿意不愿意给nvidia-container-toolkit提patch、愿不愿意在docker build失败时蹲守/var/log/daemon.log直到看见那一行“failed to load overlay module”然后冲去recompile kernel module。王磊昨天还在笑：“你这哪是测环境，是给NVIDIA打工。”可他不知道，上周我帮他修的那个“训练卡死”，根因是ubuntu 22.04的systemd默认cgroup v1没关，而pytorch lightning 2.0.1默认启用了cgroup v2的内存限制路径——两套东西背对背打架，log里连warning都没有，只默默kill掉worker进程。这种事，审稿不会驳，平台不检测，原创度算法也抓不到……但它天天在咬你。

　　我现在在重写Dockerfile的FROM行。不打算用nvidia/cuda:11.8-devel-ubuntu22.04了，换成nvidia/cuda:11.8.0-devel-ubuntu22.04——就差那仨数字，build cache全崩，但至少commit hash能钉死。打印机又卡了，这次是缺粉。李薇探头过来：“你还没改完？”我说快了，改完我就去拆服务器机箱，把那块亮绿灯但nvidia-smi不认的A10再插一次。她耸耸肩，把外卖盒盖子扣上：“上次春晚小品结尾咋说的？‘这环境，还得再烧一炉’。”

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!