The 2ndDim: That was I talking about!

#WTF#TalesFromTechSupport 一大早接了个紧急电话。一台重要业务服务器连不上SSH了： Last login: Thu Jul 11 03:37:35 2024 from [ManageHost_IP] Could not chdir to home directory /home/mgmtuser: Permission denied /bin/bash: Permission denied Connection to [ProdServer_IP] closed. 这很怪，然后我看了一下前一次登录的地址，是管理服务器，这个服务器通常是跑批量脚本的。 同时进来一个新的需求让我看一些机器的DNS问题。我登陆上机器一看，好家伙，同款错误。 简单跑了一下批量脚本一看，50台机器炸掉了。 上来给我来个大的？ 问了一下昨天谁跑了批量脚本，然后把脚本拿到手一看... # ... # install service files chmod 644 "$var_a/$var_b" # ... 然后这两个变量都没有检查是否为空。这就导致了这行命令成了： chmod 644 / 根目录没了 x 权限，我们的服务器又都是没有root账户需要sudo提权的，这下子是没人登陆的上了。各种非root身份的服务这下子也因为从根目录开始就缺少 chdir() 权限而找不着北了。本地控制台登录也都是秒退，因为连 /bin 都禁止 chdir() ，更何况是运行 /bin/bash 。 拿救援USB盘启动，进去看了一眼，果不其然是根目录缺了 x 权限。 怎么办呢？ 只能拿着救援USB和键盘显示器，一台一台修了。 这状况怎么这么眼熟？ 哦对，前几天的 CrowdStrike 也得这么修。 笑死，同事写的有问题的脚本导致50台生产系统服务器原地爆炸无法远程操作，只能本地一台一台救援盘去修。 这个事件我称之为： CrewStrike