月度归档：2019年01月

python日志分析脚本

发表评论

一个简单的python分析nginx日志的脚本，版本为python3。
脚本log.py

import os,re,sys
if len(sys.argv)<3:
    print("you must input your log file and anystr")
else:
    if os.path.isfile(sys.argv[1]):
        logfile=open(sys.argv[1],'r')
        alog=None
        if len(sys.argv)==4:
            alog=open(sys.argv[3],'w')
        for line in logfile:
            if re.findall(r''+sys.argv[2]+'',line):
                print(line)
                if alog:
                    alog.write(line)
        if alog:
            alog.close()
        logfile.close()
    else:
        print("no log file")

python3 log.py www.abc.com.log '\?s=' ax.log

www.abc.com.log 你的网站日志
‘?s=’正则匹配
ax.log匹配后的文件保持位置（非必需）

详情点击此处 maysrp/pylog

使用rsync备份数据

发表评论

服务端安装

首先需要安装rsync，Ubuntu下安装apt-get install rsync安装完成后开始配置文件。

配置文件

vim /etc/rsyncd.conf

uid = root
gid = root
use chroot = no
read only = yes
max connections = 10

port = 873
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsync.log 
log format = %t %a %m %f %b
syslog facility = local3
timeout = 300

[www]
path = /home/wwwroot/
comment = el.psy.congroo
ignore errors
read only = yes
list = no
auth users = els
secrets file = /etc/rsync.pwd
# exclude = book
# exclude from = /etc/exclude_rsync.info
hosts allow = 备份服务器IP
hosts deny = *
  • [www]:需要在客户端中相互对应
  • path:需要备份的目录
  • comment:设置名称[无关紧要]
  • secrets file:密码文件[格式 用户吗:密码]
  • auth users:用户名
  • exclude:排除目录[相对目录][可以注释掉]
  • exclude from:排除目录 文件导入[可以注释掉]
  • hosts allow:备份服务器IP,需要填写
  • log file:rsync日志查看

密码文件

echo '用户名:密码'> /etc/rsync.pwd
用户名就是前面配置文件的用户名，密码随意设置。
chmod 600 /etc/rsync.pwd
密码文件必需600的权限才能使用

启动rsync

rsync --daemon
该命令将自动读取/etc/rsyncd.conf下的配置来启动rsync。

客户端

安装

安装apt-get install rsync
密码文件设置echo '密码'> /etc/rsync.pwd 此处只需要密码即可。

echo "rsync -avzP --delete --password-file=/etc/rsync.pwd 用户名@服务端ip::www /back/www">/root/back.sh
  • –password-file=:密码文件地址
  • 用户名@需要备份服务器的ip
  • www为服务端中[www]的配置
  • /back/www:备份到客户端的地址，必需已经存在不存在请先mkdir -p /back/www创建。

执行sh /root/back.sh即可运行备份。
crontab -e中添加一个定时任务:
* * */1 * * sh /root/back.sh每日执行一次备份

在命令中添加–bwlimit=1000 限制速度为1000kbps，100M需要–bwlimit=100000