modules/porterbox/files/mail-big-homedirs

   1 #!/usr/bin/python
   2 ## vim:set et ts=2 sw=2 ai:
   3 # Send email reminders to users having sizable homedirs.
   4 ##
   5 # Copyright (c) 2013 Philipp Kern <pkern@debian.org>
   6 # Copyright (c) 2013, 2014 Peter Palfrader <peter@palfrader.org>
   7 # Copyright (c) 2013 Luca Filipozzi <lfilipoz@debian.org>
   8 #
   9 # Permission is hereby granted, free of charge, to any person obtaining a copy
  10 # of this software and associated documentation files (the "Software"), to deal
  11 # in the Software without restriction, including without limitation the rights
  12 # to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  13 # copies of the Software, and to permit persons to whom the Software is
  14 # furnished to do so, subject to the following conditions:
  15 #
  16 # The above copyright notice and this permission notice shall be included in
  17 # all copies or substantial portions of the Software.
  18 #
  19 # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  20 # IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  21 # FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  22 # AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  23 # LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  24 # OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  25 # THE SOFTWARE.
  26
  27 from collections import defaultdict
  28 from dsa_mq.connection import Connection
  29 from dsa_mq.config import Config
  30 import email
  31 import email.mime.text
  32 import glob
  33 import logging
  34 from optparse import OptionParser
  35 import os.path
  36 import platform
  37 import pwd
  38 import subprocess
  39 import struct
  40 import time
  41 import StringIO
  42
  43 # avoid base64 encoding for utf-8
  44 email.charset.add_charset('utf-8', email.charset.SHORTEST, email.charset.QP)
  45
  46 parser = OptionParser()
  47 parser.add_option("-D", "--dryrun",
  48                   action="store_true", default=False,
  49                   help="Dry run mode")
  50
  51 parser.add_option("-d", "--debug",
  52                   action="store_true", default=False,
  53                   help="Enable debug output")
  54
  55 (options, args) = parser.parse_args()
  56 options.section = 'dsa-homedirs'
  57 options.config = '/etc/dsa/pubsub.conf'
  58 if os.access(options.config, os.R_OK):
  59   mq_config = Config(options)
  60   mq_conf  = {
  61     'rabbit_userid': mq_config.username,
  62     'rabbit_password': mq_config.password,
  63     'rabbit_virtual_host': mq_config.vhost,
  64     'rabbit_hosts': ['pubsub02.debian.org', 'pubsub01.debian.org'],
  65     'use_ssl': False
  66   }
  67 else:
  68   mq_config = None
  69
  70 if options.dryrun:
  71   SENDMAIL_COMMAND = ['/bin/cat']
  72   RM_COMMAND = ['/bin/echo', 'Would remove']
  73 else:
  74   SENDMAIL_COMMAND = ['/usr/sbin/sendmail', '-t', '-oi']
  75   RM_COMMAND = ['/bin/rm', '-rf']
  76
  77 CRITERIA = [
  78     { 'size': 10240,  'notifyafter':  5, 'deleteafter':  40 },
  79     { 'size':  1024,  'notifyafter': 10, 'deleteafter':  50 },
  80     { 'size':   100,  'notifyafter': 30, 'deleteafter':  90 },
  81     { 'size':    20,  'notifyafter': 90, 'deleteafter': 150 },
  82     { 'size':     5,                     'deleteafter': 700 }
  83   ]
  84 EXCLUDED_USERNAMES = ['lost+found', 'debian', 'buildd', 'd-i']
  85 MAIL_FROM = 'debian-admin (via Cron) <bulk@admin.debian.org>'
  86 MAIL_TO = '{username}@{hostname}.debian.org'
  87 MAIL_CC = 'debian-admin (bulk sink) <bulk@admin.debian.org>'
  88 MAIL_REPLYTO = 'debian-admin <dsa@debian.org>'
  89 MAIL_SUBJECT = 'Please clean up ~{username} on {hostname}.debian.org'
  90 MAIL_MESSAGE = u"""\
  91 Hi {realname}!
  92
  93 Thanks for your porting effort on {hostname}!
  94
  95 Please note that, on most porterboxes, /home is quite small, so please
  96 remove files that you do not need anymore.
  97
  98 For your information, you last logged into {hostname} {days_ago} days
  99 ago, and your home directory there is {homedir_size} MB in size.
 100
 101 If you currently do not use {hostname}, please keep ~{username} under
 102 10 MB, if possible.
 103
 104 Please assist us in freeing up space by deleting schroots, also.
 105
 106 Thanks,
 107
 108 Debian System Administration Team via Cron
 109
 110 PS: A reply is not required.
 111 """
 112
 113 class Error(Exception):
 114   pass
 115
 116 class SendmailError(Error):
 117   pass
 118
 119 class LastlogTimes(dict):
 120   LASTLOG_STRUCT_32 = '=L32s256s'
 121   LASTLOG_STRUCT_64 = '=Q32s256s'
 122
 123   def __init__(self):
 124     record_size_32 = struct.calcsize(self.LASTLOG_STRUCT_32)
 125     record_size_64 = struct.calcsize(self.LASTLOG_STRUCT_64)
 126     # some 64bit arches have 32bit-compatible lastlog structures, others don't,
 127     # in apparently incoherent ways, so hardcode a list...
 128     if platform.machine() in ('ia64', 'aarch64', 's390x'):
 129         self.LASTLOG_STRUCT = self.LASTLOG_STRUCT_64
 130         record_size = record_size_64
 131     else:
 132         self.LASTLOG_STRUCT = self.LASTLOG_STRUCT_32
 133         record_size = record_size_32
 134     with open('/var/log/lastlog', 'r') as fp:
 135       uid = -1 # there is one record per uid in lastlog
 136       for record in iter(lambda: fp.read(record_size), ''):
 137         if len(record) != record_size:
 138             raise RuntimeError('lastlog has unexpected size, read %d instead of %d'
 139                                % (len(record), record_size))
 140         uid += 1 # so keep incrementing uid for each record read
 141         lastlog_time, _, _ = list(struct.unpack(self.LASTLOG_STRUCT, record))
 142         try:
 143           self[pwd.getpwuid(uid).pw_name] = lastlog_time
 144         except KeyError:
 145           # this is a normal condition
 146           continue
 147
 148 class HomedirSizes(dict):
 149   def __init__(self):
 150     for direntry in glob.glob('/home/*'):
 151       username = os.path.basename(direntry)
 152
 153       if username in EXCLUDED_USERNAMES:
 154         continue
 155
 156       try:
 157         pwinfo = pwd.getpwnam(username)
 158       except KeyError:
 159         if os.path.isdir(direntry):
 160           logging.warning('directory %s exists on %s but there is no %s user', direntry, platform.node(), username)
 161         continue
 162
 163       if pwinfo.pw_dir != direntry:
 164         logging.warning('home directory for %s is not %s, but that exists.  confused.', username, direntry)
 165         continue
 166
 167       command = ['/usr/bin/du', '-ms', pwinfo.pw_dir]
 168       p = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
 169       (stdout, stderr) = p.communicate()
 170       if p.returncode != 0: # ignore errors from du
 171         logging.info('%s failed:', ' '.join(command))
 172         logging.info(stderr)
 173         continue
 174       try:
 175         self[username] = int(stdout.split('\t')[0])
 176       except ValueError:
 177         logging.error('could not convert size output from %s: %s', ' '.join(command), stdout)
 178         continue
 179
 180 class HomedirReminder(object):
 181   def __init__(self):
 182     self.lastlog_times = LastlogTimes()
 183     self.homedir_sizes = HomedirSizes()
 184
 185   def notify(self, **kwargs):
 186     msg = email.mime.text.MIMEText(MAIL_MESSAGE.format(**kwargs), _charset='UTF-8')
 187     msg['From'] = MAIL_FROM.format(**kwargs)
 188     msg['To'] = MAIL_TO.format(**kwargs)
 189     if MAIL_CC != "":
 190       msg['Cc'] = MAIL_CC.format(**kwargs)
 191     if MAIL_REPLYTO != "":
 192       msg['Reply-To'] = MAIL_REPLYTO.format(**kwargs)
 193     msg['Subject'] = MAIL_SUBJECT.format(**kwargs)
 194     msg['Precedence'] = "bulk"
 195     msg['Auto-Submitted'] = "auto-generated by mail-big-homedirs"
 196     p = subprocess.Popen(SENDMAIL_COMMAND, stdin=subprocess.PIPE)
 197     p.communicate(msg.as_string())
 198     logging.debug(msg.as_string())
 199     if p.returncode != 0:
 200       raise SendmailError
 201
 202   def remove(self, **kwargs):
 203     try:
 204       pwinfo = pwd.getpwnam(kwargs.get('username'))
 205     except KeyError:
 206       return
 207
 208     command = RM_COMMAND + [pwinfo.pw_dir]
 209     p = subprocess.check_call(command)
 210
 211   def run(self):
 212     current_time = time.time()
 213     conn = None
 214     try:
 215       data = {}
 216       for user in set(self.homedir_sizes.keys()) | \
 217                   set(self.lastlog_times.keys()):
 218         data[user] = {
 219           'homedir': self.homedir_sizes.get(user, 0),
 220           'lastlog': self.lastlog_times.get(user, 0),
 221         }
 222
 223       if mq_config is not None:
 224         msg = {
 225           'timestamp': current_time,
 226           'data': data,
 227           'host': platform.node(),
 228         }
 229         conn = Connection(conf=mq_conf)
 230         conn.topic_send(mq_config.topic,
 231                         msg,
 232                         exchange_name=mq_config.exchange,
 233                         timeout=5)
 234     except Exception, e:
 235       logging.error("Error sending: %s" % e)
 236     finally:
 237       if conn:
 238         conn.close()
 239
 240     for username, homedir_size in self.homedir_sizes.iteritems():
 241       try:
 242         realname = pwd.getpwnam(username).pw_gecos.decode('utf-8').split(',', 1)[0]
 243       except:
 244         realname = username
 245       lastlog_time = self.lastlog_times.get(username, 0)
 246       days_ago = int( (current_time - lastlog_time) / 3600 / 24 )
 247       kwargs = {
 248           'hostname': platform.node(),
 249           'username': username,
 250           'realname': realname,
 251           'homedir_size': homedir_size,
 252           'days_ago': days_ago
 253         }
 254
 255       notify = False
 256       remove = False
 257       for x in CRITERIA:
 258         if homedir_size > x['size'] and 'notifyafter' in x and days_ago >= x['notifyafter']:
 259           notify = True
 260         if homedir_size > x['size'] and 'deleteafter' in x and days_ago >= x['deleteafter']:
 261           remove = True
 262
 263       if remove:
 264         self.remove(**kwargs)
 265       elif notify:
 266         self.notify(**kwargs)
 267
 268 if __name__ == '__main__':
 269   lvl = logging.ERROR
 270   if options.debug:
 271     lvl = logging.DEBUG
 272   logging.basicConfig(level=lvl)
 273   HomedirReminder().run()