modules/bacula/files/volumes-delete-old

   1 #!/usr/bin/python3
   2
   3 # queries a bacula database for volumes to delete and deletes them using bconsole
   4
   5 # Copyright 2010, 2011, 2013, 2017, 2018 Peter Palfrader
   6 #
   7 # Permission is hereby granted, free of charge, to any person obtaining
   8 # a copy of this software and associated documentation files (the
   9 # "Software"), to deal in the Software without restriction, including
  10 # without limitation the rights to use, copy, modify, merge, publish,
  11 # distribute, sublicense, and/or sell copies of the Software, and to
  12 # permit persons to whom the Software is furnished to do so, subject to
  13 # the following conditions:
  14 #
  15 # The above copyright notice and this permission notice shall be
  16 # included in all copies or substantial portions of the Software.
  17 #
  18 # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  19 # EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  20 # MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  21 # NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  22 # LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  23 # OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  24 # WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  25
  26 import argparse
  27 import os.path
  28 import psycopg2
  29 import psycopg2.extras
  30 import re
  31 import sys
  32 import subprocess
  33
  34 DSA_BACULA_DB_CONNECT = '/etc/dsa/bacula-reader-database'
  35 DSA_CLIENT_LIST_FILE = '/etc/bacula/dsa-clients'
  36
  37 parser = argparse.ArgumentParser()
  38 parser.add_argument("-d", "--db-connect-string", metavar="connect-string", dest="db",
  39   help="Database connect string")
  40 parser.add_argument("-D", "--db-connect-string-file", metavar="FILE", dest="dbfile",
  41   default=DSA_BACULA_DB_CONNECT,
  42   help="File to read database connect string from (%s)"%(DSA_BACULA_DB_CONNECT,))
  43 parser.add_argument("-c", "--client-list", metavar="FILE", dest="clientlist",
  44   default=DSA_CLIENT_LIST_FILE,
  45   help="File with a list of all clients (%s)"%(DSA_CLIENT_LIST_FILE,))
  46 parser.add_argument("-v", "--verbose", dest="verbose",
  47   default=False, action="store_true",
  48   help="Be more verbose.")
  49 parser.add_argument("-n", "--nodo", dest="nodo",
  50   default=False, action="store_true",
  51   help="Print to cat rather than bconsole.")
  52 parser.add_argument("-t", "--token", metavar='TOKEN', dest="pool_name_token",
  53   default='bacula',
  54   help="A string token used in pool names.")
  55 args = parser.parse_args()
  56
  57 if args.db is not None:
  58     pass
  59 elif args.dbfile is not None:
  60     args.db = open(args.dbfile).read().rstrip()
  61 else:
  62     print >>sys.stderr, "Need one of -d or -D."
  63     sys.exit(1)
  64
  65
  66 conn = psycopg2.connect(args.db)
  67 cursor = conn.cursor(cursor_factory=psycopg2.extras.DictCursor)
  68
  69 cmd = []
  70 # Error volumes
  71 cursor.execute("""
  72   SELECT volumename
  73   FROM media
  74   WHERE
  75     volstatus='Error' AND
  76     firstwritten < current_date - interval '2 weeks' AND
  77     labeldate < current_date - interval '2 weeks' AND
  78     (lastwritten IS NULL OR lastwritten < current_date - interval '6 weeks')
  79 """, {})
  80 for r in cursor.fetchall():
  81   c = "delete volume=%s yes"%(r['volumename'],)
  82   cmd.append(c)
  83
  84 # Append volumes - we should not have any of these
  85 cursor.execute("""
  86   SELECT volumename
  87   FROM media
  88   WHERE
  89     volstatus='Append' AND
  90     firstwritten IS NULL AND
  91     labeldate IS NULL AND
  92     lastwritten IS NULL AND
  93     voljobs = 0 AND
  94     volfiles = 0 AND
  95     volblocks = 0 AND
  96     volbytes = 0 AND
  97     volwrites = 0
  98 """, {})
  99 for r in cursor.fetchall():
 100   c = "delete volume=%s yes"%(r['volumename'],)
 101   cmd.append(c)
 102
 103 cursor.execute("""
 104   SELECT volumename
 105   FROM media
 106   WHERE
 107     volstatus='Purged' AND
 108     firstwritten < current_date - interval '18 weeks' AND
 109     labeldate < current_date - interval '18 weeks' AND
 110     lastwritten < current_date - interval '16 weeks' AND
 111     volfiles = 0 AND
 112     volbytes < 1000 AND
 113     recycle=1
 114 """, {})
 115
 116 for r in cursor.fetchall():
 117   c = "delete volume=%s yes"%(r['volumename'],)
 118   cmd.append(c)
 119
 120 # find obsolete pools, but only if we have a list of clients
 121 ##
 122 if os.path.exists(args.clientlist):
 123   clients = set(open(args.clientlist).read().split())
 124
 125   cursor.execute("""
 126     SELECT name
 127     FROM pool
 128     WHERE
 129       name != 'Scratch' AND
 130       numvols = 0 AND
 131       poolid NOT IN (SELECT recyclepoolid FROM media)
 132   """, {})
 133
 134   for r in cursor.fetchall():
 135     poolname = r['name']
 136     match = re.match('pool[a-z]*-%s-(.*)'%(args.pool_name_token, ), poolname)
 137     if match is not None:
 138       hostname = match.group(1)
 139       if hostname not in clients:
 140         c = "delete pool=%s"%(poolname,)
 141         cmd.append(c)
 142         cmd.append("yes")
 143       elif args.verbose:
 144         print("Not expiring empty pool %s because client still exists"%(poolname,))
 145     elif args.verbose:
 146         print("Could not extract client name from poolname %s"%(poolname,))
 147
 148 if args.nodo:
 149   print("\n".join(cmd))
 150   sys.exit(0)
 151
 152 if args.verbose:
 153     for c in cmd:
 154       print("Will run: %s"%(c,))
 155
 156 p = subprocess.Popen(['/usr/sbin/bconsole'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
 157 (out, err) = p.communicate("\n".join(cmd).encode())
 158 if p.returncode != 0:
 159     raise Exception("bconsole failed.  stdout:\n%s\nstderr:%s\n"%(out, err))
 160
 161 if args.verbose:
 162     print("stdout:\n")
 163     sys.stdout.buffer.write(out)
 164     print("\n")
 165
 166 if err != b"":
 167   print("bconsole said on stderr:\n", file=sys.stderr)
 168   sys.stderr.buffer.write(out)
 169   print("", file=sys.stderr)
 170   sys.exit(1)