Merge from torproject.org:
[mirror/userdir-ldap.git] / ud-generate
index 303f9f5..eb13678 100755 (executable)
@@ -6,7 +6,7 @@
 #   Copyright (c) 2003-2004  James Troup <troup@debian.org>
 #   Copyright (c) 2004-2005,7  Joey Schulze <joey@infodrom.org>
 #   Copyright (c) 2001-2007  Ryan Murray <rmurray@debian.org>
-#   Copyright (c) 2008,2009,2010 Peter Palfrader <peter@palfrader.org>
+#   Copyright (c) 2008,2009,2010,2011 Peter Palfrader <peter@palfrader.org>
 #   Copyright (c) 2008 Andreas Barth <aba@not.so.argh.org>
 #   Copyright (c) 2008 Mark Hymers <mhy@debian.org>
 #   Copyright (c) 2008 Luk Claes <luk@debian.org>
@@ -28,7 +28,8 @@
 #   along with this program; if not, write to the Free Software
 #   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
 
-import string, re, time, ldap, getopt, sys, os, pwd, posix, socket, base64, sha, shutil, errno, tarfile, grp
+import string, re, time, ldap, getopt, sys, os, pwd, posix, socket, base64, hashlib, shutil, errno, tarfile, grp
+import lockfile
 from userdir_ldap import *
 from userdir_exceptions import *
 import UDLdap
@@ -36,22 +37,29 @@ try:
    from cStringIO import StringIO
 except ImportError:
    from StringIO import StringIO
-
-global Allowed
-global CurrentHost
+try:
+   import simplejson as json
+except ImportError:
+   import json
+   if not '__author__' in json.__dict__:
+      sys.stderr.write("Warning: This is probably the wrong json module.  We want python 2.6's json\n")
+      sys.stderr.write("module, or simplejson on pytyon 2.5.  Let's see if/how stuff blows up.\n")
 
 if os.getuid() == 0:
    sys.stderr.write("You should probably not run ud-generate as root.\n")
    sys.exit(1)
 
-PasswdAttrs = None
-DebianUsers = None
-DisabledUsers = []
+
+#
+# GLOBAL STATE
+#
 GroupIDMap = {}
 SubGroupMap = {}
 Allowed = None
 CurrentHost = ""
 
+
+
 UUID_FORMAT = '[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}'
 
 EmailCheck = re.compile("^([^ <>@]+@[^ ,<>@]+)?$")
@@ -62,6 +70,8 @@ IsDebianHost = re.compile(ConfModule.dns_hostmatch)
 isSSHFP = re.compile("^\s*IN\s+SSHFP")
 DNSZone = ".debian.net"
 Keyrings = ConfModule.sync_keyrings.split(":")
+GitoliteSSHRestrictions = getattr(ConfModule, "gitolitesshrestrictions", None)
+
 
 def safe_makedirs(dir):
    try:
@@ -81,6 +91,27 @@ def safe_rmtree(dir):
       else:
          raise e
 
+def get_lock(fn, wait=5*60, max_age=3600*6):
+   try:
+      stat = os.stat(fn + '.lock')
+      if stat.st_mtime < time.time() - max_age:
+         sys.stderr.write("Removing stale lock %s"%(fn + '.lock'))
+         os.unlink(fn + '.lock')
+   except OSError, error:
+      if error.errno == errno.ENOENT:
+         pass
+      else:
+         raise
+
+   lock = lockfile.FileLock(fn)
+   try:
+      lock.acquire(timeout=wait)
+   except lockfile.LockTimeout:
+      return None
+
+   return lock
+
+
 def Sanitize(Str):
    return Str.translate(string.maketrans("\n\r\t", "$$$"))
 
@@ -91,19 +122,17 @@ def DoLink(From, To, File):
       pass
    posix.link(From + File, To + File)
 
-def IsRetired(DnRecord):
+def IsRetired(account):
    """
    Looks for accountStatus in the LDAP record and tries to
    match it against one of the known retired statuses
    """
 
-   status = GetAttr(DnRecord, "accountStatus", None)
-   if status is None:
-      return False
+   status = account['accountStatus']
 
    line = status.split()
    status = line[0]
-   
+
    if status == "inactive":
       return True
 
@@ -122,32 +151,25 @@ def IsRetired(DnRecord):
 
    return False
 
-def IsGidDebian(x):
-   try:
-      return int(GetAttr(x, "gidNumber", 0)) == 800
-   except ValueError:
-      return False
+#def IsGidDebian(account):
+#   return account['gidNumber'] == 800
 
 # See if this user is in the group list
-def IsInGroup(DnRecord):
+def IsInGroup(account):
   if Allowed is None:
      return True
 
   # See if the primary group is in the list
-  if Allowed.has_key(GetAttr(DnRecord, "gidNumber")) != 0:
-     return True
+  if str(account['gidNumber']) in Allowed: return True
 
   # Check the host based ACL
-  if DnRecord[1].has_key("allowedHost") != 0:
-     if CurrentHost in DnRecord[1]["allowedHost"]:
-        return True
+  if account.is_allowed_by_hostacl(CurrentHost): return True
 
   # See if there are supplementary groups
-  if DnRecord[1].has_key("supplementaryGid") == 0:
-     return False
+  if not 'supplementaryGid' in account: return False
 
   supgroups=[]
-  addGroups(supgroups, DnRecord[1]["supplementaryGid"], GetAttr(DnRecord, "uid"))
+  addGroups(supgroups, account['supplementaryGid'], account['uid'])
   for g in supgroups:
      if Allowed.has_key(g):
         return True
@@ -176,37 +198,34 @@ def Done(File, F, Fdb):
       os.rename(File + ".tdb.tmp", File + ".tdb")
 
 # Generate the password list
-def GenPasswd(File, HomePrefix, PwdMarker):
+def GenPasswd(accounts, File, HomePrefix, PwdMarker):
    F = None
    try:
       F = open(File + ".tdb.tmp", "w")
-     
+
       userlist = {}
-      # Fetch all the users
-      global PasswdAttrs
-     
-      I = 0
-      for x in PasswdAttrs:
-         if x[1].has_key("uidNumber") == 0 or not IsInGroup(x):
-            continue
-     
+      i = 0
+      for a in accounts:
+         if not IsInGroup(a): continue
+
          # Do not let people try to buffer overflow some busted passwd parser.
-         if len(GetAttr(x, "gecos")) > 100 or len(GetAttr(x, "loginShell")) > 50:
-            continue
-     
-         userlist[GetAttr(x, "uid")] = int(GetAttr(x, "gidNumber"))
-         Line = "%s:%s:%s:%s:%s:%s%s:%s" % (GetAttr(x, "uid"),\
-                 PwdMarker,\
-                 GetAttr(x, "uidNumber"), GetAttr(x, "gidNumber"),\
-                 GetAttr(x, "gecos"), HomePrefix, GetAttr(x, "uid"),\
-                 GetAttr(x, "loginShell"))
-     
-         Line = Sanitize(Line) + "\n"
-         F.write("0%u %s" % (I, Line))
-         F.write(".%s %s" % (GetAttr(x, "uid"), Line))
-         F.write("=%s %s" % (GetAttr(x, "uidNumber"), Line))
-         I = I + 1
-  
+         if len(a['gecos']) > 100 or len(a['loginShell']) > 50: continue
+
+         userlist[a['uid']] = a['gidNumber']
+         line = "%s:%s:%d:%d:%s:%s%s:%s" % (
+                 a['uid'],
+                 PwdMarker,
+                 a['uidNumber'],
+                 a['gidNumber'],
+                 a['gecos'],
+                 HomePrefix, a['uid'],
+                 a['loginShell'])
+         line = Sanitize(line) + "\n"
+         F.write("0%u %s" % (i, line))
+         F.write(".%s %s" % (a['uid'], line))
+         F.write("=%d %s" % (a['uidNumber'], line))
+         i = i + 1
+
    # Oops, something unspeakable happened.
    except:
       Die(File, None, F)
@@ -216,46 +235,58 @@ def GenPasswd(File, HomePrefix, PwdMarker):
    # Return the list of users so we know which keys to export
    return userlist
 
+def GenAllUsers(accounts, file):
+   f = None
+   try:
+      OldMask = os.umask(0022)
+      f = open(file + ".tmp", "w", 0644)
+      os.umask(OldMask)
+
+      all = []
+      for a in accounts:
+         all.append( { 'uid': a['uid'],
+                       'uidNumber': a['uidNumber'],
+                       'active': a.pw_active() and a.shadow_active() } )
+      json.dump(all, f)
+
+   # Oops, something unspeakable happened.
+   except:
+      Die(file, f, None)
+      raise
+   Done(file, f, None)
+
 # Generate the shadow list
-def GenShadow(File):
+def GenShadow(accounts, File):
    F = None
    try:
       OldMask = os.umask(0077)
       F = open(File + ".tdb.tmp", "w", 0600)
       os.umask(OldMask)
-     
-      # Fetch all the users
-      global PasswdAttrs
-     
-      I = 0
-      for x in PasswdAttrs:
-         if x[1].has_key("uidNumber") == 0 or not IsInGroup(x):
-            continue
-     
-         Pass = GetAttr(x, "userPassword")
-         if Pass[0:7] != "{crypt}" or len(Pass) > 50:
-            Pass = '*'
-         else:
-            Pass = Pass[7:]
-     
+
+      i = 0
+      for a in accounts:
+         Pass = '*'
+         if not IsInGroup(a): continue
+
          # If the account is locked, mark it as such in shadow
          # See Debian Bug #308229 for why we set it to 1 instead of 0
-         if (GetAttr(x, "userPassword").find("*LK*") != -1) \
-             or GetAttr(x, "userPassword").startswith("!"):
-            ShadowExpire = '1'
-         else:
-            ShadowExpire = GetAttr(x, "shadowExpire")
-     
-         Line = "%s:%s:%s:%s:%s:%s:%s:%s:" % (GetAttr(x, "uid"),\
-                 Pass, GetAttr(x, "shadowLastChange"),\
-                 GetAttr(x, "shadowMin"), GetAttr(x, "shadowMax"),\
-                 GetAttr(x, "shadowWarning"), GetAttr(x, "shadowInactive"),\
-                 ShadowExpire)
-         Line = Sanitize(Line) + "\n"
-         F.write("0%u %s" % (I, Line))
-         F.write(".%s %s" % (GetAttr(x, "uid"), Line))
-         I = I + 1
-  
+         if not a.pw_active():     ShadowExpire = '1'
+         elif 'shadowExpire' in a: ShadowExpire = str(a['shadowExpire'])
+         else:                     ShadowExpire = ''
+
+         values = []
+         values.append(a['uid'])
+         values.append(a.get_password())
+         for key in 'shadowLastChange', 'shadowMin', 'shadowMax', 'shadowWarning', 'shadowInactive':
+            if key in a: values.append(a[key])
+            else:        values.append('')
+         values.append(ShadowExpire)
+         line = ':'.join(values)+':'
+         line = Sanitize(line) + "\n"
+         F.write("0%u %s" % (i, line))
+         F.write(".%s %s" % (a['uid'], line))
+         i = i + 1
+
    # Oops, something unspeakable happened.
    except:
       Die(File, None, F)
@@ -263,23 +294,19 @@ def GenShadow(File):
    Done(File, None, F)
 
 # Generate the sudo passwd file
-def GenShadowSudo(File, untrusted):
+def GenShadowSudo(accounts, File, untrusted):
    F = None
    try:
       OldMask = os.umask(0077)
       F = open(File + ".tmp", "w", 0600)
       os.umask(OldMask)
-     
-      # Fetch all the users
-      global PasswdAttrs
-     
-      for x in PasswdAttrs:
+
+      for a in accounts:
          Pass = '*'
-         if x[1].has_key("uidNumber") == 0 or not IsInGroup(x):
-            continue
+         if not IsInGroup(a): continue
      
-         if x[1].has_key('sudoPassword'):
-            for entry in x[1]['sudoPassword']:
+         if 'sudoPassword' in a:
+            for entry in a['sudoPassword']:
                Match = re.compile('^('+UUID_FORMAT+') (confirmed:[0-9a-f]{40}|unconfirmed) ([a-z0-9.,*]+) ([^ ]+)$').match(entry)
                if Match == None:
                   continue
@@ -288,7 +315,7 @@ def GenShadowSudo(File, untrusted):
                hosts = Match.group(3)
                cryptedpass = Match.group(4)
      
-               if status != 'confirmed:'+make_passwd_hmac('password-is-confirmed', 'sudo', x[1]['uid'][0], uuid, hosts, cryptedpass):
+               if status != 'confirmed:'+make_passwd_hmac('password-is-confirmed', 'sudo', a['uid'], uuid, hosts, cryptedpass):
                   continue
                for_all = hosts == "*"
                for_this_host = CurrentHost in hosts.split(',')
@@ -303,7 +330,7 @@ def GenShadowSudo(File, untrusted):
             if len(Pass) > 50:
                Pass = '*'
      
-         Line = "%s:%s" % (GetAttr(x, "uid"), Pass)
+         Line = "%s:%s" % (a['uid'], Pass)
          Line = Sanitize(Line) + "\n"
          F.write("%s" % (Line))
   
@@ -313,32 +340,53 @@ def GenShadowSudo(File, untrusted):
       raise
    Done(File, F, None)
 
+# Generate the sudo passwd file
+def GenSSHGitolite(accounts, File):
+   F = None
+   try:
+      OldMask = os.umask(0022)
+      F = open(File + ".tmp", "w", 0600)
+      os.umask(OldMask)
+
+      if not GitoliteSSHRestrictions is None and GitoliteSSHRestrictions != "":
+         for a in accounts:
+            if not 'sshRSAAuthKey' in a: continue
+
+            User = a['uid']
+            prefix = GitoliteSSHRestrictions.replace('@@USER@@', User)
+            for I in a["sshRSAAuthKey"]:
+               if I.startswith('ssh-'):
+                  line = "%s %s"%(prefix, I)
+               else:
+                  line = "%s,%s"%(prefix, I)
+               line = Sanitize(line) + "\n"
+               F.write(line)
+
+   # Oops, something unspeakable happened.
+   except:
+      Die(File, F, None)
+      raise
+   Done(File, F, None)
+
 # Generate the shadow list
-def GenSSHShadow():
+def GenSSHShadow(global_dir, accounts):
    # Fetch all the users
    userfiles = []
 
-   global PasswdAttrs
+   safe_rmtree(os.path.join(global_dir, 'userkeys'))
+   safe_makedirs(os.path.join(global_dir, 'userkeys'))
 
-   safe_rmtree(os.path.join(GlobalDir, 'userkeys'))
-   safe_makedirs(os.path.join(GlobalDir, 'userkeys'))
+   for a in accounts:
+      if not 'sshRSAAuthKey' in a: continue
 
-   for x in PasswdAttrs:
-
-      if x[1].has_key("uidNumber") == 0 or \
-         x[1].has_key("sshRSAAuthKey") == 0:
-         continue
-
-      User = GetAttr(x, "uid")
       F = None
-
       try:
          OldMask = os.umask(0077)
-         File = os.path.join(GlobalDir, 'userkeys', User)
+         File = os.path.join(global_dir, 'userkeys', a['uid'])
          F = open(File + ".tmp", "w", 0600)
          os.umask(OldMask)
 
-         for I in x[1]["sshRSAAuthKey"]:
+         for I in a['sshRSAAuthKey']:
             MultipleLine = "%s" % I
             MultipleLine = Sanitize(MultipleLine) + "\n"
             F.write(MultipleLine)
@@ -356,9 +404,30 @@ def GenSSHShadow():
 
    return userfiles
 
-def GenSSHtarballs(userlist, SSHFiles, grouprevmap, target):
+# Generate the webPassword list
+def GenWebPassword(accounts, File):
+   F = None
+   try:
+      OldMask = os.umask(0077)
+      F = open(File, "w", 0600)
+      os.umask(OldMask)
+
+      for a in accounts:
+         if not 'webPassword' in a: continue
+         if not a.pw_active(): continue
+
+         Pass = str(a['webPassword'])
+         Line = "%s:%s" % (a['uid'], Pass)
+         Line = Sanitize(Line) + "\n"
+         F.write("%s" % (Line))
+
+   except:
+      Die(File, None, F)
+      raise
+
+def GenSSHtarballs(global_dir, userlist, SSHFiles, grouprevmap, target):
    OldMask = os.umask(0077)
-   tf = tarfile.open(name=os.path.join(GlobalDir, 'ssh-keys-%s.tar.gz' % CurrentHost), mode='w:gz')
+   tf = tarfile.open(name=os.path.join(global_dir, 'ssh-keys-%s.tar.gz' % CurrentHost), mode='w:gz')
    os.umask(OldMask)
    for f in userlist.keys():
       if f not in SSHFiles:
@@ -382,7 +451,7 @@ def GenSSHtarballs(userlist, SSHFiles, grouprevmap, target):
          print "User %s is supposed to have their key exported to host %s but their primary group (gid: %d) isn't in LDAP" % (f, CurrentHost, userlist[f])
          continue
 
-      to = tf.gettarinfo(os.path.join(GlobalDir, 'userkeys', f), f)
+      to = tf.gettarinfo(os.path.join(global_dir, 'userkeys', f), f)
       # These will only be used where the username doesn't
       # exist on the target system for some reason; hence,
       # in those cases, the safest thing is for the file to
@@ -399,7 +468,7 @@ def GenSSHtarballs(userlist, SSHFiles, grouprevmap, target):
       to.gname = grname
       to.mode  = 0400
 
-      contents = file(os.path.join(GlobalDir, 'userkeys', f)).read()
+      contents = file(os.path.join(global_dir, 'userkeys', f)).read()
       lines = []
       for line in contents.splitlines():
          if line.startswith("allowed_hosts=") and ' ' in line:
@@ -414,7 +483,7 @@ def GenSSHtarballs(userlist, SSHFiles, grouprevmap, target):
       tf.addfile(to, StringIO(contents))
 
    tf.close()
-   os.rename(os.path.join(GlobalDir, 'ssh-keys-%s.tar.gz' % CurrentHost), target)
+   os.rename(os.path.join(global_dir, 'ssh-keys-%s.tar.gz' % CurrentHost), target)
 
 # add a list of groups to existing groups,
 # including all subgroups thereof, recursively.
@@ -442,7 +511,7 @@ def addGroups(existingGroups, newGroups, uid):
          addGroups(existingGroups, SubGroupMap[group], uid)
 
 # Generate the group list
-def GenGroup(File):
+def GenGroup(accounts, File):
    grouprevmap = {}
    F = None
    try:
@@ -453,25 +522,18 @@ def GenGroup(File):
       for x in GroupIDMap.keys():
          GroupMap[x] = []
       GroupHasPrimaryMembers = {}
-     
-      # Fetch all the users
-      global PasswdAttrs
-     
+
       # Sort them into a list of groups having a set of users
-      for x in PasswdAttrs:
-         uid = GetAttr(x, "uid")
-         if 'gidNumber' in x[1]:
-            GroupHasPrimaryMembers[ int(x[1]["gidNumber"][0]) ] = True
-         if x[1].has_key("uidNumber") == 0 or not IsInGroup(x):
-            continue
-         if x[1].has_key("supplementaryGid") == 0:
-            continue
-     
+      for a in accounts:
+         GroupHasPrimaryMembers[ a['gidNumber'] ] = True
+         if not IsInGroup(a): continue
+         if not 'supplementaryGid' in a: continue
+
          supgroups=[]
-         addGroups(supgroups, x[1]["supplementaryGid"], uid)
+         addGroups(supgroups, a['supplementaryGid'], a['uid'])
          for g in supgroups:
-            GroupMap[g].append(uid)
-     
+            GroupMap[g].append(a['uid'])
+
       # Output the group file.
       J = 0
       for x in GroupMap.keys():
@@ -502,52 +564,43 @@ def GenGroup(File):
   
    return grouprevmap
 
-def CheckForward():
-   global PasswdAttrs
-   for x in PasswdAttrs:
-      if x[1].has_key("emailForward") == 0:
-         continue
-   
-      if not IsInGroup(x):
-         x[1].pop("emailForward")
-         continue
+def CheckForward(accounts):
+   for a in accounts:
+      if not 'emailForward' in a: continue
 
-      # Do not allow people to try to buffer overflow busted parsers
-      if len(GetAttr(x, "emailForward")) > 200:
-         x[1].pop("emailForward")
-         continue
 
+      delete = False
+
+      if not IsInGroup(a): delete = True
+      # Do not allow people to try to buffer overflow busted parsers
+      elif len(a['emailForward']) > 200: delete = True
       # Check the forwarding address
-      if EmailCheck.match(GetAttr(x, "emailForward")) == None:
-         x[1].pop("emailForward")
+      elif EmailCheck.match(a['emailForward']) is None: delete = True
+
+      if delete:
+         a.delete_mailforward()
 
 # Generate the email forwarding list
-def GenForward(File):
+def GenForward(accounts, File):
    F = None
    try:
       OldMask = os.umask(0022)
       F = open(File + ".tmp", "w", 0644)
       os.umask(OldMask)
-     
-      # Fetch all the users
-      global PasswdAttrs
-     
-      # Write out the email address for each user
-      for x in PasswdAttrs:
-         if x[1].has_key("emailForward") == 0:
-            continue
-     
-         Line = "%s: %s" % (GetAttr(x, "uid"), GetAttr(x, "emailForward"))
+
+      for a in accounts:
+         if not 'emailForward' in a: continue
+         Line = "%s: %s" % (a['uid'], a['emailForward'])
          Line = Sanitize(Line) + "\n"
          F.write(Line)
-  
+
    # Oops, something unspeakable happened.
    except:
       Die(File, F, None)
       raise
    Done(File, F, None)
 
-def GenCDB(File, Users, Key):
+def GenCDB(accounts, File, key):
    Fdb = None
    try:
       OldMask = os.umask(0022)
@@ -555,12 +608,11 @@ def GenCDB(File, Users, Key):
       os.umask(OldMask)
 
       # Write out the email address for each user
-      for x in Users:
-         if not Key in x[1]:
-            continue
-         Value = GetAttr(x, Key)
-         User = GetAttr(x, "uid")
-         Fdb.write("+%d,%d:%s->%s\n" % (len(User), len(Value), User, Value))
+      for a in accounts:
+         if not key in a: continue
+         value = a[key]
+         user = a['uid']
+         Fdb.write("+%d,%d:%s->%s\n" % (len(user), len(value), user, value))
 
       Fdb.write("\n")
    # Oops, something unspeakable happened.
@@ -571,19 +623,14 @@ def GenCDB(File, Users, Key):
       raise "cdbmake gave an error"
 
 # Generate the anon XEarth marker file
-def GenMarkers(File):
+def GenMarkers(accounts, File):
    F = None
    try:
       F = open(File + ".tmp", "w")
-     
-      # Fetch all the users
-      global PasswdAttrs
-     
+
       # Write out the position for each user
-      for x in PasswdAttrs:
-         a = UDLdap.Account(x[0], x[1])
-         if not ('latitude' in a and 'longitude' in a):
-            continue
+      for a in accounts:
+         if not ('latitude' in a and 'longitude' in a): continue
          try:
             Line = "%8s %8s \"\""%(a.latitude_dec(True), a.longitude_dec(True))
             Line = Sanitize(Line) + "\n"
@@ -598,25 +645,17 @@ def GenMarkers(File):
    Done(File, F, None)
 
 # Generate the debian-private subscription list
-def GenPrivate(File):
+def GenPrivate(accounts, File):
    F = None
    try:
       F = open(File + ".tmp", "w")
-     
-      # Fetch all the users
-      global DebianDDUsers
-     
+
       # Write out the position for each user
-      for x in DebianDDUsers:
-         if x[1].has_key("privateSub") == 0:
-            continue
-     
-         # If the account has no PGP key, do not write it
-         if x[1].has_key("keyFingerPrint") == 0:
-            continue
-     
+      for a in accounts:
+         if not a.is_active_user(): continue
+         if not 'privateSub' in a: continue
          try:
-            Line = "%s"%(GetAttr(x, "privateSub"))
+            Line = "%s"%(a['privateSub'])
             Line = Sanitize(Line) + "\n"
             F.write(Line)
          except:
@@ -629,63 +668,38 @@ def GenPrivate(File):
    Done(File, F, None)
 
 # Generate a list of locked accounts
-def GenDisabledAccounts(File):
+def GenDisabledAccounts(accounts, File):
    F = None
    try:
       F = open(File + ".tmp", "w")
-     
+      disabled_accounts = []
+
       # Fetch all the users
-      global PasswdAttrs
-      global DisabledUsers
-     
-      I = 0
-      for x in PasswdAttrs:
-         if x[1].has_key("uidNumber") == 0:
-            continue
-     
-         Pass = GetAttr(x, "userPassword")
-         Line = ""
-         # *LK* is the reference value for a locked account
-         # password starting with ! is also a locked account
-         if Pass.find("*LK*") != -1 or Pass.startswith("!"):
-            # Format is <login>:<reason>
-            Line = "%s:%s" % (GetAttr(x, "uid"), "Account is locked")
-            DisabledUsers.append(x)
-     
-         if Line != "":
-            F.write(Sanitize(Line) + "\n")
-     
-   
+      for a in accounts:
+         if a.pw_active(): continue
+         Line = "%s:%s" % (a['uid'], "Account is locked")
+         disabled_accounts.append(a)
+         F.write(Sanitize(Line) + "\n")
+
    # Oops, something unspeakable happened.
    except:
       Die(File, F, None)
       raise
    Done(File, F, None)
+   return disabled_accounts
 
 # Generate the list of local addresses that refuse all mail
-def GenMailDisable(File):
+def GenMailDisable(accounts, File):
    F = None
    try:
       F = open(File + ".tmp", "w")
-     
-      # Fetch all the users
-      global PasswdAttrs
-     
-      for x in PasswdAttrs:
-         Reason = None
-     
-         if x[1].has_key("mailDisableMessage"):
-            Reason = GetAttr(x, "mailDisableMessage")
-         else:
-            continue
-     
-         try:
-            Line = "%s: %s"%(GetAttr(x, "uid"), Reason)
-            Line = Sanitize(Line) + "\n"
-            F.write(Line)
-         except:
-            pass
-  
+
+      for a in accounts:
+         if not 'mailDisableMessage' in a: continue
+         Line = "%s: %s"%(a['uid'], a['mailDisableMessage'])
+         Line = Sanitize(Line) + "\n"
+         F.write(Line)
+
    # Oops, something unspeakable happened.
    except:
       Die(File, F, None)
@@ -693,30 +707,18 @@ def GenMailDisable(File):
    Done(File, F, None)
 
 # Generate a list of uids that should have boolean affects applied
-def GenMailBool(File, Key):
+def GenMailBool(accounts, File, key):
    F = None
    try:
       F = open(File + ".tmp", "w")
-     
-      # Fetch all the users
-      global PasswdAttrs
-     
-      for x in PasswdAttrs:
-         Reason = None
-     
-         if x[1].has_key(Key) == 0:
-            continue
-     
-         if GetAttr(x, Key) != "TRUE":
-            continue
-     
-         try:
-            Line = "%s"%(GetAttr(x, "uid"))
-            Line = Sanitize(Line) + "\n"
-            F.write(Line)
-         except:
-            pass
-  
+
+      for a in accounts:
+         if not key in a: continue
+         if not a[key] == 'TRUE': continue
+         Line = "%s"%(a['uid'])
+         Line = Sanitize(Line) + "\n"
+         F.write(Line)
+
    # Oops, something unspeakable happened.
    except:
       Die(File, F, None)
@@ -724,82 +726,50 @@ def GenMailBool(File, Key):
    Done(File, F, None)
 
 # Generate a list of hosts for RBL or whitelist purposes.
-def GenMailList(File, Key):
+def GenMailList(accounts, File, key):
    F = None
    try:
       F = open(File + ".tmp", "w")
-     
-      # Fetch all the users
-      global PasswdAttrs
-     
-      for x in PasswdAttrs:
-         Reason = None
-     
-         if x[1].has_key(Key) == 0:
-            continue
-     
-         try:
-            found = 0
-            Line = None
-            for z in x[1][Key]:
-                if Key == "mailWhitelist":
-                   if re.match('^[-\w.]+(/[\d]+)?$', z) == None:
-                      continue
-                else:
-                   if re.match('^[-\w.]+$', z) == None:
-                      continue
-                if found == 0:
-                   found = 1
-                   Line = GetAttr(x, "uid")
-                else:
-                    Line += " "
-                Line += ": " + z
-                if Key == "mailRHSBL":
-                   Line += "/$sender_address_domain"
-     
-            if Line != None:
-               Line = Sanitize(Line) + "\n"
-               F.write(Line)
-         except:
-            pass
-  
+
+      if key == "mailWhitelist": validregex = re.compile('^[-\w.]+(/[\d]+)?$')
+      else:                      validregex = re.compile('^[-\w.]+$')
+
+      for a in accounts:
+         if not key in a: continue
+
+         filtered = filter(lambda z: validregex.match(z), a[key])
+         if len(filtered) == 0: continue
+         if key == "mailRHSBL": filtered = map(lambda z: z+"/$sender_address_domain", filtered)
+         line = a['uid'] + ': ' + ' : '.join(filtered)
+         line = Sanitize(line) + "\n"
+         F.write(line)
+
    # Oops, something unspeakable happened.
    except:
       Die(File, F, None)
       raise
    Done(File, F, None)
 
-def isRoleAccount(pwEntry):
-   if not pwEntry.has_key("objectClass"):
-      raise "pwEntry has no objectClass"
-   oc =  pwEntry['objectClass']
-   try:
-      i = oc.index('debianRoleAccount')
-      return True
-   except ValueError:
-      return False
+def isRoleAccount(account):
+   return 'debianRoleAccount' in account['objectClass']
 
 # Generate the DNS Zone file
-def GenDNS(File):
+def GenDNS(accounts, File):
    F = None
    try:
       F = open(File + ".tmp", "w")
-     
+
       # Fetch all the users
-      global PasswdAttrs
       RRs = {}
-     
+
       # Write out the zone file entry for each user
-      for x in PasswdAttrs:
-         if x[1].has_key("dnsZoneEntry") == 0:
-            continue
-     
-         # If the account has no PGP key, do not write it
-         if x[1].has_key("keyFingerPrint") == 0 and not isRoleAccount(x[1]):
-            continue
+      for a in accounts:
+         if not 'dnsZoneEntry' in a: continue
+         if not a.is_active_user() and not isRoleAccount(a): continue
+
          try:
-            F.write("; %s\n"%(EmailAddress(x)))
-            for z in x[1]["dnsZoneEntry"]:
+            F.write("; %s\n"%(a.email_address()))
+            for z in a["dnsZoneEntry"]:
                Split = z.lower().split()
                if Split[1].lower() == 'in':
                   for y in range(0, len(Split)):
@@ -815,8 +785,8 @@ def GenDNS(File):
                   # Write some identification information
                   if not RRs.has_key(Host):
                      if Split[2].lower() in ["a", "aaaa"]:
-                        Line = "%s IN TXT \"%s\"\n"%(Split[0], EmailAddress(x))
-                        for y in x[1]["keyFingerPrint"]:
+                        Line = "%s IN TXT \"%s\"\n"%(Split[0], a.email_address())
+                        for y in a["keyFingerPrint"]:
                            Line = Line + "%s IN TXT \"PGP %s\"\n"%(Split[0], FormatPGPKey(y))
                            F.write(Line)
                         RRs[Host] = 1
@@ -825,8 +795,10 @@ def GenDNS(File):
                   F.write(Line)
      
             F.write("\n")
-         except:
-            F.write("; Errors\n")
+         except Exception, e:
+            F.write("; Errors:\n")
+            for line in str(e).split("\n"):
+               F.write("; %s\n"%(line))
             pass
   
    # Oops, something unspeakable happened.
@@ -860,7 +832,7 @@ def ExtractDNSInfo(x):
             Algorithm = 2
          if Algorithm == None:
             continue
-         Fingerprint = sha.new(base64.decodestring(Split[1])).hexdigest()
+         Fingerprint = hashlib.new('sha1', base64.decodestring(Split[1])).hexdigest()
          DNSInfo.append("%sIN\tSSHFP\t%u 1 %s" % (TTLprefix, Algorithm, Fingerprint))
 
    if 'architecture' in x[1]:
@@ -877,15 +849,13 @@ def ExtractDNSInfo(x):
    return DNSInfo
 
 # Generate the DNS records
-def GenZoneRecords(File):
+def GenZoneRecords(host_attrs, File):
    F = None
    try:
       F = open(File + ".tmp", "w")
 
       # Fetch all the hosts
-      global HostAttrs
-
-      for x in HostAttrs:
+      for x in host_attrs:
          if x[1].has_key("hostname") == 0:
             continue
 
@@ -933,24 +903,18 @@ def GenZoneRecords(File):
    Done(File, F, None)
 
 # Generate the BSMTP file
-def GenBSMTP(File, HomePrefix):
+def GenBSMTP(accounts, File, HomePrefix):
    F = None
    try:
       F = open(File + ".tmp", "w")
      
-      # Fetch all the users
-      global PasswdAttrs
-     
       # Write out the zone file entry for each user
-      for x in PasswdAttrs:
-         if x[1].has_key("dnsZoneEntry") == 0:
-            continue
-     
-         # If the account has no PGP key, do not write it
-         if x[1].has_key("keyFingerPrint") == 0:
-            continue
+      for a in accounts:
+         if not 'dnsZoneEntry' in a: continue
+         if not a.is_active_user(): continue
+
          try:
-            for z in x[1]["dnsZoneEntry"]:
+            for z in a["dnsZoneEntry"]:
                Split = z.lower().split()
                if Split[1].lower() == 'in':
                   for y in range(0, len(Split)):
@@ -961,7 +925,7 @@ def GenBSMTP(File, HomePrefix):
                   Host = Split[0] + DNSZone
                   if BSMTPCheck.match(Line) != None:
                       F.write("%s: user=%s group=Debian file=%s%s/bsmtp/%s\n"%(Host,
-                                  GetAttr(x, "uid"), HomePrefix, GetAttr(x, "uid"), Host))
+                                  a['uid'], HomePrefix, a['uid'], Host))
      
          except:
             F.write("; Errors\n")
@@ -986,16 +950,14 @@ def HostToIP(Host, mapped=True):
    return IPAdresses
 
 # Generate the ssh known hosts file
-def GenSSHKnown(File, mode=None):
+def GenSSHKnown(host_attrs, File, mode=None):
    F = None
    try:
       OldMask = os.umask(0022)
       F = open(File + ".tmp", "w", 0644)
       os.umask(OldMask)
      
-      global HostAttrs
-     
-      for x in HostAttrs:
+      for x in host_attrs:
          if x[1].has_key("hostname") == 0 or \
             x[1].has_key("sshRSAHostKey") == 0:
             continue
@@ -1040,7 +1002,7 @@ def GenSSHKnown(File, mode=None):
    Done(File, F, None)
 
 # Generate the debianhosts file (list of all IP addresses)
-def GenHosts(File):
+def GenHosts(host_attrs, File):
    F = None
    try:
       OldMask = os.umask(0022)
@@ -1049,9 +1011,7 @@ def GenHosts(File):
      
       seen = set()
 
-      global HostAttrs
-
-      for x in HostAttrs:
+      for x in host_attrs:
 
          if IsDebianHost.match(GetAttr(x, "hostname")) is None:
             continue
@@ -1072,108 +1032,123 @@ def GenHosts(File):
       raise
    Done(File, F, None)
 
+def replaceTree(src, dst_basedir):
+   bn = os.path.basename(src)
+   dst = os.path.join(dst_basedir, bn)
+   safe_rmtree(dst)
+   shutil.copytree(src, dst)
+
 def GenKeyrings(OutDir):
    for k in Keyrings:
-      shutil.copy(k, OutDir)
-
-# Connect to the ldap server
-l = connectLDAP()
-# for testing purposes it's sometimes useful to pass username/password
-# via the environment
-if 'UD_CREDENTIALS' in os.environ:
-   Pass = os.environ['UD_CREDENTIALS'].split()
-else:
-   F = open(PassDir + "/pass-" + pwd.getpwuid(os.getuid())[0], "r")
-   Pass = F.readline().strip().split(" ")
-   F.close()
-l.simple_bind_s("uid=" + Pass[0] + "," + BaseDn, Pass[1])
-
-# Fetch all the groups
-GroupIDMap = {}
-Attrs = l.search_s(BaseDn, ldap.SCOPE_ONELEVEL, "gid=*",\
-                  ["gid", "gidNumber", "subGroup"])
-
-# Generate the SubGroupMap and GroupIDMap
-for x in Attrs:
-   if x[1].has_key("accountStatus") and x[1]['accountStatus'] == "disabled":
-      continue
-   if x[1].has_key("gidNumber") == 0:
-      continue
-   GroupIDMap[x[1]["gid"][0]] = int(x[1]["gidNumber"][0])
-   if x[1].has_key("subGroup") != 0:
-      SubGroupMap.setdefault(x[1]["gid"][0], []).extend(x[1]["subGroup"])
+      if os.path.isdir(k):
+         replaceTree(k, OutDir)
+      else:
+         shutil.copy(k, OutDir)
 
-# Fetch all the users
-PasswdAttrs = l.search_s(BaseDn, ldap.SCOPE_ONELEVEL, "uid=*",\
-                ["uid", "uidNumber", "gidNumber", "supplementaryGid",\
-                 "gecos", "loginShell", "userPassword", "shadowLastChange",\
-                 "shadowMin", "shadowMax", "shadowWarning", "shadowInactive",
-                 "shadowExpire", "emailForward", "latitude", "longitude",\
-                 "allowedHost", "sshRSAAuthKey", "dnsZoneEntry", "cn", "sn",\
-                 "keyFingerPrint", "privateSub", "mailDisableMessage",\
-                 "mailGreylisting", "mailCallout", "mailRBL", "mailRHSBL",\
-                 "mailWhitelist", "sudoPassword", "objectClass", "accountStatus",\
-                 "mailContentInspectionAction"])
 
-if PasswdAttrs is None:
-   raise UDEmptyList, "No Users"
+def get_accounts(ldap_conn):
+   # Fetch all the users
+   passwd_attrs = ldap_conn.search_s(BaseDn, ldap.SCOPE_ONELEVEL, "(&(uid=*)(!(uidNumber=0))(objectClass=shadowAccount))",\
+                   ["uid", "uidNumber", "gidNumber", "supplementaryGid",\
+                    "gecos", "loginShell", "userPassword", "shadowLastChange",\
+                    "shadowMin", "shadowMax", "shadowWarning", "shadowInactive",
+                    "shadowExpire", "emailForward", "latitude", "longitude",\
+                    "allowedHost", "sshRSAAuthKey", "dnsZoneEntry", "cn", "sn",\
+                    "keyFingerPrint", "privateSub", "mailDisableMessage",\
+                    "mailGreylisting", "mailCallout", "mailRBL", "mailRHSBL",\
+                    "mailWhitelist", "sudoPassword", "objectClass", "accountStatus",\
+                    "mailContentInspectionAction", "webPassword"])
+
+   if passwd_attrs is None:
+      raise UDEmptyList, "No Users"
+   accounts = map(lambda x: UDLdap.Account(x[0], x[1]), passwd_attrs)
+   accounts.sort(lambda x,y: cmp(x['uid'].lower(), y['uid'].lower()))
+
+   return accounts
+
+def get_hosts(ldap_conn):
+   # Fetch all the hosts
+   HostAttrs    = ldap_conn.search_s(HostBaseDn, ldap.SCOPE_ONELEVEL, "objectClass=debianServer",\
+                   ["hostname", "sshRSAHostKey", "purpose", "allowedGroups", "exportOptions",\
+                    "mXRecord", "ipHostNumber", "dnsTTL", "machine", "architecture"])
+
+   if HostAttrs == None:
+      raise UDEmptyList, "No Hosts"
+
+   HostAttrs.sort(lambda x, y: cmp((GetAttr(x, "hostname")).lower(), (GetAttr(y, "hostname")).lower()))
+
+   return HostAttrs
+
+
+def make_ldap_conn():
+   # Connect to the ldap server
+   l = connectLDAP()
+   # for testing purposes it's sometimes useful to pass username/password
+   # via the environment
+   if 'UD_CREDENTIALS' in os.environ:
+      Pass = os.environ['UD_CREDENTIALS'].split()
+   else:
+      F = open(PassDir + "/pass-" + pwd.getpwuid(os.getuid())[0], "r")
+      Pass = F.readline().strip().split(" ")
+      F.close()
+   l.simple_bind_s("uid=" + Pass[0] + "," + BaseDn, Pass[1])
 
-PasswdAttrs.sort(lambda x, y: cmp((GetAttr(x, "uid")).lower(), (GetAttr(y, "uid")).lower()))
+   return l
 
-# Fetch all the hosts
-HostAttrs    = l.search_s(HostBaseDn, ldap.SCOPE_ONELEVEL, "objectClass=debianServer",\
-                ["hostname", "sshRSAHostKey", "purpose", "allowedGroups", "exportOptions",\
-                 "mXRecord", "ipHostNumber", "dnsTTL", "machine", "architecture"])
+def generate_all(global_dir, ldap_conn):
+   accounts = get_accounts(ldap_conn)
+   host_attrs = get_hosts(ldap_conn)
 
-if HostAttrs == None:
-   raise UDEmptyList, "No Hosts"
+   global_dir += '/'
+   # Generate global things
+   accounts_disabled = GenDisabledAccounts(accounts, global_dir + "disabled-accounts")
 
-HostAttrs.sort(lambda x, y: cmp((GetAttr(x, "hostname")).lower(), (GetAttr(y, "hostname")).lower()))
+   accounts = filter(lambda x: not IsRetired(x), accounts)
+   #accounts_DDs = filter(lambda x: IsGidDebian(x), accounts)
 
-# override globaldir for testing
-if 'UD_GENERATEDIR' in os.environ:
-   GenerateDir = os.environ['UD_GENERATEDIR']
+   CheckForward(accounts)
 
-# Generate global things
-GlobalDir = GenerateDir + "/"
-GenDisabledAccounts(GlobalDir + "disabled-accounts")
+   GenMailDisable(accounts, global_dir + "mail-disable")
+   GenCDB(accounts, global_dir + "mail-forward.cdb", 'emailForward')
+   GenCDB(accounts, global_dir + "mail-contentinspectionaction.cdb", 'mailContentInspectionAction')
+   GenPrivate(accounts, global_dir + "debian-private")
+   GenSSHKnown(host_attrs, global_dir+"authorized_keys", 'authorized_keys')
+   GenMailBool(accounts, global_dir + "mail-greylist", "mailGreylisting")
+   GenMailBool(accounts, global_dir + "mail-callout", "mailCallout")
+   GenMailList(accounts, global_dir + "mail-rbl", "mailRBL")
+   GenMailList(accounts, global_dir + "mail-rhsbl", "mailRHSBL")
+   GenMailList(accounts, global_dir + "mail-whitelist", "mailWhitelist")
+   GenWebPassword(accounts, global_dir + "web-passwords")
+   GenKeyrings(global_dir)
 
-PasswdAttrs = filter(lambda x: not IsRetired(x), PasswdAttrs)
-DebianDDUsers = filter(lambda x: IsGidDebian(x), PasswdAttrs)
-
-CheckForward()
+   # Compatibility.
+   GenForward(accounts, global_dir + "forward-alias")
 
-GenMailDisable(GlobalDir + "mail-disable")
-GenCDB(GlobalDir + "mail-forward.cdb", PasswdAttrs, 'emailForward')
-GenCDB(GlobalDir + "mail-contentinspectionaction.cdb", PasswdAttrs, 'mailContentInspectionAction')
-GenPrivate(GlobalDir + "debian-private")
-GenSSHKnown(GlobalDir+"authorized_keys", 'authorized_keys')
-GenMailBool(GlobalDir + "mail-greylist", "mailGreylisting")
-GenMailBool(GlobalDir + "mail-callout", "mailCallout")
-GenMailList(GlobalDir + "mail-rbl", "mailRBL")
-GenMailList(GlobalDir + "mail-rhsbl", "mailRHSBL")
-GenMailList(GlobalDir + "mail-whitelist", "mailWhitelist")
-GenKeyrings(GlobalDir)
+   GenAllUsers(accounts, global_dir + 'all-accounts.json')
+   accounts = filter(lambda a: not a in accounts_disabled, accounts)
 
-# Compatibility.
-GenForward(GlobalDir + "forward-alias")
+   ssh_files = GenSSHShadow(global_dir, accounts)
+   GenMarkers(accounts, global_dir + "markers")
+   GenSSHKnown(host_attrs, global_dir + "ssh_known_hosts")
+   GenHosts(host_attrs, global_dir + "debianhosts")
+   GenSSHGitolite(accounts, global_dir + "ssh-gitolite")
 
-PasswdAttrs = filter(lambda x: not x in DisabledUsers, PasswdAttrs)
+   GenDNS(accounts, global_dir + "dns-zone")
+   GenZoneRecords(host_attrs, global_dir + "dns-sshfp")
 
-SSHFiles = GenSSHShadow()
-GenMarkers(GlobalDir + "markers")
-GenSSHKnown(GlobalDir + "ssh_known_hosts")
-GenHosts(GlobalDir + "debianhosts")
+   for host in host_attrs:
+      if not "hostname" in host[1]:
+         continue
+      generate_host(host, global_dir, accounts, ssh_files)
 
-for host in HostAttrs:
-   if not "hostname" in host[1]:
-      continue
+def generate_host(host, global_dir, accounts, ssh_files):
+   global CurrentHost
 
    CurrentHost = host[1]['hostname'][0]
-   OutDir = GenerateDir + '/' + CurrentHost + '/'
+   OutDir = global_dir + CurrentHost + '/'
    try:
       os.mkdir(OutDir)
-   except: 
+   except:
       pass
 
    # Get the group list and convert any named groups to numerics
@@ -1192,70 +1167,158 @@ for host in HostAttrs:
       for extra in host[1]['exportOptions']:
          ExtraList[extra.upper()] = True
 
+   global Allowed
    Allowed = GroupList
    if Allowed == {}:
       Allowed = None
 
-   DoLink(GlobalDir, OutDir, "debianhosts")
-   DoLink(GlobalDir, OutDir, "ssh_known_hosts")
-   DoLink(GlobalDir, OutDir, "disabled-accounts")
+   DoLink(global_dir, OutDir, "debianhosts")
+   DoLink(global_dir, OutDir, "ssh_known_hosts")
+   DoLink(global_dir, OutDir, "disabled-accounts")
 
    sys.stdout.flush()
    if 'NOPASSWD' in ExtraList:
-      userlist = GenPasswd(OutDir + "passwd", HomePrefix, "*")
+      userlist = GenPasswd(accounts, OutDir + "passwd", HomePrefix, "*")
    else:
-      userlist = GenPasswd(OutDir + "passwd", HomePrefix, "x")
+      userlist = GenPasswd(accounts, OutDir + "passwd", HomePrefix, "x")
    sys.stdout.flush()
-   grouprevmap = GenGroup(OutDir + "group")
-   GenShadowSudo(OutDir + "sudo-passwd", ('UNTRUSTED' in ExtraList) or ('NOPASSWD' in ExtraList))
+   grouprevmap = GenGroup(accounts, OutDir + "group")
+   GenShadowSudo(accounts, OutDir + "sudo-passwd", ('UNTRUSTED' in ExtraList) or ('NOPASSWD' in ExtraList))
 
    # Now we know who we're allowing on the machine, export
    # the relevant ssh keys
-   GenSSHtarballs(userlist, SSHFiles, grouprevmap, os.path.join(OutDir, 'ssh-keys.tar.gz'))
+   GenSSHtarballs(global_dir, userlist, ssh_files, grouprevmap, os.path.join(OutDir, 'ssh-keys.tar.gz'))
 
    if not 'NOPASSWD' in ExtraList:
-      GenShadow(OutDir + "shadow")
+      GenShadow(accounts, OutDir + "shadow")
 
    # Link in global things
    if not 'NOMARKERS' in ExtraList:
-      DoLink(GlobalDir, OutDir, "markers")
-   DoLink(GlobalDir, OutDir, "mail-forward.cdb")
-   DoLink(GlobalDir, OutDir, "mail-contentinspectionaction.cdb")
-   DoLink(GlobalDir, OutDir, "mail-disable")
-   DoLink(GlobalDir, OutDir, "mail-greylist")
-   DoLink(GlobalDir, OutDir, "mail-callout")
-   DoLink(GlobalDir, OutDir, "mail-rbl")
-   DoLink(GlobalDir, OutDir, "mail-rhsbl")
-   DoLink(GlobalDir, OutDir, "mail-whitelist")
-   GenCDB(OutDir + "user-forward.cdb", filter(lambda x: IsInGroup(x), PasswdAttrs), 'emailForward')
-   GenCDB(OutDir + "batv-tokens.cdb", filter(lambda x: IsInGroup(x), PasswdAttrs), 'bATVToken')
-   GenCDB(OutDir + "default-mail-options.cdb", filter(lambda x: IsInGroup(x), PasswdAttrs), 'mailDefaultOptions')
+      DoLink(global_dir, OutDir, "markers")
+   DoLink(global_dir, OutDir, "mail-forward.cdb")
+   DoLink(global_dir, OutDir, "mail-contentinspectionaction.cdb")
+   DoLink(global_dir, OutDir, "mail-disable")
+   DoLink(global_dir, OutDir, "mail-greylist")
+   DoLink(global_dir, OutDir, "mail-callout")
+   DoLink(global_dir, OutDir, "mail-rbl")
+   DoLink(global_dir, OutDir, "mail-rhsbl")
+   DoLink(global_dir, OutDir, "mail-whitelist")
+   DoLink(global_dir, OutDir, "all-accounts.json")
+   GenCDB(filter(lambda x: IsInGroup(x), accounts), OutDir + "user-forward.cdb", 'emailForward')
+   GenCDB(filter(lambda x: IsInGroup(x), accounts), OutDir + "batv-tokens.cdb", 'bATVToken')
+   GenCDB(filter(lambda x: IsInGroup(x), accounts), OutDir + "default-mail-options.cdb", 'mailDefaultOptions')
 
    # Compatibility.
-   DoLink(GlobalDir, OutDir, "forward-alias")
+   DoLink(global_dir, OutDir, "forward-alias")
 
    if 'DNS' in ExtraList:
-      GenDNS(OutDir + "dns-zone")
-      GenZoneRecords(OutDir + "dns-sshfp")
+      DoLink(global_dir, OutDir, "dns-zone")
+      DoLink(global_dir, OutDir, "dns-sshfp")
 
    if 'AUTHKEYS' in ExtraList:
-      DoLink(GlobalDir, OutDir, "authorized_keys")
+      DoLink(global_dir, OutDir, "authorized_keys")
 
    if 'BSMTP' in ExtraList:
-      GenBSMTP(OutDir + "bsmtp", HomePrefix)
+      GenBSMTP(accounts, OutDir + "bsmtp", HomePrefix)
 
    if 'PRIVATE' in ExtraList:
-      DoLink(GlobalDir, OutDir, "debian-private")
+      DoLink(global_dir, OutDir, "debian-private")
+
+   if 'GITOLITE' in ExtraList:
+      DoLink(global_dir, OutDir, "ssh-gitolite")
+
+   if 'WEB-PASSWORDS' in ExtraList:
+      DoLink(global_dir, OutDir, "web-passwords")
 
    if 'KEYRING' in ExtraList:
       for k in Keyrings:
-        DoLink(GlobalDir, OutDir, os.path.basename(k))
+         bn = os.path.basename(k)
+         if os.path.isdir(k):
+            src = os.path.join(global_dir, bn)
+            replaceTree(src, OutDir)
+         else:
+            DoLink(global_dir, OutDir, bn)
    else:
       for k in Keyrings:
-         try: 
-            posix.remove(OutDir + os.path.basename(k))
+         try:
+            bn = os.path.basename(k)
+            target = os.path.join(OutDir, bn)
+            if os.path.isdir(target):
+               safe_rmtree(dst)
+            else:
+               posix.remove(target)
          except:
             pass
+   DoLink(global_dir, OutDir, "last_update.trace")
+
+l = make_ldap_conn()
+
+mods = l.search_s('cn=log',
+      ldap.SCOPE_ONELEVEL,
+      '(&(&(!(reqMod=activity-from*))(!(reqMod=activity-pgp*)))(|(reqType=add)(reqType=delete)(reqType=modify)(reqType=modrdn)))',
+      ['reqEnd'])
+
+last = 0
+
+# Sort the list by reqEnd
+sorted_mods = sorted(mods, key=lambda mod: mod[1]['reqEnd'][0].split('.')[0])
+# Take the last element in the array
+last = sorted_mods[-1][1]['reqEnd'][0].split('.')[0]
+
+# override globaldir for testing
+if 'UD_GENERATEDIR' in os.environ:
+   GenerateDir = os.environ['UD_GENERATEDIR']
+
+cache_last_mod = [0,0]
+
+try:
+   fd = open(os.path.join(GenerateDir, "last_update.trace"), "r")
+   cache_last_mod=fd.read().split()
+   fd.close()
+except IOError, e:
+   if e.errno == errno.ENOENT:
+      pass
+   else:
+      raise e
+
+if cache_last_mod[0] >= last:
+   fd = open(os.path.join(GenerateDir, "last_update.trace"), "w")
+   fd.write("%s\n%s\n" % (last, int(time.time())))
+   fd.close()
+   sys.exit(0)
+
+# Fetch all the groups
+GroupIDMap = {}
+attrs = l.search_s(BaseDn, ldap.SCOPE_ONELEVEL, "gid=*",\
+                  ["gid", "gidNumber", "subGroup"])
+
+# Generate the SubGroupMap and GroupIDMap
+for x in attrs:
+   if x[1].has_key("accountStatus") and x[1]['accountStatus'] == "disabled":
+      continue
+   if x[1].has_key("gidNumber") == 0:
+      continue
+   GroupIDMap[x[1]["gid"][0]] = int(x[1]["gidNumber"][0])
+   if x[1].has_key("subGroup") != 0:
+      SubGroupMap.setdefault(x[1]["gid"][0], []).extend(x[1]["subGroup"])
+
+lock = None
+try:
+   lockf = os.path.join(GenerateDir, 'ud-generate.lock')
+   lock = get_lock( lockf )
+   if lock is None:
+      sys.stderr.write("Could not acquire lock %s.\n"%(lockf))
+      sys.exit(1)
+
+   generate_all(GenerateDir, l)
+
+finally:
+   if lock is not None:
+      lock.release()
+
+fd = open(os.path.join(GenerateDir, "last_update.trace"), "w")
+fd.write("%s\n%s\n" % (last, int(time.time())))
+fd.close()
 
 # vim:set et:
 # vim:set ts=3: