Add performance optimization by caching IP adresses in ud-generate as a precondition...
[mirror/userdir-ldap.git] / ud-generate
index 54aa361..f341bde 100755 (executable)
@@ -6,6 +6,7 @@
 #   Copyright (c) 2003-2004  James Troup <troup@debian.org>
 #   Copyright (c) 2004-2005,7  Joey Schulze <joey@infodrom.org>
 #   Copyright (c) 2001-2007  Ryan Murray <rmurray@debian.org>
+#   Copyright (c) 2008 Peter Palfrader <peter@palfrader.org>
 #
 #   This program is free software; you can redistribute it and/or modify
 #   it under the terms of the GNU General Public License as published by
@@ -21,7 +22,7 @@
 #   along with this program; if not, write to the Free Software
 #   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
 
-import string, re, time, ldap, getopt, sys, os, pwd, posix, socket, base64, sha
+import string, re, time, ldap, getopt, sys, os, pwd, posix, socket, base64, sha, shutil
 from userdir_ldap import *;
 
 global Allowed;
@@ -35,9 +36,11 @@ CurrentHost = "";
 EmailCheck = re.compile("^([^ <>@]+@[^ ,<>@]+)?$");
 BSMTPCheck = re.compile(".*mx 0 (gluck)\.debian\.org\..*",re.DOTALL);
 DNSZone = ".debian.net"
+Keyrings = [ "/org/keyring.debian.org/keyrings/debian-keyring.gpg",
+             "/org/keyring.debian.org/keyrings/debian-keyring.pgp" ]
 
 def Sanitize(Str):
-  return string.translate(Str,string.maketrans("\n\r\t","$$$"));
+  return Str.translate(string.maketrans("\n\r\t","$$$"))
 
 def DoLink(From,To,File):
    try: posix.remove(To+File);
@@ -88,7 +91,7 @@ def Done(File,F,Fdb):
     os.rename(File + ".tdb.tmp",File+".tdb");
   
 # Generate the password list
-def GenPasswd(l,File,HomePrefix,PwdMarker,UidShift):
+def GenPasswd(l,File,HomePrefix,PwdMarker):
   F = None;
   try:
    F = open(File + ".tdb.tmp","w");
@@ -116,7 +119,7 @@ def GenPasswd(l,File,HomePrefix,PwdMarker,UidShift):
       Line = Sanitize(Line) + "\n";
       F.write("0%u %s" % (I,Line));
       F.write(".%s %s" % (GetAttr(x,"uid"),Line));
-      F.write("=%s %s" % ((int(GetAttr(x,"uidNumber"))+UidShift),Line));
+      F.write("=%s %s" % (GetAttr(x,"uidNumber"),Line));
       I = I + 1;
 
   # Oops, something unspeakable happened.
@@ -151,7 +154,7 @@ def GenShadow(l,File):
 
       # If the account is locked, mark it as such in shadow
       # See Debian Bug #308229 for why we set it to 1 instead of 0
-      if (string.find(GetAttr(x,"userPassword"),"*LK*")  != -1) \
+      if (GetAttr(x,"userPassword").find("*LK*") != -1) \
           or GetAttr(x,"userPassword").startswith("!"):
          ShadowExpire = '1'
       else:
@@ -190,7 +193,7 @@ def GenSSHShadow(l,File):
       # If the account is locked, do not write it.
       # This is a partial stop-gap. The ssh also needs to change this
       # to ignore ~/.ssh/authorized* files.
-      if (string.find(GetAttr(x,"userPassword"),"*LK*")  != -1) \
+      if (GetAttr(x,"userPassword").find("*LK*") != -1) \
              or GetAttr(x,"userPassword").startswith("!"):
          continue;
 
@@ -209,7 +212,7 @@ def GenSSHShadow(l,File):
   Done(File,F,None);
 
 # Generate the group list
-def GenGroup(l,File,UidShift):
+def GenGroup(l,File):
   F = None;
   try:
    F = open(File + ".tdb.tmp","w");
@@ -242,10 +245,7 @@ def GenGroup(l,File,UidShift):
    for x in GroupMap.keys():
       if GroupIDMap.has_key(x) == 0:
          continue;
-      NewGid = int(GroupIDMap[x]);
-      if NewGid >= 500:
-         NewGid = NewGid + UidShift
-      Line = "%s:x:%u:" % (x,NewGid)
+      Line = "%s:x:%u:" % (x,GroupIDMap[x]);
       Comma = '';
       for I in GroupMap[x]:
         Line = Line + ("%s%s" % (Comma,I));
@@ -253,7 +253,7 @@ def GenGroup(l,File,UidShift):
       Line = Sanitize(Line) + "\n";
       F.write("0%u %s" % (J,Line));
       F.write(".%s %s" % (x,Line));
-      F.write("=%u %s" % (NewGid,Line));
+      F.write("=%u %s" % (GroupIDMap[x],Line));
       J = J + 1;
       
   # Oops, something unspeakable happened.
@@ -378,7 +378,7 @@ def GenPrivate(l,File):
          continue;
 
       # If the account is locked, do not write it
-      if (string.find(GetAttr(x,"userPassword"),"*LK*")  != -1) \
+      if (GetAttr(x,"userPassword").find("*LK*") != -1) \
              or GetAttr(x,"userPassword").startswith("!"):
          continue;
 
@@ -423,7 +423,7 @@ def GenDisabledAccounts(l,File):
       Line = ""
       # *LK* is the reference value for a locked account
       # password starting with ! is also a locked account
-      if string.find(Pass,"*LK*") != -1 or Pass.startswith("!"):
+      if Pass.find("*LK*") != -1 or Pass.startswith("!"):
         # Format is <login>:<reason>
         Line = "%s:%s" % (GetAttr(x,"uid"), "Account is locked")
 
@@ -451,7 +451,7 @@ def GenMailDisable(l,File):
       Reason = None
       
       # If the account is locked, disable incoming mail
-      if (string.find(GetAttr(x,"userPassword"),"*LK*")  != -1):
+      if (GetAttr(x,"userPassword").find("*LK*") != -1):
          if GetAttr(x,"uid") == "luther":
            continue
         else:
@@ -590,12 +590,12 @@ def GenDNS(l,File,HomePrefix):
       try:
          F.write("; %s\n"%(EmailAddress(x)));
          for z in x[1]["dnsZoneEntry"]:
-            Split = string.split(string.lower(z));
-           if string.lower(Split[1]) == 'in':
+            Split = z.lower().split()
+           if Split[1].lower() == 'in':
                for y in range(0,len(Split)):
                   if Split[y] == "$":
                      Split[y] = "\n\t";
-               Line = string.join(Split," ") + "\n";
+               Line = " ".join(Split) + "\n";
                F.write(Line);
               
               Host = Split[0] + DNSZone;
@@ -603,7 +603,7 @@ def GenDNS(l,File,HomePrefix):
                   F.write("; Has BSMTP\n");
                               
               # Write some identification information
-               if string.lower(Split[2]) == "a":
+               if Split[2].lower() == "a":
                  Line = "%s IN TXT \"%s\"\n"%(Split[0],EmailAddress(x));
                   for y in x[1]["keyFingerPrint"]:
                     Line = Line + "%s IN TXT \"PGP %s\"\n"%(Split[0],FormatPGPKey(y));
@@ -641,7 +641,7 @@ def GenSSHFP(l,File,HomePrefix):
       Host = GetAttr(x,"hostname");
       Algorithm = None
       for I in x[1]["sshRSAHostKey"]:
-         Split = string.split(I)
+         Split = I.split()
          if Split[0] == 'ssh-rsa':
             Algorithm = 1
          if Split[0] == 'ssh-dss':
@@ -679,12 +679,12 @@ def GenBSMTP(l,File,HomePrefix):
          continue;
       try:
          for z in x[1]["dnsZoneEntry"]:
-            Split = string.split(string.lower(z));
-           if string.lower(Split[1]) == 'in':
+            Split = z.lower().split()
+           if Split[1].lower() == 'in':
                for y in range(0,len(Split)):
                   if Split[y] == "$":
                      Split[y] = "\n\t";
-               Line = string.join(Split," ") + "\n";
+               Line = " ".join(Split) + "\n";
               
               Host = Split[0] + DNSZone;
               if BSMTPCheck.match(Line) != None:
@@ -701,8 +701,26 @@ def GenBSMTP(l,File,HomePrefix):
    raise;
   Done(File,F,None);
 
+# cache IP adresses
+HostToIPCache = {}
+def HostToIP(Host):
+    global HostToIPCache
+    if not Host in HostToIPCache:
+        IPAdressesT = None
+        try:
+            IPAdressesT = list(set([ (a[0],a[4][0]) for a in socket.getaddrinfo(Host, None)]))
+        except socket.gaierror, (code):
+            if code[0] != -2: raise
+        IPAdresses = []
+        for addr in IPAdressesT:
+            if addr[0] == socket.AF_INET: IPAdresses += [addr[1], "::ffff:"+addr[1]]
+            else: IPAdresses += [addr[1]]
+        HostToIPCache[Host] = IPAdresses
+    return HostToIPCache[Host]
+
+
 # Generate the ssh known hosts file
-def GenSSHKnown(l,File):
+def GenSSHKnown(l,File,mode=None):
   F = None;
   try:
    OldMask = os.umask(0022);
@@ -718,12 +736,16 @@ def GenSSHKnown(l,File):
          x[1].has_key("sshRSAHostKey") == 0:
          continue;
       Host = GetAttr(x,"hostname");
-      SHost = string.find(Host,".");
+      HostNames = [ Host ]
+      SHost = Host.find(".")
+      if SHost != None: HostNames += [Host[0:SHost]]
+
       for I in x[1]["sshRSAHostKey"]:
-         if SHost == None:
-            Line = "%s,%s %s" %(Host,socket.gethostbyname(Host),I);
+         if mode and mode == 'authorized_keys':
+            #Line = 'command="rsync --server --sender -pr . /var/cache/userdir-ldap/hosts/%s",no-port-forwarding,no-X11-forwarding,no-agent-forwarding,from="%s" %s' % (Host, ",".join(HNames + HostToIP(Host)), I)
+            Line = 'command="rsync --server --sender -pr . /var/cache/userdir-ldap/hosts/%s",no-port-forwarding,no-X11-forwarding,no-agent-forwarding %s' % (Host,I)
          else:
-            Line = "%s,%s,%s %s" %(Host,Host[0:SHost],socket.gethostbyname(Host),I);
+            Line = "%s %s" %(",".join(HostNames + HostToIP(Host)), I);
          Line = Sanitize(Line) + "\n";
          F.write(Line);
   # Oops, something unspeakable happened.
@@ -762,10 +784,14 @@ def GenHosts(l,File):
    raise;
   Done(File,F,None);
 
+def GenKeyrings(l,OutDir):
+  for k in Keyrings:
+    shutil.copy(k, OutDir)
+
 # Connect to the ldap server
 l = ldap.open(LDAPServer);
 F = open(PassDir+"/pass-"+pwd.getpwuid(os.getuid())[0],"r");
-Pass = string.split(string.strip(F.readline())," ");
+Pass = F.readline().strip().split(" ")
 F.close();
 l.simple_bind_s("uid="+Pass[0]+","+BaseDn,Pass[1]);
 
@@ -808,6 +834,7 @@ GenMarkers(l,GlobalDir+"markers");
 GenPrivate(l,GlobalDir+"debian-private");
 GenDisabledAccounts(l,GlobalDir+"disabled-accounts");
 GenSSHKnown(l,GlobalDir+"ssh_known_hosts");
+#GenSSHKnown(l,GlobalDir+"authorized_keys", 'authorized_keys');
 GenHosts(l,GlobalDir+"debianhosts");
 GenMailDisable(l,GlobalDir+"mail-disable");
 GenMailBool(l,GlobalDir+"mail-greylist","mailGreylisting");
@@ -815,21 +842,22 @@ GenMailBool(l,GlobalDir+"mail-callout","mailCallout");
 GenMailList(l,GlobalDir+"mail-rbl","mailRBL");
 GenMailList(l,GlobalDir+"mail-rhsbl","mailRHSBL");
 GenMailList(l,GlobalDir+"mail-whitelist","mailWhitelist");
+GenKeyrings(l,GlobalDir);
 
 # Compatibility.
 GenForward(l,GlobalDir+"forward-alias");
-   
+
 while(1):
    Line = F.readline();
    if Line == "":
       break;
-   Line = string.strip(Line);
+   Line = Line.strip()
    if Line == "":
       continue;
    if Line[0] == '#':
       continue;
 
-   Split = string.split(Line," ");
+   Split = Line.split(" ")
    OutDir = GenerateDir + '/' + Split[0] + '/';
    try: os.mkdir(OutDir);
    except: pass;
@@ -856,14 +884,12 @@ while(1):
    DoLink(GlobalDir,OutDir,"disabled-accounts")
 
    sys.stdout.flush();
-   UidShift = 0
-   if ExtraList.has_key("[UIDSHIFT]"): UidShift=1000
    if ExtraList.has_key("[NOPASSWD]"):
-      GenPasswd(l,OutDir+"passwd",Split[1], "*", UidShift);
+      GenPasswd(l,OutDir+"passwd",Split[1], "*");
    else:
-      GenPasswd(l,OutDir+"passwd",Split[1], "x", UidShift);
+      GenPasswd(l,OutDir+"passwd",Split[1], "x");
    sys.stdout.flush();
-   GenGroup(l,OutDir+"group", UidShift);
+   GenGroup(l,OutDir+"group");
    if ExtraList.has_key("[UNTRUSTED]"):
        continue;
    if not ExtraList.has_key("[NOPASSWD]"):
@@ -891,3 +917,11 @@ while(1):
 
    if ExtraList.has_key("[PRIVATE]"):
       DoLink(GlobalDir,OutDir,"debian-private")
+
+   if ExtraList.has_key("[KEYRING]"):
+      for k in Keyrings:
+        DoLink(GlobalDir,OutDir,os.path.basename(k))
+   else:
+     for k in Keyrings:
+       try: posix.remove(OutDir+os.path.basename(k));
+       except: pass;