planet-d.o: only allow access from localhost and local IP

This way it's possible to access planet-master.d.o using SSH as a socks
proxy. It requires to connect to planet-master.d.o aka philp.d.o instead
of any debian machine.

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

99builddsourceslist: access the security archive using https

Let's try again!

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

lintian.d.o: fix deflate output filter

It appears that AddOutputFilterByType options also apply to the
subdirectories. However this directive overwrites the default value or
the one defined in the parent directory.

Therefore we only want to add this directive to the root directory and
with all the mime types.

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

Merge branch 'lintian.d.o-tweaks' of https://salsa.debian.org/nthykier/dsa-puppet

static_mirror: enable deflate and filter modules

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

Install ca-certificates in the buildd chroots

This is need in addition of apt-transport-https.

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

lintian.d.o: Move svg compression to the resources directory

It does not appear to propogate on its own, so move it from the root
to the "resources" directory section.  There are no SVG images outside
that directory anyway.

Signed-off-by: Niels Thykier <niels@thykier.net>

lintian.d.o: Remove redundant + incorrect IfModule mod_userdir

Signed-off-by: Niels Thykier <niels@thykier.net>

Revert "99builddsourceslist: access the security archive using https"

This reverts commit f77a22de23c38230527be61375482971dea55fef.

This doesn't work, we also need ca-certificate in the chroot :-(

99builddsourceslist: access the security archive using https

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

Fully retire spontini.d.o

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

Also drop security anycast-test mirrors

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

snapshot storage nodes want the toolchain to build the snapshot fsck utility

setup-dchroot: fix a typo

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

Install apt-transport-https in the buildd chroots

This will be used to access the security archive in a more private way.

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

Drop anycast-test mirrors from apt

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

More kfreebsd removal

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

setup-all-dchroots: get rid of kfreebsd and ppc64

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

nagios: use dsa-check-systemd-services instead of systemctl is-system-running

Also systemctl reset-failed failed session-nnn.scope

Move failed rsync cleanup into systemd module

Fixup local-mirror.cdbuilder sites-enabled symlink name

Add {deb,security}.d.o aliases to local-mirror.cdbuilder

use ttyS1 for the serial console on casulana

Get trailing slashes right for aliases

First go at cdbuilder local mirror export (re: RT##7101)

Add a apache_not_public role where we do not add ferm allow rules and put casulana into it

no more experimental_apache (previously cgi-grnet-01, pejacevic, petrova)

Add cdbuilder-logs static component (re: RT##7101)

Add casulana as a static source for cdbuilder-logs (re: RT##7101)

Test with Puppet 4.8

Update facts

Move nagios stuff

Move generated cert files to new location

Update octocatalog job

rsync on lw09,lw10

update lw autotab

update lw autotab

do nfs server setup on lw09/lw10

no more 10/8 network at leaseweb

remove sgran from root keys

Signed-off-by: Martin Zobel-Helas <zobel@debian.org>

remove sgran IP range. he can hop via master if needed

Signed-off-by: Martin Zobel-Helas <zobel@debian.org>

puppet does not have any mail config in /srv/puppet.debian.org/mail

Signed-off-by: Martin Zobel-Helas <zobel@debian.org>

backgrounding does not really work remotely

dsa-restart-all-idle-postgres: only restart pg instances that show up in dsa-check-libs

dsa-restart-all-idle-postgres: and do not keep fds open

dsa-restart-all-idle-postgres: disown background jobs instead of waiting for them

in practice make the sleep longer

fix filename

Add script to restart postgres clusters

ignore wb-buildd.more on buildd_master role hosts

samhain ignore /etc/ssh/userkeys/buildd-uploader on ssh upload hosts

Use "restrict" key option for buildd access to upload hosts

Use "restrict" key option for buildd access to wanna-build

Use "restrict" key option for storace's da-backup keys

Use "restrict" key option in debbackup authorized_keys

Simplify portforwarder authorized_keys options

Replace "no-pty,no-port-forwarding,no-X11-forwarding,no-agent-forwarding" with
"restrict" since all hosts using this module are on stretch with new enough
sshd

Put ganeti VMs into their own systemd scope

modules/postgres/manifests/backup_source: add a comment re docs

Add a comment header to /etc/ssh/userkeys/debbackup

Do samhain checks only half as often

Update private IP range at leaseweb

Add debconf18.debconf.org config on debussy (rt#7089)

update sudo for new dsa-check-libs call

Clean up failed rsyncs every few minutes

ignore salsa fd leak in sidekiq for dsa-check-lib purposes

and log checksums correctly

also log failed target

pg-backup-file: continue after failures and only report at the end

Decommission fano and finzi

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

mirror-anu should not actually have an onion address

Improve kpartx rule

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

Disable default kpartx udev rule

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

Get rid of obsolete vsftpd::site→absent resources

No more conntrackd in bm, so drop firewall opening

Retire ftp.d.o role, it is unused

Clean up debugging foo

steve probably does not care about samhain mails very much

Get rid of unused role

Get rid of some intermediate variables

Move onion IP addresses into hiera

Simplify debian_mirror for hiera-hash

Whitespace

Move debian_mirror over to being a hash

Use .dig to dig into hiera structs

Debugging

Cleanup obsolete absent resource

Get rid of security_mirror_onion role in favour of just keying off the ip address in hiera

sshd: Raise MaxStartups on ssh upload hosts

Decommission fils and fayrfax

Signed-off-by: Aurelien Jarno <aurelien@aurel32.net>

sshd_config: Remove UsePrivilegeSeparation yes.   on stretch the default is sandbox which seems better

sshd_config: remove commented out options and options where we just use the default value (according to the stretch manpage)

Simplify lookups now that security_mirror is a hash

Switch the security mirror role over to using a hash

Add support to hashes for has_role

In addition to supporting

roles:
  foo:
    - host1
    - host2
    - host3

Add support for:

roles:
  foo:
    host1:
      k1: v1
    host2: ~

as well.

Whitespace fixups

Add localhost listens when listen-addresses is set

Whitespace

Pull out listen addresses from hiera again

Set service-hostname for mirror-conova too