Revert "ferm: open ssh from mirror-master to ports mirror"

This reverts commit 2cdec8fac4eb9511d0e7d1a01523066cbd9d13f6.

ferm: open ssh from mirror-master to ports mirror

new-klecker as ports mirror

Add a new volume on a not so broken vdisk for backuphost

Retire unused extranrpeclient role -- the mini-nag host now pushes a storedconf to get nrpe access

And allow nrpe from the dns master

use correct class for concat fragment

use correct class for concat fragment

Switch nrpe allow-config to store/collect

Switch nrpe firewalling to store/collect

The da-backup on lw03 has not been useful in a long time, remove it

It was useful for backing up the morgue to storace, but since
lw03 ran out of disk space for morgue probably years ago, we should
not keep this around anymore.

Remove spec/octocatalog: its very out of date, and thus probably not as useful.  If we want something like this again, we should find a way that keeps things current and do not interfere with us maintaining this config base

onionbalance -> hiera role

Tor#27849 is fixed, remove workaround

multipath: remove manziarly* and wuiet* (moved to ubc)

planet static master is now ubc

add philp volume at ubc

Revert "Use static-master-grnet-01 for incoming.ports.d.o"

This reverts commit 7f82f7567d9685920a00a2ac0e888e891b966b7b.

We use /srv/static.debian.org as the source for rsync

Use static-master-grnet-01 for incoming.ports.d.o

And drop static_master role from porta

use static-master-grnet-01 for bootstrap.debian.net

It is located on the same ganeti cluster as boott and is less I/O
starved than dillon.

static: use static-master-ubc-01.d.o as a master for manpages.d.o

debconf19 is not static just yet

new-klecker: enable the static trigger and provide onion services

Enable more static components for new-klecker

Drop klecker from static_mirror_web

It will be replaced by new-klecker

As we are removing klecker from the static rotation, stop providing (static) onion services from it

Add new-klecker as a static mirror

(not yet triggered)

puppet still created /var/lib/misc/thishost/pkglist.  remove that

push debdeltas only to csail, isc, senfter; dropping klecker

wuiet is no longer a static_source.  apt.buildd.debian.org was retired months ago

ports/static mirror: if listen_addr are not explicitly set, use the host's public IPv4 address for onion purposes

Update wuiet IP address

wannabuild has been moved from bmdb1 to danzi

whitespace/quoting: modules/staticsync/manifests/static_mirror.pp (make lint happy)

Remove setting env vars in the static_mirror part of puppet-cron

This was re-setting MAILTO=root, which is already set at the top level,
and it was also setting PATH to only a subset of what it was before
(dropped the sbins).

slapd-ftmg.conf has credentials, lock down modes

disable root access to DB

Document initial database contents

Ship an initial ftmg slapd config

sso: add openssh-ldap.schema, re: RT#7454

whitespace/quoting: modules/roles/manifests/static_mirror_web (make lint happy)

static_mirror_web: replace the vhost_listen string with an Array of IP addresses

ports_mirror: replace the vhost_listen string with an Array of IP addresses

whitespace cleanup

make dns primary export and keyring host collect firewall rules for the openpgpkey zone transfer; retire old-style dns_primary role

shorter rule name

If the name is too long for netfilter, hash it

move 3rd party nameserver info from the ferm template to hiera, retire geodns old-style role

re-arrange hieradata/common slightly

publish, store and collect ferm rules for dns primary access

whitespace/quoting: modules/nagiosmanifests/ (make lint happy)

Try a new ferm rule class

whitespace/quoting: modules/ferm/manifests/ (make lint happy)

whitespace/quoting: modules/named/manifests/ (make lint happy)

this from setting is the default.  no need to pass it on explicitly

Make ssh puppetkeys mode 0444 (instead of 0644)

handle sync ssh keys for dgit

The dgit master host (gideon) is available only via ssh to DDs.
it syncs its data to a publicly accessible host (cgi-grnet-01) over
ssh.  Until now the authkeys file was maintained by hand, but
Ian Jackson asked if we could do that in puppet so updates in IP
addresses etc. get automatically handled.

migrate packagesmaster and packagesqamaster role

whitespace/quoting: modules/exim/manifests/* (make lint happy)

Partially migrate the mailrelay role.  ferm still needs the old style.

retire bugsmx role

make sure exim on reger does the rtmaster stuff

rtmaster -> hiera role

whitespace/quoting: modules/exim/manifests/init.pp (make lint happy)

rt require apache2

sreview and veyepar require apache2

a few more notes in common.yaml

hieradata/common: note which "roles" are used by ferm to gather lists

keyring: explicitly include apache2

whitespace/quoting: modules/roles/manifests/keyring.pp (make lint happy)

popcon -> hiera role; explicitly include apache2

Retire static_mirror_onion and move IP address lists out of static_mirror_web and into hiera

snapshot_web -> hiera role

udd -> hiera role; explicitly include apache2

whitespace/quoting: modules/apache2/manifests/dynamic.pp (make lint happy)

rename one ferm block

Retire the apache_ratelimited role

And introduce a rate_limit param to the apache2 class.  The
bugs_web role sets that option to true on inclusion, as does
the packages role.

The snapshot role had slightly different rate limiting in the
apache class.  This has now been removed in favor of rate limiting
in the snapshot_web class.

To enable this, all web traffic (even on not-ratelimited systems)
is sent to the http chain.  At the end, all traffic gets accepted
and services that want to interfere can do things before prio 90.

whitespace/quoting: modules/roles/manifests/snapshot_web.pp (make lint happy)

Replace apache_prefork role with an mpm class option for apache2

the linter only wants 4-digit modes

snapshot_shell -> hiera role

security_tracker -> hiera role; explicitly include apache2

drop has_role includes for sso*

Retire sso_rp (SSO, relying party) role for hosts

Instead, relying services should include roles::sso_rp.

temporary fix for sso_rp/ca.crl.erb using the now-removed roles[sso] hostlist

sso -> hiera role; explicitly include apache2

wiki -> hiera role; explicitly include apache2

git_master -> hiera role

security_upload -> hiera role

i18n, l10n -> hiera role; explicitly include apache2

Get this hosts public IP address for the apache allow rather than going via roles

spell apache better

planet_{search,master} -> hiera role; explicitly include apache2

historicalpackages -> hiera role; explicitly include apache2

packages -> hiera role; explicitly include apache2

www_master -> hiera role; explicitly include apache2

Revert "Revert "ssh_upload -> hiera role""

This reverts commit 13581ee3cf37c33606b8c8317c0901459e34c313.

Try this again, now with an extra change in sshd_config

This file no longer exists

Revert "ssh_upload -> hiera role"

This reverts commit fe6c9108858446d5081a4d3505280bafe018cbdc.

This change is not a nop as expected.  Revert until we figure out why.

ssh_upload -> hiera role