Move crontab static-mirror into dsa-puppet-stuff
[mirror/dsa-puppet.git] / modules / roles / manifests / static_mirror.pp
1 class roles::static_mirror {
2         include roles::static_base
3         include roles::static_srvdir
4         include apache2::expires
5         include apache2::rewrite
6
7         package { 'libapache2-mod-geoip': ensure => installed, }
8         package { 'geoip-database': ensure => installed, }
9
10         include apache2::ssl
11         apache2::module { 'include': }
12         apache2::module { 'geoip': require => [Package['libapache2-mod-geoip'], Package['geoip-database']]; }
13
14         file { '/usr/local/bin/static-mirror-run':
15                 source => 'puppet:///modules/roles/static-mirroring/static-mirror-run',
16                 mode   => '0555',
17         }
18
19         file { '/usr/local/bin/static-mirror-run-all':
20                 source => 'puppet:///modules/roles/static-mirroring/static-mirror-run-all',
21                 mode   => '0555',
22         }
23
24         file { '/etc/cron.d/puppet-static-mirror':
25                 ensure => absent,
26         }
27         concat::fragment { 'dsa-puppet-stuff--static-mirror':
28                 target => '/etc/cron.d/dsa-puppet-stuff',
29                 content  => @(EOF)
30                         @reboot staticsync sleep 60; chronic static-mirror-run-all
31                         | EOF
32         }
33
34         $onion_v4_addr = $::hostname ? {
35                 busoni     => '140.211.166.202',
36                 klecker    => '130.89.148.14',
37                 mirror-isc => '149.20.4.15',
38                 senfter    => '5.153.231.4',
39                 default    => undef,
40         }
41         $vhost_listen = $::hostname ? {
42                 klecker    => '130.89.148.14:80 [2001:610:1908:b000::148:14]:80 [2001:67c:2564:a119::148:14]:80',
43                 mirror-isc => '149.20.4.15:80 [2001:4f8:1:c::15]:80',
44                 mirror-anu => '150.203.164.62:80 [2001:388:1034:2900::3e]:80',
45                 default    => '*:80',
46         }
47         $vhost_listen_443 = $::hostname ? {
48                 klecker    => '130.89.148.14:443 [2001:610:1908:b000::148:14]:443 [2001:67c:2564:a119::148:14]:443',
49                 mirror-isc => '149.20.4.15:443 [2001:4f8:1:c::15]:443',
50                 mirror-anu => '150.203.164.62:443 [2001:388:1034:2900::3e]:443',
51                 default    => '*:443',
52         }
53
54         apache2::config { 'local-static-vhost.conf':
55                 ensure => absent,
56         }
57         apache2::config { 'local-static-vhost':
58                 content => template('roles/static-mirroring/static-vhost.conf.erb'),
59         }
60
61         apache2::site { '010-planet.debian.org':
62                 site    => 'planet.debian.org',
63                 ensure  => has_static_component('planet.debian.org') ? { true => "present", false => "absent" },
64                 content => template('roles/static-mirroring/vhost/planet.debian.org.erb'),
65         }
66
67         apache2::site { '010-lintian.debian.org':
68                 site    => 'lintian.debian.org',
69                 ensure  => absent,
70         }
71
72         apache2::site { '010-static-vhosts-00-manpages':
73                 site   => 'static-manpages.debian.org',
74                 ensure  => has_static_component('manpages.debian.org') ? { true => "present", false => "absent" },
75                 content => template('roles/static-mirroring/vhost/manpages.debian.org.erb'),
76         }
77         apache2::site { '010-static-vhosts-simple':
78                 site => 'static-vhosts-simple',
79                 content => template('roles/static-mirroring/vhost/static-vhosts-simple.erb'),
80         }
81
82         $wwwdo_document_root = '/srv/static.debian.org/mirrors/www.debian.org/cur'
83         apache2::site { '005-www.debian.org':
84                 site   => 'www.debian.org',
85                 ensure  => has_static_component('www.debian.org') ? { true => "present", false => "absent" },
86                 content => template('roles/apache-www.debian.org.erb'),
87         }
88
89         ssl::service { 'www.debian.org'      : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
90         ssl::service { 'debian.org' :
91                 ensure  => has_static_component('www.debian.org') ? { true => "present", false => "absent" },
92                 notify  => Exec['service apache2 reload'],
93                 key => true,
94         }
95
96         # do
97         ssl::service { 'appstream.debian.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
98         ssl::service { 'apt.buildd.debian.org'         : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
99         ssl::service { 'backports.debian.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
100         ssl::service { 'bits.debian.org'               : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
101         ssl::service { 'blends.debian.org'             : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
102         ssl::service { 'd-i.debian.org'                : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true }
103         ssl::service { 'deb.debian.org'                : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true }
104         ssl::service { 'dpl.debian.org'                : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true }
105         ssl::service { 'dsa.debian.org'                : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true }
106         ssl::service { 'incoming.debian.org'           : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
107         ssl::service { 'incoming.ports.debian.org'     : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
108         ssl::service { 'lintian.debian.org'            : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
109         ssl::service { 'manpages.debian.org'           : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
110         ssl::service { 'mirror-master.debian.org'      : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
111         ssl::service { 'onion.debian.org'              : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
112         ssl::service { 'planet-backend.debian.org'     :
113                 ensure => has_static_component('planet.debian.org') ? { true => "present", false => "absent" },
114                 notify => Exec['service apache2 reload'],
115                 key    => true,
116         }
117         ssl::service { 'release.debian.org'            : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
118         ssl::service { 'rtc.debian.org'                : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true }
119         ssl::service { 'security-team.debian.org'      : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
120         ssl::service { 'www.ports.debian.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
121         # dn
122         ssl::service { 'bootstrap.debian.net'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
123         ssl::service { 'debaday.debian.net'            : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
124         ssl::service { 'debdeltas.debian.net'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
125         ssl::service { 'micronews.debian.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
126         ssl::service { 'mozilla.debian.net'            : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
127         ssl::service { 'news.debian.net'               : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
128         ssl::service { 'sources.debian.net'            : ensure => "present",  notify  => Exec['service apache2 reload'], key => true, }
129         ssl::service { 'timeline.debian.net'           : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
130         ssl::service { 'video.debian.net'              : ensure => "present",  notify  => Exec['service apache2 reload'], key => true, }
131         ssl::service { 'wnpp-by-tags.debian.net'       : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
132         # dc
133         ssl::service { '10years.debconf.org'           : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
134         ssl::service { 'debconf0.debconf.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
135         ssl::service { 'debconf1.debconf.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
136         ssl::service { 'debconf16.debconf.org'         : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
137         ssl::service { 'debconf17.debconf.org'         : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
138         ssl::service { 'debconf18.debconf.org'         : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
139         ssl::service { 'debconf2.debconf.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
140         ssl::service { 'debconf3.debconf.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
141         ssl::service { 'debconf4.debconf.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
142         ssl::service { 'debconf5.debconf.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
143         ssl::service { 'debconf6.debconf.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
144         ssl::service { 'debconf7.debconf.org'          : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
145         ssl::service { 'es.debconf.org'                : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
146         ssl::service { 'fr.debconf.org'                : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
147         ssl::service { 'miniconf10.debconf.org'        : ensure => "ifstatic", notify  => Exec['service apache2 reload'], key => true, }
148
149         if has_role('static_mirror_onion') {
150                 if ! $onion_v4_addr {
151                         fail("Do not have an onion_v4_addr set for $::hostname.")
152                 }
153
154                 onion::service { 'd-i.debian.org'      : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
155                 onion::service { 'dpl.debian.org'      : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
156                 onion::service { 'dsa.debian.org'      : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
157                 onion::service { 'rtc.debian.org'      : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
158                 onion::service { 'www.debian.org'      : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
159
160                 # do
161                 onion::service { 'appstream.debian.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
162                 onion::service { 'apt.buildd.debian.org'         : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
163                 onion::service { 'backports.debian.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
164                 onion::service { 'bits.debian.org'               : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
165                 onion::service { 'blends.debian.org'             : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
166                 onion::service { 'incoming.debian.org'           : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
167                 onion::service { 'incoming.ports.debian.org'     : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
168                 onion::service { 'lintian.debian.org'            : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
169                 onion::service { 'manpages.debian.org'           : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
170                 onion::service { 'mirror-master.debian.org'      : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
171                 onion::service { 'onion.debian.org'              : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
172                 onion::service { 'release.debian.org'            : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
173                 onion::service { 'security-team.debian.org'      : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
174                 onion::service { 'www.ports.debian.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
175                 # dn
176                 onion::service { 'bootstrap.debian.net'           : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
177                 onion::service { 'debaday.debian.net'            : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
178                 onion::service { 'debdeltas.debian.net'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
179                 onion::service { 'micronews.debian.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
180                 onion::service { 'mozilla.debian.net'            : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
181                 onion::service { 'news.debian.net'               : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
182                 onion::service { 'timeline.debian.net'           : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
183                 onion::service { 'wnpp-by-tags.debian.net'       : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
184                 # dc
185                 onion::service { '10years.debconf.org'           : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
186                 onion::service { 'debconf0.debconf.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
187                 onion::service { 'debconf1.debconf.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
188                 onion::service { 'debconf16.debconf.org'         : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
189                 onion::service { 'debconf17.debconf.org'         : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
190                 onion::service { 'debconf18.debconf.org'         : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
191                 onion::service { 'debconf2.debconf.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
192                 onion::service { 'debconf3.debconf.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
193                 onion::service { 'debconf4.debconf.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
194                 onion::service { 'debconf5.debconf.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
195                 onion::service { 'debconf6.debconf.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
196                 onion::service { 'debconf7.debconf.org'          : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
197                 onion::service { 'es.debconf.org'                : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
198                 onion::service { 'fr.debconf.org'                : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
199                 onion::service { 'miniconf10.debconf.org'        : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
200
201                 # non-SSL
202                 onion::service { 'metadata.ftp-master.debian.org': ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
203                 onion::service { 'planet.debian.org'             : ensure => "ifstatic", port => 80, target_port => 80, target_address => $onion_v4_addr }
204         }
205
206         file { '/srv/static.debian.org/puppet':
207                 ensure => directory,
208                 mode   => '02755'
209         }
210         file { '/srv/static.debian.org/puppet/disabled-service':
211                 ensure => directory,
212                 mode   => '02755'
213         }
214         file { '/srv/static.debian.org/puppet/disabled-service/503.html':
215                 source => 'puppet:///modules/roles/static-htdocs/disabled-service/503.html',
216         }
217
218         ssl::service { 'archive.debian.net': ensure => present, notify  => Exec['service apache2 reload'], key => true, }
219         file { '/srv/static.debian.org/puppet/archive.debian.net':
220                 ensure => absent,
221         }
222         file { '/srv/static.debian.org/puppet/archive.debian.net/503.html':
223                 ensure => absent,
224         }
225
226 }