modules/roles/manifests/snapshot_web.pp

   1 class roles::snapshot_web {
   2   include apache2
   3   include apache2::rewrite
   4
   5   # snapshot abusers
   6   #  61.69.254.110 - 20180705, mirroring with wget
   7   # 20180821 large amount of requests way too fast from some amazon AWS instances
   8   #  18.185.157.46
   9   #  18.194.174.202
  10   #  18.184.181.169
  11   #  18.184.5.230
  12   #  18.194.137.96
  13   #  18.197.147.183
  14   #  3.120.39.137
  15   #  3.120.41.69
  16   #  35.158.129.130
  17   #  52.59.199.25
  18   #  52.59.228.158
  19   #  52.59.245.42
  20   #  52.59.253.41
  21   #  52.59.71.13
  22   # 20180821 mirroring
  23   #  99.137.191.34
  24   # 20181110 crawler
  25   #  51.15.215.91
  26   # 20181222, excessive number of requests
  27   #  208.91.68.213
  28   # 198.11.128.0/18
  29   # running jugdo against snapshot
  30   #  159.226.95.0/24
  31   #  84.204.194.0/24
  32   #  211.13.205.0/24
  33   # 20190512 tens of thousands of queries
  34   #  63.32.0.0/14
  35   #  54.72.0.0/15
  36   #  95.115.66.23
  37   #  52.192.0.0/11
  38   #  54.72.0.0/15
  39   #  34.192.0.0/10
  40   #  34.240.0.0/13
  41   #  52.192.0.0/11
  42   #  90.44.107.223
  43   #  195.154.173.12
  44   #  74.121.137.108
  45   ferm::rule { 'dsa-snapshot-abusers':
  46     prio => '005',
  47     rule => 'saddr (61.69.254.110 18.128.0.0/9 3.120.0.0/14 35.156.0.0/14 52.58.0.0/15 99.137.191.34 51.15.215.91 208.91.68.213 198.11.128.0/18 159.226.95.0/24 84.204.194.0/24 211.13.205.0/24 63.32.0.0/14 54.72.0.0/15 95.115.66.23 52.192.0.0/11 54.72.0.0/15 34.192.0.0/10 34.240.0.0/13 52.192.0.0/11 90.44.107.223 195.154.173.12 74.121.137.108) DROP',
  48   }
  49
  50   ensure_packages ( [
  51     'libapache2-mod-wsgi',
  52     ], {
  53     ensure => 'installed',
  54   })
  55
  56   apache2::site { '020-snapshot.debian.org':
  57     site    => 'snapshot.debian.org',
  58     content => template('roles/snapshot/snapshot.debian.org.conf.erb')
  59   }
  60
  61   case $::hostname {
  62     'lw07': {
  63       $ipv4addr        = '185.17.185.185'
  64       $ipv6addr        = '2001:1af8:4020:b030:deb::185'
  65       $ipv6addr_apache = '2001:1af8:4020:b030:deb::187'
  66     }
  67     'sallinen': {
  68       $ipv4addr        = '193.62.202.27'
  69       $ipv6addr        = '2001:630:206:4000:1a1a:0:c13e:ca1b'
  70       $ipv6addr_apache = '2001:630:206:4000:1a1a:0:c13e:ca1a'
  71     }
  72     default: {
  73       fail ( "unknown host ${::hostname} for snapshot_web." )
  74     }
  75   }
  76
  77   ferm::rule { 'dsa-snapshot-connlimit':
  78     domain => '(ip ip6)',
  79     prio   => '005',
  80     rule   => "proto tcp mod state state (NEW) interface ! lo daddr (${ipv4addr} ${ipv6addr})  mod multiport destination-ports (80 443) mod connlimit connlimit-above 3 DROP;
  81                proto tcp mod state state (NEW) interface ! lo                                                dport 6081                 mod connlimit connlimit-above 3 DROP
  82                ",
  83   }
  84
  85   # varnish cache
  86   ###############
  87   ferm::rule { 'dsa-nat-snapshot-varnish-v4':
  88     table => 'nat',
  89     chain => 'PREROUTING',
  90     rule  => "proto tcp daddr ${ipv4addr} dport 80 REDIRECT to-ports 6081",
  91   }
  92
  93   varnish::config { 'default':
  94     listen  => [
  95       ':6081',
  96       "[${ipv6addr}]:80"
  97       ],
  98     backend => 'file,/var/lib/varnish/varnish_storage.bin,8G',
  99     content => template('roles/snapshot/snapshot.debian.org.vcl.erb'),
 100   }
 101
 102   # the ipv6 port 80 is owned by varnish
 103   file { '/etc/apache2/ports.conf':
 104     content => @("EOF"),
 105       Listen 0.0.0.0:80
 106       Listen [${ipv6addr_apache}]:80
 107       | EOF
 108     require => Package['apache2'],
 109     notify  => Service['apache2'],
 110   }
 111
 112   # haproxy ssl termination
 113   #########################
 114   include haproxy
 115   file { '/etc/haproxy/haproxy.cfg':
 116     content => template('roles/snapshot/haproxy.cfg.erb'),
 117     require => Package['haproxy'],
 118     notify  => Service['haproxy'],
 119   }
 120   ssl::service { 'snapshot.debian.org':
 121     notify => Service['haproxy'],
 122     key    => true,
 123   }
 124 }