modules/roles/files/static-mirroring/staticsync-ssh-wrap

   1 #!/bin/bash
   2
   3 # Copyright (c) 2009, 2010, 2012 Peter Palfrader
   4 #
   5 # Permission is hereby granted, free of charge, to any person obtaining
   6 # a copy of this software and associated documentation files (the
   7 # "Software"), to deal in the Software without restriction, including
   8 # without limitation the rights to use, copy, modify, merge, publish,
   9 # distribute, sublicense, and/or sell copies of the Software, and to
  10 # permit persons to whom the Software is furnished to do so, subject to
  11 # the following conditions:
  12 #
  13 # The above copyright notice and this permission notice shall be
  14 # included in all copies or substantial portions of the Software.
  15 #
  16 # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  17 # EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  18 # MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  19 # NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  20 # LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  21 # OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  22 # WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  23
  24 set -e
  25 set -u
  26
  27 MYLOGNAME="`basename "$0"`[$$]"
  28 BASEDIR="/srv/static.debian.org"
  29 COMPONENTLIST=/etc/static-components.conf
  30
  31 usage() {
  32         echo "local Usage: $0 <host>"
  33         echo "via ssh orig command:"
  34         echo "                      mirror <component> <serial>"
  35         echo "                      rsync <stuff>"
  36         echo "                      static-master-update-component <component>"
  37 }
  38
  39 one_more_arg() {
  40         if [ "$#" -lt 1 ]; then
  41                 usage >&2
  42                 exit 1
  43         fi
  44 }
  45
  46 info() {
  47         logger -p daemon.info -t "$MYLOGNAME" "$1"
  48 }
  49
  50 croak() {
  51         logger -s -p daemon.warn -t "$MYLOGNAME" "$1"
  52         exit 1
  53 }
  54
  55 do_mirror() {
  56         local remote_host="$1"; shift
  57         one_more_arg "$@"
  58         local component="$1"; shift
  59         one_more_arg "$@"
  60         local serial="$1"; shift
  61
  62         masterhost="$(awk -v component="$component" '!/^ *(#|$)/ && $2 == component {print $1; exit}' "$COMPONENTLIST")"
  63         if [ -z "$masterhost" ]; then
  64                 croak "Did not find master for component $component."
  65         elif [ "$masterhost" != "$remote_host" ]; then
  66                 croak "$remote_host is not master for $component."
  67         else
  68                 info "Host $remote_host triggered a mirror run for $component, serial $serial"
  69                 exec /usr/local/bin/static-mirror-run "$BASEDIR/mirrors/$component" "$remote_host:$component/-new-" "$serial"
  70                 echo >&2 "Exec failed"
  71                 croak "exec failed"
  72         fi
  73 }
  74
  75 do_rsync_on_master() {
  76         local remote_host="$1"; shift
  77         local allowed_rsyncs
  78         allowed_rsyncs=()
  79         allowed_rsyncs+=("--server --sender -vlHtrze.iLsf --safe-links .") # wheezy
  80         allowed_rsyncs+=("--server --sender -vlHtrze.iLsfx --safe-links .") # jessie
  81         allowed_rsyncs+=("--server --sender -vlHtrze.iLsfxC --safe-links .") # stretch
  82
  83         for cmd_idx in ${!allowed_rsyncs[*]}; do
  84                 args="${allowed_rsyncs[$cmd_idx]}"
  85                 for component in $(awk -v this_host="$(hostname -f)" '!/^ *(#|$)/ && $1 == this_host {print $2}' $COMPONENTLIST); do
  86                         if [ "$*" = "$args $component/-new-/" ] || [ "$*" = "$args ./$component/-new-/" ] ; then
  87                                 local path="$BASEDIR/master/$component-current-push"
  88                                 info "serving $remote_host with $path"
  89                                 exec rsync $args "$path/."
  90                                 croak "Exec failed"
  91                         elif [ "$*" = "$args $component/-live-/" ] || [ "$*" = "$args ./$component/-live-/" ] ; then
  92                                 local path="$BASEDIR/master/$component-current-live"
  93                                 info "host $remote_host wants $path, acquiring lock"
  94                                 exec 200< "$path"
  95                                 if ! flock -s -w 0 200; then
  96                                 echo >&2 "Cannot acquire shared lock on $path - this should mean an update is already underway anyway."
  97                                 exit 1
  98                                 fi
  99                                 exec rsync $args "$path/."
 100                                 croak "Exec failed"
 101                         fi
 102                 done
 103         done
 104 }
 105
 106 do_rsync_on_source() {
 107         local remote_host="$1"
 108         shift
 109
 110         local allowed_rsyncs
 111         allowed_rsyncs=()
 112
 113         if [ -e "$COMPONENTLIST" ]; then
 114                 for path in $(awk -v host="$(hostname -f)" '!/^ *(#|$)/ && $3 == host {print $4}' $COMPONENTLIST); do
 115                         allowed_rsyncs+=("--server --sender -lHtrze.iLsf --safe-links . $path/.") # wheezy
 116                         allowed_rsyncs+=("--server --sender -lHtrze.iLsfx --safe-links . $path/.") # jessie
 117                         allowed_rsyncs+=("--server --sender -lHtrze.iLsfxC --safe-links . $path/.") # stretch
 118                 done
 119         fi
 120         for cmd_idx in ${!allowed_rsyncs[*]}; do
 121                 allowed="${allowed_rsyncs[$cmd_idx]}"
 122                 if [ "$*" = "$allowed" ]; then
 123                         info "Running for host $remote_host: rsync $*"
 124                         exec rsync "$@"
 125                         croak "Exec failed"
 126                 fi
 127         done
 128 }
 129
 130 do_rsync() {
 131         do_rsync_on_master "$@"
 132         do_rsync_on_source "$@"
 133
 134         info "NOT allowed for $remote_host: rsync $*"
 135         echo >&2 "This rsync command ($@) not allowed."
 136         exit 1
 137 }
 138
 139 do_update_component() {
 140         local remote_host="$1"; shift
 141
 142         one_more_arg "$@"
 143         component="$1"
 144         shift
 145
 146         hit="$(
 147                 awk -v this_host="$(hostname -f)" -v component="$component" -v host="$remote_host" '
 148                         !/^ *(#|$)/ && $1 == this_host && $2 == component {
 149                                 if ($3 == host) {
 150                                         print $4
 151                                         exit
 152                                 }
 153                                 split($5,extra,",")
 154                                 for (i in extra) {
 155                                         if (host == extra[i]) {
 156                                                 printf "%s:%s\n", $3, $4
 157                                                 exit
 158                                         }
 159                                 }
 160                                 exit
 161                         }' "$COMPONENTLIST"
 162                 )"
 163         if [ -n "$hit" ]; then
 164                 exec static-master-update-component "$component"
 165                 echo >&2 "Exec failed"
 166                 croak "exec failed"
 167         else
 168                 info "Not whitelisted: $remote_host update $component"
 169                 echo >&2 "Not whitelisted: $remote_host update $component"
 170                 exit 1
 171         fi
 172 }
 173
 174
 175 if [ "${1:-}" = "-h" ] || [ "${1:-}" = "--help" ]; then
 176         usage
 177         exit 0
 178 fi
 179
 180 one_more_arg "$@"
 181 remote_host="$1"
 182 shift
 183
 184
 185 # check/parse remote command line
 186 if [ -z "${SSH_ORIGINAL_COMMAND:-}" ] ; then
 187         croak "Did not find SSH_ORIGINAL_COMMAND"
 188 fi
 189 set "dummy" ${SSH_ORIGINAL_COMMAND}
 190 shift
 191
 192 info "host $remote_host called with $*"
 193
 194 one_more_arg "$@"
 195 action="$1"
 196 shift
 197
 198 case "$action" in
 199         # on a static mirror, update a component from its master
 200         mirror)
 201                 do_mirror "$remote_host" "$@"
 202                 ;;
 203         # on a static source, allow fetching from the master,
 204         # on a master, allow fetching from a component's mirrors
 205         rsync)
 206                 do_rsync "$remote_host" "$@"
 207                 ;;
 208         # on a master, initiate an update of a component
 209         static-master-update-component)
 210                 do_update_component "$remote_host" "$@"
 211                 ;;
 212         *)
 213                 croak "Invalid operation '$action'"
 214                 ;;
 215 esac