GNU/Linux >> Linux Esercitazione >  >> Linux

Automatizzare i rilasci a monte con release-bot

Se possiedi o gestisci un repository GitHub e hai mai inserito un pacchetto da esso in PyPI e/o Fedora, sai che richiede del lavoro aggiuntivo utilizzando l'infrastruttura Fedora.

Buone notizie:abbiamo sviluppato uno strumento chiamato release-bot che automatizza il processo. Tutto quello che devi fare è archiviare un problema nel tuo repository upstream e release-bot si occupa del resto. Ma non andiamo avanti a noi stessi. Innanzitutto, diamo un'occhiata a ciò che deve essere impostato affinché questa automazione avvenga. Ho scelto la famiglia di meta-test repository a monte come esempio.

File di configurazione per release-bot

Esistono due file di configurazione per release-bot:conf.yaml e release-conf.yaml .

conf.yaml

conf.yaml deve essere accessibile durante l'inizializzazione del bot; specifica come accedere al repository GitHub. Per dimostrarlo, ho creato un nuovo repository git chiamato mtf-release-bot , che contiene conf.yaml e gli altri file segreti.

repository_name: name
repository_owner: owner
# https://help.github.com/articles/creating-a-personal-access-token-for-the-command-line/
github_token: xxxxxxxxxxxxxxxxxxxxxxxxx
# time in seconds during checks for new releases
refresh_interval: 180

Per il caso della famiglia di meta-test, il file di configurazione è simile al seguente:

repository_name: meta-test-family
repository_owner: fedora-modularity
github_token: xxxxxxxxxxxxxxxxxxxxx
refresh_interval: 180

release-conf.yaml

release-conf.yaml deve essere archiviato nel repository stesso; specifica come eseguire le versioni di GitHub/PyPI/Fedora.

# list of major python versions that bot will build separate wheels for
python_versions:
 - 2
  - 3
# optional:
changelog:
 - Example changelog entry
  - Another changelog entry
# this is info for the authorship of the changelog
# if this is not set, person who merged the release PR will be used as an author
author_name: John Doe
author_email: [email protected]
# whether to release on fedora. False by default
fedora: false
# list of fedora branches bot should release on. Master is always implied
fedora_branches:
 - f27

Per il caso della famiglia di meta-test, il file di configurazione è simile al seguente:

python_versions:
-       2
fedora: true
fedora_branches:
-       f29
-       f28
trigger_on_issue: true

File di configurazione PyPI

Il file .pypirc , archiviato nel tuo mtf-release-bot repository privato, è necessario per caricare la nuova versione del pacchetto in PyPI:

[pypi]
username = phracek
password = xxxxxxxx

Chiave SSH privata, id_rsa , che hai configurato in FAS.

La struttura finale del repository git, con conf.yaml e gli altri, assomiglia a questo:

$ ls -la
total 24
drwxrwxr-x   3 phracek phracek 4096 Sep 24 12:38 .
drwxrwxr-x. 20 phracek phracek 4096 Sep 24 12:37 ..
-rw-rw-r--   1 phracek phracek  199 Sep 24 12:26 conf.yaml
drwxrwxr-x   8 phracek phracek 4096 Sep 24 12:38 .git
-rw-rw-r--   1 phracek phracek 3243 Sep 24 12:38 id_rsa
-rw-------   1 phracek phracek   78 Sep 24 12:28 .pypirc

Requisiti

Altre risorse Python

  • Cos'è un IDE?
  • Cheat sheet:Python 3.7 per principianti
  • I migliori framework GUI Python
  • Download:7 librerie PyPI essenziali
  • Sviluppatori Red Hat
  • Contenuto Python più recente

Il rilascio su PyPI richiede il pacchetto wheel sia per Python 2 che per Python 3, quindi installa requirements.txt con entrambe le versioni di pip. Devi anche impostare i tuoi dati di accesso PyPI in $HOME/.pypirc , come descritto nella documentazione PyPI. Se stai rilasciando su Fedora, devi avere un ticket Kerberos attivo mentre il bot è in esecuzione, o specificare il percorso del file keytab Kerberos con -k/–keytab . Inoltre, fedpkg richiede che tu abbia una chiave SSH nel tuo portachiavi che hai caricato su FAS.

Come distribuire il bot di rilascio

Esistono due modi per utilizzare release-bot:come immagine Docker o come modello OpenShift.

Immagine Docker

Costruiamo l'immagine usando s2i comando:

$ s2i build $CONFIGURATION_REPOSITORY_URL usercont/release-bot app-name

dove $CONFIGURATION_REPOSITORY_URL è un riferimento al repository GitHub, come https:///mtf-release-conf.

Diamo un'occhiata alle immagini Docker:

$ docker images
REPOSITORY                                      TAG                     IMAGE ID                CREATED                 SIZE
mtf-release-bot                         latest                  08897871e65e            6 minutes ago           705 MB
docker.io/usercont/release-bot                  latest                  5b34aa670639            9 days ago              705 MB

Ora proviamo a eseguire il mtf-release-bot immagine con questo comando:

$ docker run mtf-release-bot
---> Setting up ssh key...
Agent pid 12
Identity added: ./.ssh/id_rsa (./.ssh/id_rsa)
12:21:18.982 configuration.py  DEBUG  Loaded configuration for fedora-modularity/meta-test-family
12:21:18.982 releasebot.py      INFO   release-bot v0.4.1 reporting for duty!
12:21:18.982 github.py          DEBUG  Fetching release-conf.yaml
12:21:37.611 releasebot.py      DEBUG  No merged release PR found
12:21:38.282 releasebot.py      INFO   Found new release issue with version: 0.8.5
12:21:42.565 releasebot.py      DEBUG  No more open issues found
12:21:43.190 releasebot.py      INFO   Making a new PR for release of version 0.8.5 based on an issue.
12:21:46.709 utils.py           DEBUG  ['git', 'clone', 'https://github.com/fedora-modularity/meta-test-family.git', '.']

12:21:47.401 github.py          DEBUG  {"message":"Branch not found","documentation_url":"https://developer.github.com/v3/repos/branches/#get-branch"}
12:21:47.994 utils.py           DEBUG  ['git', 'config', 'user.email', '[email protected]']

12:21:47.996 utils.py           DEBUG  ['git', 'config', 'user.name', 'Release bot']

12:21:48.009 utils.py           DEBUG  ['git', 'checkout', '-b', '0.8.5-release']

12:21:48.014 utils.py           ERROR  No version files found. Aborting version update.
12:21:48.014 utils.py           WARNING No CHANGELOG.md present in repository
[Errno 2] No such file or directory: '/tmp/tmpmbvb05jq/CHANGELOG.md'
12:21:48.020 utils.py           DEBUG  ['git', 'commit', '--allow-empty', '-m', '0.8.5 release']
[0.8.5-release 7ee62c6] 0.8.5 release

12:21:51.342 utils.py           DEBUG  ['git', 'push', 'origin', '0.8.5-release']

12:21:51.905 github.py          DEBUG  No open PR's found
12:21:51.905 github.py          DEBUG  Attempting a PR for 0.8.5-release branch
12:21:53.215 github.py          INFO   Created PR: https://github.com/fedora-modularity/meta-test-family/pull/243
12:21:53.216 releasebot.py      INFO   I just made a PR request for a release version 0.8.5
12:21:54.154 github.py          DEBUG  Comment added to PR: I just made a PR request for a release version 0.8.5
 Here's a [link to the PR](https://github.com/fedora-modularity/meta-test-family/pull/243)
12:21:54.154 github.py          DEBUG  Attempting to close issue #242
12:21:54.992 github.py          DEBUG  Closed issue #242

Come puoi vedere, release-bot ha chiuso automaticamente il seguente problema, richiedendo una nuova versione upstream della famiglia meta-test:https://github.com/fedora-modularity/meta-test-family/issues/243.

Inoltre, release-bot ha creato un nuovo PR con changelog. Puoi aggiornare il PR, ad esempio squash changelog, e una volta unito, verrà automaticamente rilasciato su GitHub e verranno avviati PyPI e Fedora.

Ora hai una soluzione funzionante per rilasciare facilmente le versioni upstream del tuo pacchetto in PyPi e Fedora.

Modello OpenShift

Un'altra opzione per fornire rilasci automatizzati utilizzando release-bot è distribuirlo in OpenShift.

Il modello OpenShift ha il seguente aspetto:

kind: Template
apiVersion: v1
metadata:
  name: release-bot
  annotations:
    description: S2I Relase-bot image builder
    tags: release-bot s2i
    iconClass: icon-python
labels:
  template: release-bot
  role: releasebot_application_builder
objects:
  - kind : ImageStream
    apiVersion : v1
    metadata :
        name : ${APP_NAME}
        labels :
          appid : release-bot-${APP_NAME}
  - kind : ImageStream
    apiVersion : v1
    metadata :
      name : ${APP_NAME}-s2i
      labels :
        appid : release-bot-${APP_NAME}
    spec :
      tags :
        - name : latest
          from :
            kind : DockerImage
            name : usercont/release-bot:latest
         #importPolicy:
         #  scheduled: true
  - kind : BuildConfig
    apiVersion : v1
    metadata :
      name : ${APP_NAME}
      labels :
        appid : release-bot-${APP_NAME}
    spec :
      triggers :
        - type : ConfigChange
        - type : ImageChange
      source :
        type : Git
        git :
          uri : ${CONFIGURATION_REPOSITORY}
          contextDir : ${CONFIGURATION_REPOSITORY}
        sourceSecret :
          name : release-bot-secret
      strategy :
        type : Source
        sourceStrategy :
          from :
            kind : ImageStreamTag
            name : ${APP_NAME}-s2i:latest
      output :
        to :
          kind : ImageStreamTag
          name : ${APP_NAME}:latest
  - kind : DeploymentConfig
    apiVersion : v1
    metadata :
      name: ${APP_NAME}
      labels :
        appid : release-bot-${APP_NAME}
    spec :
      strategy :
        type : Rolling
      triggers :
         - type : ConfigChange
         - type : ImageChange
           imageChangeParams :
             automatic : true
             containerNames :
              - ${APP_NAME}
             from :
               kind : ImageStreamTag
               name : ${APP_NAME}:latest
      replicas : 1
      selector :
        deploymentconfig : ${APP_NAME}
      template :
        metadata :
          labels :
            appid: release-bot-${APP_NAME}
            deploymentconfig : ${APP_NAME}
        spec :
          containers :
            - name : ${APP_NAME}
              image : ${APP_NAME}:latest
              resources:
                requests:
                  memory: "64Mi"
                  cpu: "50m"
                limits:
                  memory: "128Mi"
                  cpu: "100m"

parameters :
  - name : APP_NAME
    description : Name of application
    value :
    required : true
  - name : CONFIGURATION_REPOSITORY
    description : Git repository with configuration
    value :
    required : true

Il modo più semplice per distribuire il mtf-release-bot repository con file segreti in OpenShift deve utilizzare i seguenti due comandi:

$ curl -sLO https://github.com/user-cont/release-bot/raw/master/openshift-template.yml

Nella tua istanza OpenShift, distribuisci il modello eseguendo il comando seguente:

oc process -p APP_NAME="mtf-release-bot" -p CONFIGURATION_REPOSITORY="git@<git_lab_path>/mtf-release-conf.git" -f openshift-template.yml | oc apply

Riepilogo

Vedi la richiesta pull di esempio nel repository upstream della famiglia di meta-test, dove troverai informazioni su quale release-bot è stato rilasciato. Una volta arrivato a questo punto, puoi vedere che release-bot è in grado di inviare nuove versioni upstream in GitHub, PyPI e Fedora senza pesanti interventi da parte dell'utente. Automatizza tutti i passaggi in modo da non dover caricare manualmente e creare nuove versioni a monte del tuo pacchetto.


Linux
  1. Traccia del kernel con trace-cmd

  2. Le mie 3 versioni Linux preferite

  3. Comando Nohup con esempi

  4. Comando JQ in Linux con esempi

  5. Patchare un binario con Dd?

Automatizzare ServiceNow con Red Hat Ansible Automation Platform

6 passaggi per automatizzare il push del codice con Ansible Automation Platform

Programmazione con cron &At

Comando della cronologia con esempi

Microservizi con Python3

Autorità di certificazione con OpenSSL