Automatizzare i rilasci a monte con release-bot

Se possiedi o gestisci un repository GitHub e hai mai inserito un pacchetto da esso in PyPI e/o Fedora, sai che richiede del lavoro aggiuntivo utilizzando l'infrastruttura Fedora.

Buone notizie:abbiamo sviluppato uno strumento chiamato release-bot che automatizza il processo. Tutto quello che devi fare è archiviare un problema nel tuo repository upstream e release-bot si occupa del resto. Ma non andiamo avanti a noi stessi. Innanzitutto, diamo un'occhiata a ciò che deve essere impostato affinché questa automazione avvenga. Ho scelto la famiglia di meta-test repository a monte come esempio.

File di configurazione per release-bot

Esistono due file di configurazione per release-bot:conf.yaml e release-conf.yaml .

conf.yaml

conf.yaml deve essere accessibile durante l'inizializzazione del bot; specifica come accedere al repository GitHub. Per dimostrarlo, ho creato un nuovo repository git chiamato mtf-release-bot , che contiene conf.yaml e gli altri file segreti.

repository_name: name

repository_owner: owner

# https://help.github.com/articles/creating-a-personal-access-token-for-the-command-line/

github_token: xxxxxxxxxxxxxxxxxxxxxxxxx

# time in seconds during checks for new releases

refresh_interval: 180

Per il caso della famiglia di meta-test, il file di configurazione è simile al seguente:

repository_name: meta-test-family

repository_owner: fedora-modularity

github_token: xxxxxxxxxxxxxxxxxxxxx

refresh_interval: 180

release-conf.yaml

release-conf.yaml deve essere archiviato nel repository stesso; specifica come eseguire le versioni di GitHub/PyPI/Fedora.

# list of major python versions that bot will build separate wheels for

python_versions:

  - 2

  - 3

# optional:

changelog:

  - Example changelog entry

  - Another changelog entry

# this is info for the authorship of the changelog

# if this is not set, person who merged the release PR will be used as an author

author_name: John Doe

author_email: [email protected]

# whether to release on fedora. False by default

fedora: false

# list of fedora branches bot should release on. Master is always implied

fedora_branches:

  - f27

Per il caso della famiglia di meta-test, il file di configurazione è simile al seguente:

python_versions:

-       2

fedora: true

fedora_branches:

-       f29

-       f28

trigger_on_issue: true

File di configurazione PyPI

Il file .pypirc , archiviato nel tuo mtf-release-bot repository privato, è necessario per caricare la nuova versione del pacchetto in PyPI:

[pypi]

username = phracek

password = xxxxxxxx

Chiave SSH privata, id_rsa , che hai configurato in FAS.

La struttura finale del repository git, con conf.yaml e gli altri, assomiglia a questo:

$ ls -la

total 24

drwxrwxr-x   3 phracek phracek 4096 Sep 24 12:38 .

drwxrwxr-x. 20 phracek phracek 4096 Sep 24 12:37 ..

-rw-rw-r--   1 phracek phracek  199 Sep 24 12:26 conf.yaml

drwxrwxr-x   8 phracek phracek 4096 Sep 24 12:38 .git

-rw-rw-r--   1 phracek phracek 3243 Sep 24 12:38 id_rsa

-rw-------   1 phracek phracek   78 Sep 24 12:28 .pypirc

Requisiti

Altre risorse Python

• Cos'è un IDE?
• Cheat sheet:Python 3.7 per principianti
• I migliori framework GUI Python
• Download:7 librerie PyPI essenziali
• Sviluppatori Red Hat
• Contenuto Python più recente

Il rilascio su PyPI richiede il pacchetto wheel sia per Python 2 che per Python 3, quindi installa requirements.txt con entrambe le versioni di pip. Devi anche impostare i tuoi dati di accesso PyPI in $HOME/.pypirc , come descritto nella documentazione PyPI. Se stai rilasciando su Fedora, devi avere un ticket Kerberos attivo mentre il bot è in esecuzione, o specificare il percorso del file keytab Kerberos con -k/–keytab . Inoltre, fedpkg richiede che tu abbia una chiave SSH nel tuo portachiavi che hai caricato su FAS.

Come distribuire il bot di rilascio

Esistono due modi per utilizzare release-bot:come immagine Docker o come modello OpenShift.

Immagine Docker

Costruiamo l'immagine usando s2i comando:

$ s2i build $CONFIGURATION_REPOSITORY_URL usercont/release-bot app-name

dove $CONFIGURATION_REPOSITORY_URL è un riferimento al repository GitHub, come https:///mtf-release-conf.

Diamo un'occhiata alle immagini Docker:

$ docker images

REPOSITORY                                      TAG                     IMAGE ID                CREATED                 SIZE

mtf-release-bot                         latest                  08897871e65e            6 minutes ago           705 MB

docker.io/usercont/release-bot                  latest                  5b34aa670639            9 days ago              705 MB

Ora proviamo a eseguire il mtf-release-bot immagine con questo comando:

$ docker run mtf-release-bot

---> Setting up ssh key...

Agent pid 12

Identity added: ./.ssh/id_rsa (./.ssh/id_rsa)

12:21:18.982 configuration.py  DEBUG  Loaded configuration for fedora-modularity/meta-test-family

12:21:18.982 releasebot.py      INFO   release-bot v0.4.1 reporting for duty!

12:21:18.982 github.py          DEBUG  Fetching release-conf.yaml

12:21:37.611 releasebot.py      DEBUG  No merged release PR found

12:21:38.282 releasebot.py      INFO   Found new release issue with version: 0.8.5

12:21:42.565 releasebot.py      DEBUG  No more open issues found

12:21:43.190 releasebot.py      INFO   Making a new PR for release of version 0.8.5 based on an issue.

12:21:46.709 utils.py           DEBUG  ['git', 'clone', 'https://github.com/fedora-modularity/meta-test-family.git', '.']



12:21:47.401 github.py          DEBUG  {"message":"Branch not found","documentation_url":"https://developer.github.com/v3/repos/branches/#get-branch"}

12:21:47.994 utils.py           DEBUG  ['git', 'config', 'user.email', '[email protected]']



12:21:47.996 utils.py           DEBUG  ['git', 'config', 'user.name', 'Release bot']



12:21:48.009 utils.py           DEBUG  ['git', 'checkout', '-b', '0.8.5-release']



12:21:48.014 utils.py           ERROR  No version files found. Aborting version update.

12:21:48.014 utils.py           WARNING No CHANGELOG.md present in repository

[Errno 2] No such file or directory: '/tmp/tmpmbvb05jq/CHANGELOG.md'

12:21:48.020 utils.py           DEBUG  ['git', 'commit', '--allow-empty', '-m', '0.8.5 release']

[0.8.5-release 7ee62c6] 0.8.5 release



12:21:51.342 utils.py           DEBUG  ['git', 'push', 'origin', '0.8.5-release']



12:21:51.905 github.py          DEBUG  No open PR's found

12:21:51.905 github.py          DEBUG  Attempting a PR for 0.8.5-release branch

12:21:53.215 github.py          INFO   Created PR: https://github.com/fedora-modularity/meta-test-family/pull/243

12:21:53.216 releasebot.py      INFO   I just made a PR request for a release version 0.8.5

12:21:54.154 github.py          DEBUG  Comment added to PR: I just made a PR request for a release version 0.8.5

 Here's a [link to the PR](https://github.com/fedora-modularity/meta-test-family/pull/243)

12:21:54.154 github.py          DEBUG  Attempting to close issue #242

12:21:54.992 github.py          DEBUG  Closed issue #242

Come puoi vedere, release-bot ha chiuso automaticamente il seguente problema, richiedendo una nuova versione upstream della famiglia meta-test:https://github.com/fedora-modularity/meta-test-family/issues/243.

Inoltre, release-bot ha creato un nuovo PR con changelog. Puoi aggiornare il PR, ad esempio squash changelog, e una volta unito, verrà automaticamente rilasciato su GitHub e verranno avviati PyPI e Fedora.

Ora hai una soluzione funzionante per rilasciare facilmente le versioni upstream del tuo pacchetto in PyPi e Fedora.

Modello OpenShift

Un'altra opzione per fornire rilasci automatizzati utilizzando release-bot è distribuirlo in OpenShift.

Il modello OpenShift ha il seguente aspetto:

kind: Template

apiVersion: v1

metadata:

  name: release-bot

  annotations:

    description: S2I Relase-bot image builder

    tags: release-bot s2i

    iconClass: icon-python

labels:

  template: release-bot

  role: releasebot_application_builder

objects:

  - kind : ImageStream

    apiVersion : v1

    metadata :

        name : ${APP_NAME}

        labels :

          appid : release-bot-${APP_NAME}

  - kind : ImageStream

    apiVersion : v1

    metadata :

      name : ${APP_NAME}-s2i

      labels :

        appid : release-bot-${APP_NAME}

    spec :

      tags :

        - name : latest

          from :

            kind : DockerImage

            name : usercont/release-bot:latest

         #importPolicy:

         #  scheduled: true

  - kind : BuildConfig

    apiVersion : v1

    metadata :

      name : ${APP_NAME}

      labels :

        appid : release-bot-${APP_NAME}

    spec :

      triggers :

        - type : ConfigChange

        - type : ImageChange

      source :

        type : Git

        git :

          uri : ${CONFIGURATION_REPOSITORY}

          contextDir : ${CONFIGURATION_REPOSITORY}

        sourceSecret :

          name : release-bot-secret

      strategy :

        type : Source

        sourceStrategy :

          from :

            kind : ImageStreamTag

            name : ${APP_NAME}-s2i:latest

      output :

        to :

          kind : ImageStreamTag

          name : ${APP_NAME}:latest

  - kind : DeploymentConfig

    apiVersion : v1

    metadata :

      name: ${APP_NAME}

      labels :

        appid : release-bot-${APP_NAME}

    spec :

      strategy :

        type : Rolling

      triggers :

         - type : ConfigChange

         - type : ImageChange

           imageChangeParams :

             automatic : true

             containerNames :

               - ${APP_NAME}

             from :

               kind : ImageStreamTag

               name : ${APP_NAME}:latest

      replicas : 1

      selector :

        deploymentconfig : ${APP_NAME}

      template :

        metadata :

          labels :

            appid: release-bot-${APP_NAME}

            deploymentconfig : ${APP_NAME}

        spec :

          containers :

            - name : ${APP_NAME}

              image : ${APP_NAME}:latest

              resources:

                requests:

                  memory: "64Mi"

                  cpu: "50m"

                limits:

                  memory: "128Mi"

                  cpu: "100m"



parameters :

  - name : APP_NAME

    description : Name of application

    value :

    required : true

  - name : CONFIGURATION_REPOSITORY

    description : Git repository with configuration

    value :

    required : true

Il modo più semplice per distribuire il mtf-release-bot repository con file segreti in OpenShift deve utilizzare i seguenti due comandi:

$ curl -sLO https://github.com/user-cont/release-bot/raw/master/openshift-template.yml

Nella tua istanza OpenShift, distribuisci il modello eseguendo il comando seguente:

oc process -p APP_NAME="mtf-release-bot" -p CONFIGURATION_REPOSITORY="git@<git_lab_path>/mtf-release-conf.git" -f openshift-template.yml | oc apply

Riepilogo

Vedi la richiesta pull di esempio nel repository upstream della famiglia di meta-test, dove troverai informazioni su quale release-bot è stato rilasciato. Una volta arrivato a questo punto, puoi vedere che release-bot è in grado di inviare nuove versioni upstream in GitHub, PyPI e Fedora senza pesanti interventi da parte dell'utente. Automatizza tutti i passaggi in modo da non dover caricare manualmente e creare nuove versioni a monte del tuo pacchetto.