tools/patman/series.py

   1 # SPDX-License-Identifier: GPL-2.0+
   2 # Copyright (c) 2011 The Chromium OS Authors.
   3 #
   4
   5 import itertools
   6 import os
   7
   8 import get_maintainer
   9 import gitutil
  10 import settings
  11 import terminal
  12 import tools
  13
  14 # Series-xxx tags that we understand
  15 valid_series = ['to', 'cc', 'version', 'changes', 'prefix', 'notes', 'name',
  16                 'cover_cc', 'process_log']
  17
  18 class Series(dict):
  19     """Holds information about a patch series, including all tags.
  20
  21     Vars:
  22         cc: List of aliases/emails to Cc all patches to
  23         commits: List of Commit objects, one for each patch
  24         cover: List of lines in the cover letter
  25         notes: List of lines in the notes
  26         changes: (dict) List of changes for each version, The key is
  27             the integer version number
  28         allow_overwrite: Allow tags to overwrite an existing tag
  29     """
  30     def __init__(self):
  31         self.cc = []
  32         self.to = []
  33         self.cover_cc = []
  34         self.commits = []
  35         self.cover = None
  36         self.notes = []
  37         self.changes = {}
  38         self.allow_overwrite = False
  39
  40         # Written in MakeCcFile()
  41         #  key: name of patch file
  42         #  value: list of email addresses
  43         self._generated_cc = {}
  44
  45     # These make us more like a dictionary
  46     def __setattr__(self, name, value):
  47         self[name] = value
  48
  49     def __getattr__(self, name):
  50         return self[name]
  51
  52     def AddTag(self, commit, line, name, value):
  53         """Add a new Series-xxx tag along with its value.
  54
  55         Args:
  56             line: Source line containing tag (useful for debug/error messages)
  57             name: Tag name (part after 'Series-')
  58             value: Tag value (part after 'Series-xxx: ')
  59         """
  60         # If we already have it, then add to our list
  61         name = name.replace('-', '_')
  62         if name in self and not self.allow_overwrite:
  63             values = value.split(',')
  64             values = [str.strip() for str in values]
  65             if type(self[name]) != type([]):
  66                 raise ValueError("In %s: line '%s': Cannot add another value "
  67                         "'%s' to series '%s'" %
  68                             (commit.hash, line, values, self[name]))
  69             self[name] += values
  70
  71         # Otherwise just set the value
  72         elif name in valid_series:
  73             if name=="notes":
  74                 self[name] = [value]
  75             else:
  76                 self[name] = value
  77         else:
  78             raise ValueError("In %s: line '%s': Unknown 'Series-%s': valid "
  79                         "options are %s" % (commit.hash, line, name,
  80                             ', '.join(valid_series)))
  81
  82     def AddCommit(self, commit):
  83         """Add a commit into our list of commits
  84
  85         We create a list of tags in the commit subject also.
  86
  87         Args:
  88             commit: Commit object to add
  89         """
  90         commit.CheckTags()
  91         self.commits.append(commit)
  92
  93     def ShowActions(self, args, cmd, process_tags):
  94         """Show what actions we will/would perform
  95
  96         Args:
  97             args: List of patch files we created
  98             cmd: The git command we would have run
  99             process_tags: Process tags as if they were aliases
 100         """
 101         to_set = set(gitutil.BuildEmailList(self.to));
 102         cc_set = set(gitutil.BuildEmailList(self.cc));
 103
 104         col = terminal.Color()
 105         print('Dry run, so not doing much. But I would do this:')
 106         print()
 107         print('Send a total of %d patch%s with %scover letter.' % (
 108                 len(args), '' if len(args) == 1 else 'es',
 109                 self.get('cover') and 'a ' or 'no '))
 110
 111         # TODO: Colour the patches according to whether they passed checks
 112         for upto in range(len(args)):
 113             commit = self.commits[upto]
 114             print(col.Color(col.GREEN, '   %s' % args[upto]))
 115             cc_list = list(self._generated_cc[commit.patch])
 116             for email in sorted(set(cc_list) - to_set - cc_set):
 117                 if email == None:
 118                     email = col.Color(col.YELLOW, "<alias '%s' not found>"
 119                             % tag)
 120                 if email:
 121                     print('      Cc: ', email)
 122         print
 123         for item in sorted(to_set):
 124             print('To:\t ', item)
 125         for item in sorted(cc_set - to_set):
 126             print('Cc:\t ', item)
 127         print('Version: ', self.get('version'))
 128         print('Prefix:\t ', self.get('prefix'))
 129         if self.cover:
 130             print('Cover: %d lines' % len(self.cover))
 131             cover_cc = gitutil.BuildEmailList(self.get('cover_cc', ''))
 132             all_ccs = itertools.chain(cover_cc, *self._generated_cc.values())
 133             for email in sorted(set(all_ccs) - to_set - cc_set):
 134                     print('      Cc: ', email)
 135         if cmd:
 136             print('Git command: %s' % cmd)
 137
 138     def MakeChangeLog(self, commit):
 139         """Create a list of changes for each version.
 140
 141         Return:
 142             The change log as a list of strings, one per line
 143
 144             Changes in v4:
 145             - Jog the dial back closer to the widget
 146
 147             Changes in v3: None
 148             Changes in v2:
 149             - Fix the widget
 150             - Jog the dial
 151
 152             etc.
 153         """
 154         final = []
 155         process_it = self.get('process_log', '').split(',')
 156         process_it = [item.strip() for item in process_it]
 157         need_blank = False
 158         for change in sorted(self.changes, reverse=True):
 159             out = []
 160             for this_commit, text in self.changes[change]:
 161                 if commit and this_commit != commit:
 162                     continue
 163                 if 'uniq' not in process_it or text not in out:
 164                     out.append(text)
 165             line = 'Changes in v%d:' % change
 166             have_changes = len(out) > 0
 167             if 'sort' in process_it:
 168                 out = sorted(out)
 169             if have_changes:
 170                 out.insert(0, line)
 171             else:
 172                 out = [line + ' None']
 173             if need_blank:
 174                 out.insert(0, '')
 175             final += out
 176             need_blank = have_changes
 177         if self.changes:
 178             final.append('')
 179         return final
 180
 181     def DoChecks(self):
 182         """Check that each version has a change log
 183
 184         Print an error if something is wrong.
 185         """
 186         col = terminal.Color()
 187         if self.get('version'):
 188             changes_copy = dict(self.changes)
 189             for version in range(1, int(self.version) + 1):
 190                 if self.changes.get(version):
 191                     del changes_copy[version]
 192                 else:
 193                     if version > 1:
 194                         str = 'Change log missing for v%d' % version
 195                         print(col.Color(col.RED, str))
 196             for version in changes_copy:
 197                 str = 'Change log for unknown version v%d' % version
 198                 print(col.Color(col.RED, str))
 199         elif self.changes:
 200             str = 'Change log exists, but no version is set'
 201             print(col.Color(col.RED, str))
 202
 203     def MakeCcFile(self, process_tags, cover_fname, raise_on_error,
 204                    add_maintainers, limit):
 205         """Make a cc file for us to use for per-commit Cc automation
 206
 207         Also stores in self._generated_cc to make ShowActions() faster.
 208
 209         Args:
 210             process_tags: Process tags as if they were aliases
 211             cover_fname: If non-None the name of the cover letter.
 212             raise_on_error: True to raise an error when an alias fails to match,
 213                 False to just print a message.
 214             add_maintainers: Either:
 215                 True/False to call the get_maintainers to CC maintainers
 216                 List of maintainers to include (for testing)
 217             limit: Limit the length of the Cc list
 218         Return:
 219             Filename of temp file created
 220         """
 221         col = terminal.Color()
 222         # Look for commit tags (of the form 'xxx:' at the start of the subject)
 223         fname = '/tmp/patman.%d' % os.getpid()
 224         fd = open(fname, 'w', encoding='utf-8')
 225         all_ccs = []
 226         for commit in self.commits:
 227             cc = []
 228             if process_tags:
 229                 cc += gitutil.BuildEmailList(commit.tags,
 230                                                raise_on_error=raise_on_error)
 231             cc += gitutil.BuildEmailList(commit.cc_list,
 232                                            raise_on_error=raise_on_error)
 233             if type(add_maintainers) == type(cc):
 234                 cc += add_maintainers
 235             elif add_maintainers:
 236                 cc += get_maintainer.GetMaintainer(commit.patch)
 237             for x in set(cc) & set(settings.bounces):
 238                 print(col.Color(col.YELLOW, 'Skipping "%s"' % x))
 239             cc = set(cc) - set(settings.bounces)
 240             cc = [tools.FromUnicode(m) for m in cc]
 241             if limit is not None:
 242                 cc = cc[:limit]
 243             all_ccs += cc
 244             print(commit.patch, '\0'.join(sorted(set(cc))), file=fd)
 245             self._generated_cc[commit.patch] = cc
 246
 247         if cover_fname:
 248             cover_cc = gitutil.BuildEmailList(self.get('cover_cc', ''))
 249             cover_cc = [tools.FromUnicode(m) for m in cover_cc]
 250             cover_cc = list(set(cover_cc + all_ccs))
 251             if limit is not None:
 252                 cover_cc = cover_cc[:limit]
 253             cc_list = '\0'.join([tools.ToUnicode(x) for x in sorted(cover_cc)])
 254             print(cover_fname, cc_list, file=fd)
 255
 256         fd.close()
 257         return fname
 258
 259     def AddChange(self, version, commit, info):
 260         """Add a new change line to a version.
 261
 262         This will later appear in the change log.
 263
 264         Args:
 265             version: version number to add change list to
 266             info: change line for this version
 267         """
 268         if not self.changes.get(version):
 269             self.changes[version] = []
 270         self.changes[version].append([commit, info])
 271
 272     def GetPatchPrefix(self):
 273         """Get the patch version string
 274
 275         Return:
 276             Patch string, like 'RFC PATCH v5' or just 'PATCH'
 277         """
 278         git_prefix = gitutil.GetDefaultSubjectPrefix()
 279         if git_prefix:
 280             git_prefix = '%s][' % git_prefix
 281         else:
 282             git_prefix = ''
 283
 284         version = ''
 285         if self.get('version'):
 286             version = ' v%s' % self['version']
 287
 288         # Get patch name prefix
 289         prefix = ''
 290         if self.get('prefix'):
 291             prefix = '%s ' % self['prefix']
 292         return '%s%sPATCH%s' % (git_prefix, prefix, version)