tools/patman/series.py

   1 # SPDX-License-Identifier: GPL-2.0+
   2 # Copyright (c) 2011 The Chromium OS Authors.
   3 #
   4
   5 from __future__ import print_function
   6
   7 import collections
   8 import itertools
   9 import os
  10
  11 from patman import get_maintainer
  12 from patman import gitutil
  13 from patman import settings
  14 from patman import terminal
  15 from patman import tools
  16
  17 # Series-xxx tags that we understand
  18 valid_series = ['to', 'cc', 'version', 'changes', 'prefix', 'notes', 'name',
  19                 'cover_cc', 'process_log']
  20
  21 class Series(dict):
  22     """Holds information about a patch series, including all tags.
  23
  24     Vars:
  25         cc: List of aliases/emails to Cc all patches to
  26         commits: List of Commit objects, one for each patch
  27         cover: List of lines in the cover letter
  28         notes: List of lines in the notes
  29         changes: (dict) List of changes for each version, The key is
  30             the integer version number
  31         allow_overwrite: Allow tags to overwrite an existing tag
  32     """
  33     def __init__(self):
  34         self.cc = []
  35         self.to = []
  36         self.cover_cc = []
  37         self.commits = []
  38         self.cover = None
  39         self.notes = []
  40         self.changes = {}
  41         self.allow_overwrite = False
  42
  43         # Written in MakeCcFile()
  44         #  key: name of patch file
  45         #  value: list of email addresses
  46         self._generated_cc = {}
  47
  48     # These make us more like a dictionary
  49     def __setattr__(self, name, value):
  50         self[name] = value
  51
  52     def __getattr__(self, name):
  53         return self[name]
  54
  55     def AddTag(self, commit, line, name, value):
  56         """Add a new Series-xxx tag along with its value.
  57
  58         Args:
  59             line: Source line containing tag (useful for debug/error messages)
  60             name: Tag name (part after 'Series-')
  61             value: Tag value (part after 'Series-xxx: ')
  62         """
  63         # If we already have it, then add to our list
  64         name = name.replace('-', '_')
  65         if name in self and not self.allow_overwrite:
  66             values = value.split(',')
  67             values = [str.strip() for str in values]
  68             if type(self[name]) != type([]):
  69                 raise ValueError("In %s: line '%s': Cannot add another value "
  70                         "'%s' to series '%s'" %
  71                             (commit.hash, line, values, self[name]))
  72             self[name] += values
  73
  74         # Otherwise just set the value
  75         elif name in valid_series:
  76             if name=="notes":
  77                 self[name] = [value]
  78             else:
  79                 self[name] = value
  80         else:
  81             raise ValueError("In %s: line '%s': Unknown 'Series-%s': valid "
  82                         "options are %s" % (commit.hash, line, name,
  83                             ', '.join(valid_series)))
  84
  85     def AddCommit(self, commit):
  86         """Add a commit into our list of commits
  87
  88         We create a list of tags in the commit subject also.
  89
  90         Args:
  91             commit: Commit object to add
  92         """
  93         commit.CheckTags()
  94         self.commits.append(commit)
  95
  96     def ShowActions(self, args, cmd, process_tags):
  97         """Show what actions we will/would perform
  98
  99         Args:
 100             args: List of patch files we created
 101             cmd: The git command we would have run
 102             process_tags: Process tags as if they were aliases
 103         """
 104         to_set = set(gitutil.BuildEmailList(self.to));
 105         cc_set = set(gitutil.BuildEmailList(self.cc));
 106
 107         col = terminal.Color()
 108         print('Dry run, so not doing much. But I would do this:')
 109         print()
 110         print('Send a total of %d patch%s with %scover letter.' % (
 111                 len(args), '' if len(args) == 1 else 'es',
 112                 self.get('cover') and 'a ' or 'no '))
 113
 114         # TODO: Colour the patches according to whether they passed checks
 115         for upto in range(len(args)):
 116             commit = self.commits[upto]
 117             print(col.Color(col.GREEN, '   %s' % args[upto]))
 118             cc_list = list(self._generated_cc[commit.patch])
 119             for email in sorted(set(cc_list) - to_set - cc_set):
 120                 if email == None:
 121                     email = col.Color(col.YELLOW, "<alias '%s' not found>"
 122                             % tag)
 123                 if email:
 124                     print('      Cc: ', email)
 125         print
 126         for item in sorted(to_set):
 127             print('To:\t ', item)
 128         for item in sorted(cc_set - to_set):
 129             print('Cc:\t ', item)
 130         print('Version: ', self.get('version'))
 131         print('Prefix:\t ', self.get('prefix'))
 132         if self.cover:
 133             print('Cover: %d lines' % len(self.cover))
 134             cover_cc = gitutil.BuildEmailList(self.get('cover_cc', ''))
 135             all_ccs = itertools.chain(cover_cc, *self._generated_cc.values())
 136             for email in sorted(set(all_ccs) - to_set - cc_set):
 137                     print('      Cc: ', email)
 138         if cmd:
 139             print('Git command: %s' % cmd)
 140
 141     def MakeChangeLog(self, commit):
 142         """Create a list of changes for each version.
 143
 144         Return:
 145             The change log as a list of strings, one per line
 146
 147             Changes in v4:
 148             - Jog the dial back closer to the widget
 149
 150             Changes in v2:
 151             - Fix the widget
 152             - Jog the dial
 153
 154             If there are no new changes in a patch, a note will be added
 155
 156             (no changes since v2)
 157
 158             Changes in v2:
 159             - Fix the widget
 160             - Jog the dial
 161         """
 162         # Collect changes from the series and this commit
 163         changes = collections.defaultdict(list)
 164         for version, changelist in self.changes.items():
 165             changes[version] += changelist
 166         if commit:
 167             for version, changelist in commit.changes.items():
 168                 changes[version] += [[commit, text] for text in changelist]
 169
 170         versions = sorted(changes, reverse=True)
 171         newest_version = 1
 172         if 'version' in self:
 173             newest_version = max(newest_version, int(self.version))
 174         if versions:
 175             newest_version = max(newest_version, versions[0])
 176
 177         final = []
 178         process_it = self.get('process_log', '').split(',')
 179         process_it = [item.strip() for item in process_it]
 180         need_blank = False
 181         for version in versions:
 182             out = []
 183             for this_commit, text in changes[version]:
 184                 if commit and this_commit != commit:
 185                     continue
 186                 if 'uniq' not in process_it or text not in out:
 187                     out.append(text)
 188             if 'sort' in process_it:
 189                 out = sorted(out)
 190             have_changes = len(out) > 0
 191             line = 'Changes in v%d:' % version
 192             if have_changes:
 193                 out.insert(0, line)
 194                 if version < newest_version and len(final) == 0:
 195                     out.insert(0, '')
 196                     out.insert(0, '(no changes since v%d)' % version)
 197                     newest_version = 0
 198                 # Only add a new line if we output something
 199                 if need_blank:
 200                     out.insert(0, '')
 201                     need_blank = False
 202             final += out
 203             need_blank = need_blank or have_changes
 204
 205         if len(final) > 0:
 206             final.append('')
 207         elif newest_version != 1:
 208             final = ['(no changes since v1)', '']
 209         return final
 210
 211     def DoChecks(self):
 212         """Check that each version has a change log
 213
 214         Print an error if something is wrong.
 215         """
 216         col = terminal.Color()
 217         if self.get('version'):
 218             changes_copy = dict(self.changes)
 219             for version in range(1, int(self.version) + 1):
 220                 if self.changes.get(version):
 221                     del changes_copy[version]
 222                 else:
 223                     if version > 1:
 224                         str = 'Change log missing for v%d' % version
 225                         print(col.Color(col.RED, str))
 226             for version in changes_copy:
 227                 str = 'Change log for unknown version v%d' % version
 228                 print(col.Color(col.RED, str))
 229         elif self.changes:
 230             str = 'Change log exists, but no version is set'
 231             print(col.Color(col.RED, str))
 232
 233     def MakeCcFile(self, process_tags, cover_fname, raise_on_error,
 234                    add_maintainers, limit):
 235         """Make a cc file for us to use for per-commit Cc automation
 236
 237         Also stores in self._generated_cc to make ShowActions() faster.
 238
 239         Args:
 240             process_tags: Process tags as if they were aliases
 241             cover_fname: If non-None the name of the cover letter.
 242             raise_on_error: True to raise an error when an alias fails to match,
 243                 False to just print a message.
 244             add_maintainers: Either:
 245                 True/False to call the get_maintainers to CC maintainers
 246                 List of maintainers to include (for testing)
 247             limit: Limit the length of the Cc list
 248         Return:
 249             Filename of temp file created
 250         """
 251         col = terminal.Color()
 252         # Look for commit tags (of the form 'xxx:' at the start of the subject)
 253         fname = '/tmp/patman.%d' % os.getpid()
 254         fd = open(fname, 'w', encoding='utf-8')
 255         all_ccs = []
 256         for commit in self.commits:
 257             cc = []
 258             if process_tags:
 259                 cc += gitutil.BuildEmailList(commit.tags,
 260                                                raise_on_error=raise_on_error)
 261             cc += gitutil.BuildEmailList(commit.cc_list,
 262                                            raise_on_error=raise_on_error)
 263             if type(add_maintainers) == type(cc):
 264                 cc += add_maintainers
 265             elif add_maintainers:
 266                 cc += get_maintainer.GetMaintainer(commit.patch)
 267             for x in set(cc) & set(settings.bounces):
 268                 print(col.Color(col.YELLOW, 'Skipping "%s"' % x))
 269             cc = set(cc) - set(settings.bounces)
 270             cc = [tools.FromUnicode(m) for m in cc]
 271             if limit is not None:
 272                 cc = cc[:limit]
 273             all_ccs += cc
 274             print(commit.patch, '\0'.join(sorted(set(cc))), file=fd)
 275             self._generated_cc[commit.patch] = cc
 276
 277         if cover_fname:
 278             cover_cc = gitutil.BuildEmailList(self.get('cover_cc', ''))
 279             cover_cc = [tools.FromUnicode(m) for m in cover_cc]
 280             cover_cc = list(set(cover_cc + all_ccs))
 281             if limit is not None:
 282                 cover_cc = cover_cc[:limit]
 283             cc_list = '\0'.join([tools.ToUnicode(x) for x in sorted(cover_cc)])
 284             print(cover_fname, cc_list, file=fd)
 285
 286         fd.close()
 287         return fname
 288
 289     def AddChange(self, version, commit, info):
 290         """Add a new change line to a version.
 291
 292         This will later appear in the change log.
 293
 294         Args:
 295             version: version number to add change list to
 296             info: change line for this version
 297         """
 298         if not self.changes.get(version):
 299             self.changes[version] = []
 300         self.changes[version].append([commit, info])
 301
 302     def GetPatchPrefix(self):
 303         """Get the patch version string
 304
 305         Return:
 306             Patch string, like 'RFC PATCH v5' or just 'PATCH'
 307         """
 308         git_prefix = gitutil.GetDefaultSubjectPrefix()
 309         if git_prefix:
 310             git_prefix = '%s][' % git_prefix
 311         else:
 312             git_prefix = ''
 313
 314         version = ''
 315         if self.get('version'):
 316             version = ' v%s' % self['version']
 317
 318         # Get patch name prefix
 319         prefix = ''
 320         if self.get('prefix'):
 321             prefix = '%s ' % self['prefix']
 322         return '%s%sPATCH%s' % (git_prefix, prefix, version)