patman: Fix detection of git version
[oweals/u-boot.git] / tools / patman / README
1 # Copyright (c) 2011 The Chromium OS Authors.
2 #
3 # SPDX-License-Identifier:      GPL-2.0+
4 #
5
6 What is this?
7 =============
8
9 This tool is a Python script which:
10 - Creates patch directly from your branch
11 - Cleans them up by removing unwanted tags
12 - Inserts a cover letter with change lists
13 - Runs the patches through checkpatch.pl and its own checks
14 - Optionally emails them out to selected people
15
16 It is intended to automate patch creation and make it a less
17 error-prone process. It is useful for U-Boot and Linux work so far,
18 since it uses the checkpatch.pl script.
19
20 It is configured almost entirely by tags it finds in your commits.
21 This means that you can work on a number of different branches at
22 once, and keep the settings with each branch rather than having to
23 git format-patch, git send-email, etc. with the correct parameters
24 each time. So for example if you put:
25
26 Series-to: fred.blogs@napier.co.nz
27
28 in one of your commits, the series will be sent there.
29
30 In Linux this will also call get_maintainer.pl on each of your
31 patches automatically.
32
33
34 How to use this tool
35 ====================
36
37 This tool requires a certain way of working:
38
39 - Maintain a number of branches, one for each patch series you are
40 working on
41 - Add tags into the commits within each branch to indicate where the
42 series should be sent, cover letter, version, etc. Most of these are
43 normally in the top commit so it is easy to change them with 'git
44 commit --amend'
45 - Each branch tracks the upstream branch, so that this script can
46 automatically determine the number of commits in it (optional)
47 - Check out a branch, and run this script to create and send out your
48 patches. Weeks later, change the patches and repeat, knowing that you
49 will get a consistent result each time.
50
51
52 How to configure it
53 ===================
54
55 For most cases of using patman for U-Boot development, patman will
56 locate and use the file 'doc/git-mailrc' in your U-Boot directory.
57 This contains most of the aliases you will need.
58
59 For Linux the 'scripts/get_maintainer.pl' handles figuring out where
60 to send patches pretty well.
61
62 During the first run patman creates a config file for you by taking the default
63 user name and email address from the global .gitconfig file.
64
65 To add your own, create a file ~/.patman like this:
66
67 >>>>
68 # patman alias file
69
70 [alias]
71 me: Simon Glass <sjg@chromium.org>
72
73 u-boot: U-Boot Mailing List <u-boot@lists.denx.de>
74 wolfgang: Wolfgang Denk <wd@denx.de>
75 others: Mike Frysinger <vapier@gentoo.org>, Fred Bloggs <f.bloggs@napier.net>
76
77 <<<<
78
79 Aliases are recursive.
80
81 The checkpatch.pl in the U-Boot tools/ subdirectory will be located and
82 used. Failing that you can put it into your path or ~/bin/checkpatch.pl
83
84
85 If you want to change the defaults for patman's command-line arguments,
86 you can add a [settings] section to your .patman file.  This can be used
87 for any command line option by referring to the "dest" for the option in
88 patman.py.  For reference, the useful ones (at the moment) shown below
89 (all with the non-default setting):
90
91 >>>
92
93 [settings]
94 ignore_errors: True
95 process_tags: False
96 verbose: True
97
98 <<<
99
100
101 If you want to adjust settings (or aliases) that affect just a single
102 project you can add a section that looks like [project_settings] or
103 [project_alias].  If you want to use tags for your linux work, you could
104 do:
105
106 >>>
107
108 [linux_settings]
109 process_tags: True
110
111 <<<
112
113
114 How to run it
115 =============
116
117 First do a dry run:
118
119 $ ./tools/patman/patman -n
120
121 If it can't detect the upstream branch, try telling it how many patches
122 there are in your series:
123
124 $ ./tools/patman/patman -n -c5
125
126 This will create patch files in your current directory and tell you who
127 it is thinking of sending them to. Take a look at the patch files.
128
129 $ ./tools/patman/patman -n -c5 -s1
130
131 Similar to the above, but skip the first commit and take the next 5. This
132 is useful if your top commit is for setting up testing.
133
134
135 How to add tags
136 ===============
137
138 To make this script useful you must add tags like the following into any
139 commit. Most can only appear once in the whole series.
140
141 Series-to: email / alias
142         Email address / alias to send patch series to (you can add this
143         multiple times)
144
145 Series-cc: email / alias, ...
146         Email address / alias to Cc patch series to (you can add this
147         multiple times)
148
149 Series-version: n
150         Sets the version number of this patch series
151
152 Series-prefix: prefix
153         Sets the subject prefix. Normally empty but it can be RFC for
154         RFC patches, or RESEND if you are being ignored.
155
156 Series-name: name
157         Sets the name of the series. You don't need to have a name, and
158         patman does not yet use it, but it is convenient to put the branch
159         name here to help you keep track of multiple upstreaming efforts.
160
161 Cover-letter:
162 This is the patch set title
163 blah blah
164 more blah blah
165 END
166         Sets the cover letter contents for the series. The first line
167         will become the subject of the cover letter
168
169 Cover-letter-cc: email / alias
170         Additional email addresses / aliases to send cover letter to (you
171         can add this multiple times)
172
173 Series-notes:
174 blah blah
175 blah blah
176 more blah blah
177 END
178         Sets some notes for the patch series, which you don't want in
179         the commit messages, but do want to send, The notes are joined
180         together and put after the cover letter. Can appear multiple
181         times.
182
183 Commit-notes:
184 blah blah
185 blah blah
186 more blah blah
187 END
188         Similar, but for a single commit (patch). These notes will appear
189         immediately below the --- cut in the patch file.
190
191  Signed-off-by: Their Name <email>
192         A sign-off is added automatically to your patches (this is
193         probably a bug). If you put this tag in your patches, it will
194         override the default signoff that patman automatically adds.
195         Multiple duplicate signoffs will be removed.
196
197  Tested-by: Their Name <email>
198  Reviewed-by: Their Name <email>
199  Acked-by: Their Name <email>
200         These indicate that someone has tested/reviewed/acked your patch.
201         When you get this reply on the mailing list, you can add this
202         tag to the relevant commit and the script will include it when
203         you send out the next version. If 'Tested-by:' is set to
204         yourself, it will be removed. No one will believe you.
205
206 Series-changes: n
207 - Guinea pig moved into its cage
208 - Other changes ending with a blank line
209 <blank line>
210         This can appear in any commit. It lists the changes for a
211         particular version n of that commit. The change list is
212         created based on this information. Each commit gets its own
213         change list and also the whole thing is repeated in the cover
214         letter (where duplicate change lines are merged).
215
216         By adding your change lists into your commits it is easier to
217         keep track of what happened. When you amend a commit, remember
218         to update the log there and then, knowing that the script will
219         do the rest.
220
221 Patch-cc: Their Name <email>
222         This copies a single patch to another email address. Note that the
223         Cc: used by git send-email is ignored by patman, but will be
224         interpreted by git send-email if you use it.
225
226 Series-process-log: sort, uniq
227         This tells patman to sort and/or uniq the change logs. It is
228         assumed that each change log entry is only a single line long.
229         Use 'sort' to sort the entries, and 'uniq' to include only
230         unique entries. If omitted, no change log processing is done.
231         Separate each tag with a comma.
232
233 Various other tags are silently removed, like these Chrome OS and
234 Gerrit tags:
235
236 BUG=...
237 TEST=...
238 Change-Id:
239 Review URL:
240 Reviewed-on:
241 Commit-xxxx: (except Commit-notes)
242
243 Exercise for the reader: Try adding some tags to one of your current
244 patch series and see how the patches turn out.
245
246
247 Where Patches Are Sent
248 ======================
249
250 Once the patches are created, patman sends them using git send-email. The
251 whole series is sent to the recipients in Series-to: and Series-cc.
252 You can Cc individual patches to other people with the Patch-cc: tag. Tags
253 in the subject are also picked up to Cc patches. For example, a commit like
254 this:
255
256 >>>>
257 commit 10212537b85ff9b6e09c82045127522c0f0db981
258 Author: Mike Frysinger <vapier@gentoo.org>
259 Date:   Mon Nov 7 23:18:44 2011 -0500
260
261     x86: arm: add a git mailrc file for maintainers
262
263     This should make sending out e-mails to the right people easier.
264
265     Patch-cc: sandbox, mikef, ag
266     Patch-cc: afleming
267 <<<<
268
269 will create a patch which is copied to x86, arm, sandbox, mikef, ag and
270 afleming.
271
272 If you have a cover letter it will get sent to the union of the Patch-cc
273 lists of all of the other patches. If you want to sent it to additional
274 people you can add a tag:
275
276 Cover-letter-cc: <list of addresses>
277
278 These people will get the cover letter even if they are not on the To/Cc
279 list for any of the patches.
280
281
282 Example Work Flow
283 =================
284
285 The basic workflow is to create your commits, add some tags to the top
286 commit, and type 'patman' to check and send them.
287
288 Here is an example workflow for a series of 4 patches. Let's say you have
289 these rather contrived patches in the following order in branch us-cmd in
290 your tree where 'us' means your upstreaming activity (newest to oldest as
291 output by git log --oneline):
292
293     7c7909c wip
294     89234f5 Don't include standard parser if hush is used
295     8d640a7 mmc: sparc: Stop using builtin_run_command()
296     0c859a9 Rename run_command2() to run_command()
297     a74443f sandbox: Rename run_command() to builtin_run_command()
298
299 The first patch is some test things that enable your code to be compiled,
300 but that you don't want to submit because there is an existing patch for it
301 on the list. So you can tell patman to create and check some patches
302 (skipping the first patch) with:
303
304     patman -s1 -n
305
306 If you want to do all of them including the work-in-progress one, then
307 (if you are tracking an upstream branch):
308
309     patman -n
310
311 Let's say that patman reports an error in the second patch. Then:
312
313     git rebase -i HEAD~6
314     <change 'pick' to 'edit' in 89234f5>
315     <use editor to make code changes>
316     git add -u
317     git rebase --continue
318
319 Now you have an updated patch series. To check it:
320
321     patman -s1 -n
322
323 Let's say it is now clean and you want to send it. Now you need to set up
324 the destination. So amend the top commit with:
325
326     git commit --amend
327
328 Use your editor to add some tags, so that the whole commit message is:
329
330     The current run_command() is really only one of the options, with
331     hush providing the other. It really shouldn't be called directly
332     in case the hush parser is bring used, so rename this function to
333     better explain its purpose.
334
335     Series-to: u-boot
336     Series-cc: bfin, marex
337     Series-prefix: RFC
338     Cover-letter:
339     Unified command execution in one place
340
341     At present two parsers have similar code to execute commands. Also
342     cmd_usage() is called all over the place. This series adds a single
343     function which processes commands called cmd_process().
344     END
345
346     Change-Id: Ica71a14c1f0ecb5650f771a32fecb8d2eb9d8a17
347
348
349 You want this to be an RFC and Cc the whole series to the bfin alias and
350 to Marek. Two of the patches have tags (those are the bits at the front of
351 the subject that say mmc: sparc: and sandbox:), so 8d640a7 will be Cc'd to
352 mmc and sparc, and the last one to sandbox.
353
354 Now to send the patches, take off the -n flag:
355
356    patman -s1
357
358 The patches will be created, shown in your editor, and then sent along with
359 the cover letter. Note that patman's tags are automatically removed so that
360 people on the list don't see your secret info.
361
362 Of course patches often attract comments and you need to make some updates.
363 Let's say one person sent comments and you get an Acked-by: on one patch.
364 Also, the patch on the list that you were waiting for has been merged,
365 so you can drop your wip commit. So you resync with upstream:
366
367     git fetch origin            (or whatever upstream is called)
368     git rebase origin/master
369
370 and use git rebase -i to edit the commits, dropping the wip one. You add
371 the ack tag to one commit:
372
373     Acked-by: Heiko Schocher <hs@denx.de>
374
375 update the Series-cc: in the top commit:
376
377     Series-cc: bfin, marex, Heiko Schocher <hs@denx.de>
378
379 and remove the Series-prefix: tag since it it isn't an RFC any more. The
380 series is now version two, so the series info in the top commit looks like
381 this:
382
383     Series-to: u-boot
384     Series-cc: bfin, marex, Heiko Schocher <hs@denx.de>
385     Series-version: 2
386     Cover-letter:
387     ...
388
389 Finally, you need to add a change log to the two commits you changed. You
390 add change logs to each individual commit where the changes happened, like
391 this:
392
393     Series-changes: 2
394     - Updated the command decoder to reduce code size
395     - Wound the torque propounder up a little more
396
397 (note the blank line at the end of the list)
398
399 When you run patman it will collect all the change logs from the different
400 commits and combine them into the cover letter, if you have one. So finally
401 you have a new series of commits:
402
403     faeb973 Don't include standard parser if hush is used
404     1b2f2fe mmc: sparc: Stop using builtin_run_command()
405     cfbe330 Rename run_command2() to run_command()
406     0682677 sandbox: Rename run_command() to builtin_run_command()
407
408 so to send them:
409
410     patman
411
412 and it will create and send the version 2 series.
413
414 General points:
415
416 1. When you change back to the us-cmd branch days or weeks later all your
417 information is still there, safely stored in the commits. You don't need
418 to remember what version you are up to, who you sent the last lot of patches
419 to, or anything about the change logs.
420
421 2. If you put tags in the subject, patman will Cc the maintainers
422 automatically in many cases.
423
424 3. If you want to keep the commits from each series you sent so that you can
425 compare change and see what you did, you can either create a new branch for
426 each version, or just tag the branch before you start changing it:
427
428     git tag sent/us-cmd-rfc
429     ...later...
430     git tag sent/us-cmd-v2
431
432 4. If you want to modify the patches a little before sending, you can do
433 this in your editor, but be careful!
434
435 5. If you want to run git send-email yourself, use the -n flag which will
436 print out the command line patman would have used.
437
438 6. It is a good idea to add the change log info as you change the commit,
439 not later when you can't remember which patch you changed. You can always
440 go back and change or remove logs from commits.
441
442
443 Other thoughts
444 ==============
445
446 This script has been split into sensible files but still needs work.
447 Most of these are indicated by a TODO in the code.
448
449 It would be nice if this could handle the In-reply-to side of things.
450
451 The tests are incomplete, as is customary. Use the --test flag to run them,
452 and make sure you are in the tools/patman directory first:
453
454     $ cd /path/to/u-boot
455     $ cd tools/patman
456     $ ./patman --test
457
458 Error handling doesn't always produce friendly error messages - e.g.
459 putting an incorrect tag in a commit may provide a confusing message.
460
461 There might be a few other features not mentioned in this README. They
462 might be bugs. In particular, tags are case sensitive which is probably
463 a bad thing.
464
465
466 Simon Glass <sjg@chromium.org>
467 v1, v2, 19-Oct-11
468 revised v3 24-Nov-11