doc: rename CONFIGURATION to configuration.txt

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

dispatcher: add aiaiai-email-sh-functions to source list

We need the email-sh-functions in the source list in order to parse
configuration files.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai: fixup srcdir in email and gerrit scripts

$srcdir should represent the current directory where the actual shell
file is located. This requires also updating $PATH so that it points to
the correct directories. This is somewhat confusing since we have to add
'..' to a section, but it fixes the switch to dash check for email
scripts which previously was broken. It also makes everything more
consistent.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

hook: add support for X-Aiaiai-Project

Rather than determining the project strictly from the +project portion
of the aiaiai address, also allow the dispatcher hook to insert the
project hook into the mbox header. This could be used to allow advanced
configuration of the project, such as by checking patch diffs to see
which files are modified.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai: add initial support for dispatcher hook

This patch adds some initial support for a dispatcher hook which could
be used to add custom headers, which will (later) be interpreted by
aiaiai to include specialized settings. A follow-on patch will add the
first initial custom header.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

doc: add CONFIGURATION file describing the cfgfile

This patch adds a CONFIGURATION file which describes the aiaiai
configuration file. This will be expanded upon in future commits which
introduce the aiaiai hooks.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

sh-function: add insert_header function

Since we use a special trick to insert header information into the mbox,
this could be extraced into a function in aiaiai-sh-functions. This will
help future work which will want to add multiple headers into this mbox
file, using the same file descriptor trick.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: parse general configuration settings earlier

This patch modifies the email patch testing program so that it parses
the general configuration settings as soon as it reads the configuration
file location. It also modifies the script so that it will use readlink
on the path instead of just blindly using the path. This is taken from
the LDA which does this as well.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email: add "debug" section to configuration file

This patch further extends the configuration file so that it has a debug
section which currently includes replacements for test-mode and preserve
options. These options are very useful for debugging aiaiai, but today
cannot easily be changed without modifying the command line. Instead,
remove them from the options and include them via the configuration
file.

I chose not to add "verbose" to this list, because we actually use
verbose earlier than we parse the configuration. It may still be worth
coming up with some interface where command line options overwrite
configuration options, but I wasn't sure the best way to handle this
yet.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai-email-test-patchset: move -- to end of all options

A previous patch added kmake_opts to the configuration file, and when
passing this into aiaiai-test-patchset, the -- field which ends option
scanning was not correctly moved to the end of the options arguments.
This would result in incorrect behavior if anyone tried to use this
option.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai-email-test-patchset: fix parameter substitution

The targets parameter was incorrectly failing to add the --targets,
because the substitution did not have a +. This patch corrects the
parameter substitution so that the targets will correctly include the
required option for use with aiaiai-test-patchset directly.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai-email-dispatcher-helper: fix typo on aiaiai

This patch fixes a typo on aiaiai-email-test-patchset, which prevented
the validator from being called, as it was misspelled.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai-test-patchset: add missing colon on targets option

The targets option recently added was broken. It did not properly handle
a value for the argument, because no colon was present. This patch fixes
the getopt line so that target will infact select an option.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai-email: move -J bigjobs into configuration file

This modifies aiaiai-email-dispatcher to use the configuration file
instead of the command line for the bigjobs parameter.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

aiaiai: don't allow arbitrary validator command

Since aiaiai-email-test-patchset is the only validator that makes sense,
and we should extend it if new features are desired, we don't need to
support multiple validators, as this is clunky, and difficult to
configure for the user. Now that the configuration file supports all the
options from the aiaiai-email-test-patchset, we can just directly call
it instead of having to use a passed in parameter.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

aiaiai-email: move test-patchset options into the configuration file

This patch modifies the configuration file to include most of the
options around the validator command, so that those no longer have to be
specified manually. This does break compatability with the current
validator setup, since those old options must now be specified on the
command line.

- v2
* Fix typo in coccinelle variable

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

aiaiai-email: add [defaults] section to config

This patch adds a [defaults] section for the configuration file which
allows setting shared project settings which might be overridden
per-project. This will be used more in a follow-on patch which adds
additional configuration options.

- v2
* put ini_config_is_set into the libshell file
* use __ instead of _ to indicate internal variable
* update comment to better reflect per-project and default variable
  interaction

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

aiaiai-sh-functions: re-order options to match example config

This patch re-orders the parsing for the standard configuration
variables, in order to match what is in our example configuration. It
also updates the header comment to match.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

aiaiai-sh-functions: remove [email] section from cfgfile

This patch is part of a series to improve user friendliness regarding
options for aiaiai-email-test-patchset, and improving use of the
configuration file. This patch removes the seperate [email] section, as
it really doesn't have any use. Just put these inside the global
section, since email and global really have no different meaning.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

aiaiai-test-patchset: use merge_addresses only once

Since merge addresses can now handle arbitrary lists of parameters, we
should just use a single call instead of multiple calls in a row.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

aiaiai-sh-functions: remove extra quotes in call to ini_config_get

This patch cleans up a case of ini_config_get for grabbing the unwanted
keywords variable.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

test-pattchet: add a couple quotes

The previous patch forgot to quote the "target" variable expansion, and this
patch fixes this minor imperfection.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Add support for choosing build targets

Since aiaiai-make-kernel has support for multiple targets, we should
extend the aiaiai-test-patchset to have a parameter which enables
selection of targets. By default, we should use the "all" target, but
enable the user to select what target they want. An example of a
different or additional target includes "namespacecheck"

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: fix pcfg_reply_to_all

Through the course of several refactors, one of the patches
accidentallly broke reply_to_all functionality. In the older code, we
did a negative check, and if reply_to_all was not set, we would then
unset $to in order to prevent the compose_email function/code from
adding any Cc addresses.

However, one of the refactors missed this negative check, assumed it was
positive, and then changed the semantics so that reply_to_all = 0
caused reply behavior rather than otherwise.

This patch corrects the given commit by making it check for 1, instead
of not 1.

Artem: amend an weird comment while on it

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Fixes: 092f2ca246 "(email-test-patchset: further improve readability)"
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: grab all To and Cc headers.

This change modifies email-test-patchset to grab every To and Cc header
instead of just the first. Because refernces to to and cc except email
lists (comma seperated), we use merge_addresses with an empty second
parameter. This works due to recent changes to the merge_addresses
function see in a previous patch in this series.

Artem: amend the patch a tiny bit.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

sh-functions: add fetch_all_headers function

This patch adds a fetch_all_headers function which is used to get every
occurrence of an mbox header, rather than just the first. In combination
with the change to merge_addresses, this can be used to grab every Cc,
and To address.

Artem: massage comments

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-sh-functions: make merge addresses more flexible

This patch combines effort from a previous patch, as well as worm from
Artem to make merge_addresses more flexible. First, it enables multiple
line inputs, so that it can convert a list of addresses per line into a
single comma seperated string. In addition, make the arguments optional,
so it will merge as many argumements as it is passed instead of limiting
to 1 or 2.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Add some missing quotes

We are trying to use quotes every time we expand variables. Let's be consistent
and do this everywhere. This patch adds quotes to several paces where we missed
them.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai-concat-mboxes: improve the help text

Explain why this script is needed and why one can't just use "cat".

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

coccinelle: remove own copies of the scripts

Now we do not need them since we use the scripts from the kernel tree instead.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Start using cocci scripts from the kernel tree

Start using coccinelle scripts from the kernel tree we build against. This is
better than carrying our own copies of coccinelle scripts, since they tend to
become out-of-date.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

test-subj-parsing: unbreak the test

I broke it when moved stuff to the "helpers" sub-directory, let's fix it.

While on it, remove a stale commentary in the test.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Compile helper tools if necessary

Some of our tools like 'remap-log' have to be compiled. This is not a problem
when using Aiaiai from a package, because it has the compiled version of the
tool, but this is a problem when using Aiaiai from sources.

Introduce a function which tries to compile the internal tools. This is
supposed to improve user experience with Aiaiai.

Remove the top-level Makefile since it is not really needed after this change.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Move internal scripts to the "helper" subdirectory

This patch implements the following TODO entry:

Re-arrange the source code structure so that the internal scripts would all sit
in a separate sub-directory. Internal scripts are those which users are not
supposed to run directly. For example, 'aiaiai-locker' is one of them.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Rename 'external' to 'helpers'

I would like to move all the internal tools to a separate directory. Let's call
it 'helpers'. The 'external' directory now contains all the tools which came
from an external project. Probably this is not the best way to lay-out our
files. Let's just re-name it to helpers. Later we'll move more stuff to
'helpers'.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Remove the 'diffconfig' script

This is an old leftover, a copy of the 'diffconfig' script from the Linux
kernel sources.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Rename jenkins to gerrit

This is just a bit more logical. The 'email' subdirectory is for the
email-based workflow, and 'gerrit' subdirectory is for the gerrit-based
workflow.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

doc: improve the contents of Overview.txt

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: process all series directories at the end

Sometimes the email-lda program can misbehave and a series could end up
becoming "complete" but the LDA does not queue it when the last patch was
added. This patch modifies the LDA so that it will check all series at the end
of each mail and queue them, rather than only checking a series when some
thing is added.

The primary benefit of this is if a series does not properly get queued, the
administrator can come in and manually add the patches to the series
directory. Then the series will properly be "queued" after the next email
triggers the LDA.

This does come at a slight hit in terms of performance as we now have to check
whether series are complete for every email. However, the gain in being able
to easily fixup and get a series queued again when errors occur is much more
useful.

Artem: this patch did not really work properly, because it was missing the
"series_is_complete" check. I also did some re-factoring, and tested the final
version. Seems to work fine. I also got rid of bash-only constructs.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>

email-lda: make m and n local everywhere

Similar to the previos patch, but for $m and $n.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: make 'mbox' to be a local variable

Make 'mbox' to be a local variable in all the functions. This is nicer and
saver, and makes the code easier to change. The only plase where we use the
global variable is the clean-up handler.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: fix copy-paste error

The 'reject_and_reply' function accepts the mbox to act upon as the parameter,
and internally names it "file". However, in few places it actually uses "mbox"
instead of "file", which happens to work fine, but is generally a bug.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: few spelling fixes

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: improve readability some more

This patch adds some useful commentaries. Also, it partially makes the mbox
parameter to be non-global. Next patches will do more in this direction. This
idea is to improve code readability but making it using less global variables.
Ideally there should be none, but I am not sure I'll have time to do that.
Let's do this for mbox and probably "m" and "n". See next patches.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: rename seq_name

This name is not self-documenting, make it "generate_file_name()" instead.
Also, add a better commentary to this function.

This is for the sake of code readability.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: centralise naming decision

The 'sec_name' function basically defines the name of the mbox file or a
directory for use. Currently we use the date as the prefix. Later we may change
this.

Anyway, make 'sec_name' always use the current date, isntead of getting it from
the caller. This should make things a bit easier to understand.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: fix name generator

This patch fixes the 'seq_name' finction which generates a file name to use for
storing an mbox. Currently it just appends a counter to the end. And it uses
the "-" for this, like something-counter, but sometimes it uses "_", which is a
bug. Let's fix it and use "-" everiwhere.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: make the queued file name saner

When aiaiai-email-lda collects all patches in the series, it concatenates them
into a single file, and calls 'queue_mboxfile'. This function basically saves
a copy of the mbox in the "queue_saved" directory, and then moves it to the
queue directory.

The name of the file will be like this: date_m_of_n-counter.

However, the "m" part makes no sense at all. It is equivalent to the mumber of
the patch which came last. For example, if we have a series of 2 patches, and
path 1 came last, the name will be:

date_1_of_2-counter

Or if patch 2 came last, the name will be

date_2_of_2-counter

And this makes no sense. Just remove the "m" part from the name and make it to
be:

date_2-counter.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: use verbose output for everything

The current split does not make much sence: we always print some cruft, but
with --verbose we print more of it. Let's just make all the cruft be under the
--verbose option.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: introduce a function for printing the separator

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: improve the debugging output a bit

Improve the 'series_is_complete()' function's debugging output a bit.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: introduce the 'queue_series' helper

Artem: this is part of a bigger patch from Jacob, which I made to be a separate
patch. So Jacob is the author, but I am writing the commit message.

Introduce a separate function for queueing a patch series. This is a bit more
readable, and also this is a preparation for further changes.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: always use the cover letter

The previous patch from Jacob only works when there is more than one patch in
the series, but did not work for the situation when there is a cover letter
(0/1) and a single patch (1/1). This patch fixes the situation.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: use cover letter subject if available

Often, a patch series will be sent with a cover letter which describes the
series and is given the '0/n' patch number. Rather than dropping these
patches, keep track of them in series. We do this by checking whether the 1/n
patch has an "In-Reply-To" header. This usually means that their will be an
associated cover letter. Once this is found, rather than sending the patch
directly on to the test program, we use the cover letter's subject by using
formail to add a special "Series-Subject". This makes it so that the
aiaiai-email will end up as a reply to the cover letter which is a bit more
aesthetically pleasing to users.

To help this process, a new "series_is_complete" function is added in place of
the original series complete check. This function reports whether the series
is completely queued, for both cases of cover letter and no cover letter.

Artem:

I've modified this patch.

1. Removed a couple of '[[' bash constructs
2. Also preserved the Message ID of the cover letter to make the reply not only
   have the subject of the cover letter, but also refer the cover letter
   properly.
3. Use common prefix for the special cover letter e-mail headers that we add:
   X-Aiaiai-Cover-Letter-Subject
   X-Aiaiai-Cover-Letter-Message-Id
4. Dropped sponge dependency. Generally, this is a nice tool, and I did not
   hear about it before. I'll definitely start using it when constructing pipes
   in the console. But this tool is not that well-known, so it is not typically
   present in systems. E.g., mine do not have it. And I decided to avoid adding
   another dependency, we already require a lot of tools. Instead, I used
   another trick, which is actual just as elegant as using sponge. Well, needs
   more lines of code, but it is really nice trick anyway, I like it.

   I just open the mbox file, then unlink it, which means it won't be visible
   in the file-system, but won't be deleted since we have the file descriptor
   opened. Then I pipe the data from the file descriptor to 'formail', and
   redirect the results to the mbox file. So a new mbox file will be created
   and all the new contents will be there. I think this is elegant, and does
   not add a new dependency.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: clean up comments some more

Just fix poor English and a typo.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: improve consistency and readability

Similarly to what we did in 'aiaiai-email-test-patchset', use 'reply_*'
variable to specify the reply recipient, the Cc list, the subject, and the
message ID. This is a bit easier to read and consistent.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-lda: remove a piece of bashism

Remove the '==' operator and use the '=' instead. Otherwise 'dash' fails.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-sh-functions: fix e-mail addresses processing

This patch is a bug-fix. It fixes the 'strip_address()' and 'merge_addresses()'
which were for some reason removing all the blanks from the list of addresses.
The result was that "Artem Bityutskiy" became "ArtemBityutskiy".

Instead of removing all blanks, it is supposed to make multiple blanks to
become a single white-space.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: alwasy include the "always_cc" list

I do not know when we broke this, but some day that worked, and the "always_cc"
list from the configuration file was always Cced to all replies. But now it is
ignored, which is exactly what this patch fixes.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: further improve readability

This script was confusing and difficult to follow because it used 'to', 'cc',
and 'from' variables when composing the reply. E.g., "to" means the "To:"
header of the patch under test, but when used in context of the reply, we used
it for creating the "Cc:" header. Very confusing and easy to mess things up.

This patch cleans that up. Let's leave 'to', 'cc', 'from', 'subj', and 'id'
variables to represent the _original_ "To:", "Cc:", "From:", "Subj:", and
"Id:".

For replies, introduce 'reply_to', 'reply_cc', 'reply_subj', and 'reply_id'
variables.

The code becames a lot easier to follow with this change.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: minor re-structuring

This is another minor clean-up. Let's fetch all the headers we need in one
place. Just for better readability.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: remove a useless variable

This is another cosmetic clean-up. Just trying to make this script a bit
smaller and more readable. Remove the 'msgname' variable since we only use it
once.

Also, substitute 'echo' with 'printf', since we are trying to not using echo as
a general policy, see this URL for more infor why echo may be dangeros and
printf is safe:

http://unix.stackexchange.com/questions/65803/why-is-printf-better-than-echo

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-sh-functions: rename project configuration variables

This is another cosmetic change which is supposed to improve the readability.
Let's distinguish between global and project parameters by using slightly
differnet variabls prefix: "cfg_" for global parameters and "pcfg_" for
per-project. Then in the contexts where we do not yet know the project, we'd
not use any of the "pcfg_" variables, and possibly avoid introducing bugs.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-sh-functions: rename cfg_descr

All the configuration variables we use internally have the same name as the
corresponding configuration option. The only exception is 'cfg_descr'. Let's
re-name it to 'cfg_description' to match this pattern and be consistent.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Rename 'make_options' to 'kmake_opts'

The command-line option corresponding to the 'make_options' configuration knob
is called '--kmake-opts'. Let's be consistent and use the same names for both,
just to make things be more logical.

Alternatively, if 'kmake_opts' is not the best name, we could rename both to
'make_options' instead, or to something else.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

TODO: add a note about config file for all other scripts

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

TODO: add a note about make options

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

example-aiaiai.cfg: add the "make_options" parameter

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Remove email/aiaiai-email.cfg

I did not notice that we have 'email/aiaiai-email.cfg' file, and created the
'doc/email/example-aiaiai.cfg' file instead. This file has more comments and
looks better, so let's delete the old file and leave the new one.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Switch to dash when possible

Aiaiai is written in a portable manner, meaning that it does not use Bash
features and should work with different shells, like dash and ksh. Actually,
dash is a nice, small, and fast shell implementing only POSIX feature (or may
be mostly), and it is good to use it when it is available. This will ensure
that we do not accidentally break protability.

This patch adds a small code snippet to each script which will check if dash is
installed in the system, and if it is, "re-start" with dash.

People hacking on Aiaiai are encouradge to install the 'dash' package on their
systems.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: add support for Make options.

aiaiai-test-patchset has support for kernel make options which allows the
user to have more fine grained control over the compilation process. However,
the email form did not support passing these options to the test program. This
patch adds a configuration (per project) for specifying make options, so that
the user can have this fine grained control over the kernel build process.

Artem: amend commentaries a bit.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

TODO: add a note about separating all internal scripts

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

.gitignore: correct pathe for compiled tools

Paths for 'remap-log' and 'aiaiai-locker' have changed. Reflect this in the
.gitconfig file. This will prevent 'git clean' from removing them.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

TODO: add another entry

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

TODO: remove a note about own checkpatch.pl copy

We've removed the copy of checkpatch.pl, so amend the TODO note.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai: remove checkpatch.pl from repository

This patch removes the file tracked in this repository, since we now use the
in-kernel checkpatch version, or a user specified location. This enables
better control of what checkpatch.pl is used for those who care, without
having to manually update the file in git every time there is a change
upstream.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

test-patchset: stop using own copy of checkpatch.pl

Own copy of checkpatch.pl tends to be out-of-date. Start using
checkpatch.pl from the tree we test against instead.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

test-patchset: remove a couple of comments

Remove a couple of comments containing phrase "screw up". These comments do not
look very useful, and "screw up" may sound a bit harsh.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: be silent

This patch is rather cosmetic. It basically makes the script stop printing
information to stdout and instead, print only with the verbose messages.

Indeed, this little information is useless anyway, it does not tell enough
about what really goes on. So let's just move it to the verbose output.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: improve readability

I've noticed that this script is rather difficult to read because of many
"DocHere" usage, which break indentation. These are used when we send replies
back to the patch submitter.

This patch is an attempt to improve this. It introduces a number of helper
functions which incorporate the e-mail sending. The main script then contains
just a function calls, which improves readability.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Revert "Remove --check-only option support"

This reverts commit dbaf970c857e2a6fda9f6fd418bc873e5eb391cb.

The idea to revert was stupid. This option is used internally to optimize
Aiaiai and only check those files which were modified by the patch under test.
Thus, reverting the change.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

example-aiaiai.cfg: refine the meaning of project description option

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: fix projects list generation

This patch fixes the 'list_projects()' which did not work because it was using
the 'cfg_descr' variable which was undefined. Indeed, this function is called
when the user either forgot to specify the project, or specified a non-existing
project.

This patch uses 'ini_config_get_or_die' to get project description. The whole
loop conctruct is cleaned up a bit too to make it more readable.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-sh-functions: "export" __ini_config_get_or_die

In this project we try to mark all internal functions with leading "__". Of
course, we do this only for "shared" files like "aiaiai-email-sh-functions".
Any symbol which is not supposed to be used ouside of the shared function
starts with "__".

Thie patch removes the prefix from the "__ini_config_get_or_die" helper because
we will need it in the next patch.
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: fix a typo in the help output

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: clean-up commentary

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: move project configuration parsing down a bit

This patch is a little clean-up which makes the code a bit more consistent. It
makes sure we first check if the user specified the project, and only then try
to parse project configuration, not vice-versa.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

TODO: add some items more to the wishlist

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

checker: fix a typo

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Remove --check-only option support

This patch removes the --check-only option because it is useless. I never used
it, and I did not see anyone using it.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

Remove URLs with old cross-compilers

Cross-compilers at https://www.kernel.org/pub/tools/crosstool/ are old and not
maintained up-to-date anymore. Lets not recommend it to the users.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

doc: refresh the Aiaiai overview text

Rename the 'README.announcement' file to descriptive 'Overview.txt'. Refresh
its contents too. This file is supposed to give general information about what
Aiaiai is.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-sh-functions: add local variables to parse_prj_config

Rather than assuming that the $cfgfile and $prj will be correctly defined, use
the passed parameters. Use local to create local variables to use, just like
in the regular config parsing.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

email-test-patchset: fix a bug when project is unknown

This patch corrects an issue due to attempting to use cfg_reply_to_all (a
per-project configuration option) before we have checked whether the project
is valid. This causes the whole aiaiai-email service to die. To fix this, move
the checks for no project and unknown project above the cfg_reply_to_all use.
Also unassign the to variable when sending these emails so that we don't spam
everyone, (regardless of the reply_to_all setting). This restores the behavior
to the previous default.

Signed-off-by: Jacob Keller <jacob.e.keller@intel.com>
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

aiaiai-email-lda: help output clean-up

Clean-up the help output a bit:
  * use <config.ini> consistently
  * mention <config.ini> at the first "usage" line.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

doc: add the TODO list

Add the TODO file. I've added some of my current wishes there. This does not
mean that I am going to implement this. But may be some time, when I have time
or if users request. Or may be someone else implements one of those.

Others are welcome to add more wishes there too.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

doc: add example-aiaiai.cfg

Add an example configuration file for the Aiaiai e-mail front-end.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

test-patchset: remove junk comma

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

test-bisectability: print full config name

Print full configration name, not just the defconfig name.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>

test-bisectability: do not print base commit failure details

Now, when we allow for the base commit to be broken if the first patch fixes
it, it makes little sense providing the base commit failure details in that
case.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@linux.intel.com>