Allow duplicate certs in ssl_build_cert_chain

Workaround for some CMS signature formats.

Some CMS SignedData structure use a signature algorithm OID such
as SHA1WithRSA instead of the RSA algorithm OID. Workaround this
case by tolerating the signature if we recognise the OID.

Retry callback only after ClientHello received.

Update ordinals.

Use a previously unused value as we will be updating multiple released
branches.
(cherry picked from commit 0737acd2a8cc688902b5151cab5dc6737b82fb96)

Fix for CVE-2014-0076

Fix for the attack described in the paper "Recovering OpenSSL
ECDSA Nonces Using the FLUSH+RELOAD Cache Side-channel Attack"
by Yuval Yarom and Naomi Benger. Details can be obtained from:
http://eprint.iacr.org/2014/140

Thanks to Yuval Yarom and Naomi Benger for discovering this
flaw and to Yuval Yarom for supplying a fix.
(cherry picked from commit 2198be3483259de374f91e57d247d0fc667aef29)

Conflicts:

CHANGES

typo

Simplify ssl_add_cert_chain logic.

Remove -WX option from debug-VC-WIN32
(cherry picked from commit 7a3e67f029969620966b8a627b8485d83692cca5)

engines/ccgost/gosthash.c: simplify and avoid SEGV.

PR: 3275

SPARC T4 assembly pack: treat zero input length in CBC.

The problem is that OpenSSH calls EVP_Cipher, which is not as
protective as EVP_CipherUpdate. Formally speaking we ought to
do more checks in *_cipher methods, including rejecting
lengths not divisible by block size (unless ciphertext stealing
is in place). But for now I implement check for zero length in
low-level based on precedent.

PR: 3087, 2775

dh_check.c: check BN_CTX_get's return value.

test/Makefile: allow emulated test (e.g. under wine).

Submitted by: Roumen Petrov

bss_dgram.c,d1_lib.c: make it compile with mingw.

Submitted by: Roumen Petrov

For self signed root only indicate one error.
(cherry picked from commit bdfc0e284c89dd5781259cc19aa264aded538492)

PKCS#8 support for alternative PRFs.

Add option to set an alternative to the default hmacWithSHA1 PRF
for PKCS#8 private key encryptions. This is used automatically
by PKCS8_encrypt if the nid specified is a PRF.

Add option to pkcs8 utility.

Update docs.
(cherry picked from commit b60272b01fcb4f69201b3e1659b4f7e9e9298dfb)

Fix memory leak.
(cherry picked from commit 124d218889dfca33d277404612f1319afe04107e)

Add function to free compression methods.

Although the memory allocated by compression methods is fixed and
cannot grow over time it can cause warnings in some leak checking
tools. The function SSL_COMP_free_compression_methods() will free
and zero the list of supported compression methods. This should
*only* be called in a single threaded context when an application
is shutting down to avoid interfering with existing contexts
attempting to look up compression methods.
(cherry picked from commit 976c58302b13d085edb3ab822f5eac4b2f1bff95)

Makefile.org: fix syntax error on Solaris.

PR: 3271

Configure: mark unixware target as elf-1.

perlasm/x86asm.pl: recognize elf-1 denoting old ELF platforms.

perlasm/x86gas.pl: limit special OPENSSL_ia32cap_P treatment to ELF.

rc4/asm/rc4-586.pl: allow for 386-only build.

des/asm/des-586.pl: shortcut reference to DES_SPtrans.

CABForum EV OIDs for Subject Jurisdiction of Incorporation or Registration.

Fix for WIN32 builds with KRB5
(cherry picked from commit 3eddd1706a30cdf3dc9278692d8ee9038eac8a0d)

sha/asm/sha256-586.pl: don't try to compile SIMD with no-sse2.

sha/asm/sha512-x86_64.pl: fix compilation error on Solaris.

Configure: blended processor target in solaris-x86-cc.

ssl/t1_enc.c: check EVP_MD_CTX_copy return value.

PR: 3201

aes/asm/vpaes-ppc.pl: fix traceback info.

Don't use BN_ULLONG in n2l8 use SCTS_TIMESTAMP.
(cherry picked from commit 3678161d717d0f46c5b5b052a6d6a33438b1df00)

Fix for v3_scts.c

Not all platforms define BN_ULLONG. Define SCTS_TIMESTAMP as a type
which should work on all platforms.
(cherry picked from commit 6634416732b94627eba1c47de3c3a6321a5458f0)

Add -show_chain option to print out verified chain.

Avoid Windows 8 Getversion deprecated errors.

Windows 8 SDKs complain that GetVersion() is deprecated.

We only use GetVersion like this:

(GetVersion() < 0x80000000)

which checks if the Windows version is NT based. Use a macro check_winnt()
which uses GetVersion() on older SDK versions and true otherwise.

Parse non-v1 SCTs less awkwardly.

ms/do_win64a.bat: forward to NUL, not NUL:.

Allegedly formwarding to NUL: sometimes creates NUL file in file
system.

PR: 3250

BC-32.pl: refresh Borland C support.

PR: 3251
Suggested by: Thorsten Schöning

x509/by_dir.c: fix run-away pointer (and potential SEGV)
when adding duplicates in add_cert_dir.

PR: 3261
Reported by: Marian Done

config: recognize ARMv8/AArch64 target.

Only set current certificate to valid values.

When setting the current certificate check that it has a corresponding
private key.

New chain building flags.

New flags to build certificate chains. The can be used to rearrange
the chain so all an application needs to do is add all certificates
in arbitrary order and then build the chain to check and correct them.

Add verify error code when building chain.

Update docs.

Option to set current cert to server certificate.

aes/asm/aesni-x86[_64].pl: minor Atom-specific performance tweak.

fix WIN32 warnings
(cherry picked from commit b709f8ef54b1c9ad513878ba0213aa651a9acef8)

make depend

Move CT viewer extension code to crypto/x509v3

make depend

Remove references to o_time.h

Move gmtime functions to crypto.h.

Make i2r_sctlist static.

Reverse export of o_time.h.

Merge branch 'sct-viewer-master' of https://github.com/robstradling/openssl into sct-viewer

Move the SCT List extension parser into libssl.
Add the extension parser in the s_client, ocsp and x509 apps.

Don't use CRYPTO_AES_CTR if it isn't defined.

Restore SSL_OP_MSIE_SSLV2_RSA_PADDING

The flag SSL_OP_MSIE_SSLV2_RSA_PADDING hasn't done anything since OpenSSL
0.9.7h but deleting it will break source compatibility with any software
that references it. Restore it but #define to zero.
(cherry picked from commit b17d6b8d1d49fa4732deff17cfd1833616af0d9c)

Don't use getcwd in non-copy builds.

Remove duplicate statement.

Add support for aes-128/192/256-ctr to the cryptodev engine.
This can be used to speed up SRTP with libsrtp, e.g. on TI omap/sitara based devices.

Show the contents of the RFC6962 Signed Certificate Timestamp List Certificate/OCSP Extensions.
Add the RFC6962 OIDs to the objects table.

Use defaults bits in req when not given

If you use "-newkey rsa" it's supposed to read the default number of bits from the
config file.  However the value isn't used to generate the key, but it does
print it's generating such a key.  The set_keygen_ctx() doesn't call
EVP_PKEY_CTX_set_rsa_keygen_bits() and you end up with the default set in
pkey_rsa_init() (1024).  Afterwards the number of bits gets read from the config
file, but nothing is done with that anymore.

We now read the config first and use the value from the config file when no size
is given.

PR: 2592

Fix additional pod errors with numbered items.

Fix various spelling errors

Document pkcs12 -password behavior

apps/pkcs12.c accepts -password as an argument.  The document author
almost certainly meant to write "-password, -passin".

However, that is not correct, either.  Actually the code treats
-password as equivalent to -passin, EXCEPT when -export is also
specified, in which case -password as equivalent to -passout.

ssl/s3_pkt.c: detect RAND_bytes error in multi-block.

x86[_64]cpuid.pl: add low-level RDSEED.

aes/asm/aesni-x86_64.pl: further optimization for Atom Silvermont.

Improve CBC decrypt and CTR by ~13/16%, which adds up to ~25/33%
improvement over "pre-Silvermont" version. [Add performance table to
aesni-x86.pl].

Include TA in checks/callback with partial chains.

When a chain is complete and ends in a trusted root checks are also
performed on the TA and the callback notified with ok==1. For
consistency do the same for chains where the TA is not self signed.

Don't do loop detection for self signed check.

Add suppot for ASCII with CRLF canonicalisation.

fix error discrepancy
(cherry picked from commit a2317c3ffde3f1f73bd7fa3f08e420fb09043905)

evp/e_aes_cbc_hmac_sha*.c: improve cache locality.

ghash-x86[_64].pl: ~15% improvement on Atom Silvermont
(other processors unaffected).

Fix warning.

Build on MacOS.

Return previous compression methods when setting them.

Oops, get selection logic right.

Fix warnings.

Don't break out of the custom extension callback loop - continue instead
The contract for custom extension callbacks has changed - all custom extension callbacks are triggered

Fix whitespace, new-style comments.

Re-add alert variables removed during rebase
Whitespace fixes

Updating DTCP authorization type to expected value

Update custom TLS extension and supplemental data 'generate' callbacks to support sending an alert.

If multiple TLS extensions are expected but not received, the TLS extension and supplemental data 'generate' callbacks are the only chance for the receive-side to trigger a specific TLS alert during the handshake.

Removed logic which no-op'd TLS extension generate callbacks (as the generate callbacks need to always be called in order to trigger alerts), and updated the serverinfo-specific custom TLS extension callbacks to track which custom TLS extensions were received by the client, where no-ops for 'generate' callbacks are appropriate.

Return per-certificate chain if extra chain is NULL.

If an application calls the macro SSL_CTX_get_extra_chain_certs
return either the old "shared" extra certificates or those associated
with the current certificate.

This means applications which call SSL_CTX_use_certificate_chain_file
and retrieve the additional chain using SSL_CTX_get_extra_chain_certs
will still work. An application which only wants to check the shared
extra certificates can call the new macro
SSL_CTX_get_extra_chain_certs_only

e_aes_cbc_hmac_sha[1|256].c: fix compiler warning.

ssl/s3_pkt.c: move multi-block processing to ssl3_write_bytes.

This allows to process multiple fragmets of maximum fragment size,
as opposite to chopping maximum-sized fragments to multiple smaller
ones. This approach relies on dynamic allocation of larger buffers,
which we trade for performance improvement, for several *times* in
some situations.

evp/e_aes_cbc_hmac_sha*.c: additional CTRL to query buffer requirements.

[aesni|sha*]-mb-x86_64.pl: add data prefetching.

s3_pkt.c: move ssl3_release_write_buffer to ssl3_write_bytes.

If application has more data than maximum fragment, hold to buffer
for whole write, as opposite to per-fragment strategy.

Add quotes as CC can contain spaces.

PR#3253

New ctrl to set current certificate.

New ctrl sets current certificate based on certain criteria. Currently
two options: set the first valid certificate as current and set the
next valid certificate as current. Using these an application can
iterate over all certificates in an SSL_CTX or SSL structure.

Demo of use of errors in applications.

modes/asm/ghash-s390x.pl: +15% performance improvement on z10.

crypto/aes/asm/aesni-x86[_64].pl update, up to 14% improvement on
Atom Silvermont. On other CPUs one can observe 1% loss on some
algorithms.

crypto/sha/asm/sha1-x86_64.pl update:

+5% on Atom Silvermont, up to +8% improvement of legacy code.
Harmonize sha1-586.pl and aesni-sha1-x86_86.p with sha1-x86_64.pl.

Clarify docs.

Remove reference to ERR_TXT_MALLOCED in the error library as that is
only used internally. Indicate that returned error data must not be
freed.
(cherry picked from commit f2d678e6e89b6508147086610e985d4e8416e867)

typo

Check i before r[i].

PR#3244
(cherry picked from commit 9614d2c676ffe74ce0c919d9e5c0d622a011cbed)

Fix demo comment: 0.9.9 never released.

Add loaded dynamic ENGINEs to list.

Always add a dynamically loaded ENGINE to list. Otherwise it can cause
problems when multiply loaded, especially if it adds new public key methods.
For all current engines we only want a single implementation anyway.

New function to set compression methods so they can be safely freed.