Apply some missing updates from previous commits

Reviewed-by: Stephen Henson <steve@openssl.org>

Update CHANGES and NEWS for the new release

Reviewed-by: Stephen Henson <steve@openssl.org>

Extend -show_chain option to verify to show more info

The -show_chain flag to the verify command line app shows information about
the chain that has been built. This commit adds the text "untrusted" against
those certificates that have been used from the untrusted list.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Add help text for some verify options

Fills in the help text for a number of options to verify that were blank.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Add documentation for some missing verify options

Fills in a couple of verify options that were lacking documentation.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Reject calls to X509_verify_cert that have not been reinitialised

The function X509_verify_cert checks the value of |ctx->chain| at the
beginning, and if it is NULL then it initialises it, along with the value
of ctx->untrusted. The normal way to use X509_verify_cert() is to first
call X509_STORE_CTX_init(); then set up various parameters etc; then call
X509_verify_cert(); then check the results; and finally call
X509_STORE_CTX_cleanup(). The initial call to X509_STORE_CTX_init() sets
|ctx->chain| to NULL. The only place in the OpenSSL codebase  where
|ctx->chain| is set to anything other than a non NULL value is in
X509_verify_cert itself. Therefore the only ways that |ctx->chain| could be
non NULL on entry to X509_verify_cert is if one of the following occurs:
1) An application calls X509_verify_cert() twice without re-initialising
in between.
2) An application reaches inside the X509_STORE_CTX structure and changes
the value of |ctx->chain| directly.

With regards to the second of these, we should discount this - it should
not be supported to allow this.

With regards to the first of these, the documentation is not exactly
crystal clear, but the implication is that you must call
X509_STORE_CTX_init() before each call to X509_verify_cert(). If you fail
to do this then, at best, the results would be undefined.

Calling X509_verify_cert() with |ctx->chain| set to a non NULL value is
likely to have unexpected results, and could be dangerous. This commit
changes the behaviour of X509_verify_cert() so that it causes an error if
|ctx->chain| is anything other than NULL (because this indicates that we
have not been initialised properly). It also clarifies the associated
documentation. This is a follow up commit to CVE-2015-1793.

Reviewed-by: Stephen Henson <steve@openssl.org>

Add test for CVE-2015-1793

This adds a test for CVE-2015-1793. This adds a new test file
verify_extra_test.c, which could form the basis for additional
verification tests.

Reviewed-by: Stephen Henson <steve@openssl.org>

Fix alternate chains certificate forgery issue

During certificate verfification, OpenSSL will attempt to find an
alternative certificate chain if the first attempt to build such a chain
fails. An error in the implementation of this logic can mean that an
attacker could cause certain checks on untrusted certificates to be
bypassed, such as the CA flag, enabling them to use a valid leaf
certificate to act as a CA and "issue" an invalid certificate.

This occurs where at least one cert is added to the first chain from the
trust store, but that chain still ends up being untrusted. In that case
ctx->last_untrusted is decremented in error.

Patch provided by the BoringSSL project.

CVE-2015-1793

Reviewed-by: Stephen Henson <steve@openssl.org>

Document the nameopt change

Reviewed-by: Rich Salz <rsalz@openssl.org>

Make "oneline" the default for nameopt

There's no reason why we should default to a output format that is
old, and confusing in some cases.

This affects the commands "ca", "crl", "req" and "x509".

Reviewed-by: Rich Salz <rsalz@openssl.org>

document -2 return value

Reviewed-by: Rich Salz <rsalz@openssl.org>

Relax CCM tag check.

In CCM mode don't require a tag before initialising decrypt: this allows
the tag length to be set without requiring the tag.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Dup peer_chain properly in SSL_SESSION

Reviewed-by: Matt Caswell <matt@openssl.org>

Check for errors with SRP

Reviewed-by: Matt Caswell <matt@openssl.org>

make update

Reviewed-by: Matt Caswell <matt@openssl.org>

Use single master secret generation function.

Reviewed-by: Matt Caswell <matt@openssl.org>

Check dgram_sctp_write() return value.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Check BIO_dgram_sctp_wait_for_dry() return value for error

Reviewed-by: Rich Salz <rsalz@openssl.org>

missing break

Reviewed-by: Tim Hudson <tjh@openssl.org>

Don't output bogus errors in PKCS12_parse

PR#3923

Reviewed-by: Tim Hudson <tjh@openssl.org>

Add docs for ssl verification parameter functions.

Reviewed-by: Matt Caswell <matt@openssl.org>

Fix windows build

Move #include's inside the #ifdef.

Reviewed-by: Matt Caswell <matt@openssl.org>

Fix PSK client handling.

The PSK identity hint should be stored in the SSL_SESSION structure
and not in the parent context (which will overwrite values used
by other SSL structures with the same SSL_CTX).

Reviewed-by: Matt Caswell <matt@openssl.org>

Add PSK GCM ciphersuites from RFC5487

Reviewed-by: Matt Caswell <matt@openssl.org>

PSK trace keyex fixes.

Reviewed-by: Matt Caswell <matt@openssl.org>

Avoid duplication.

We always free the handshake buffer when digests are freed so move
it into ssl_free_digest_list()

Reviewed-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Tidy up ssl3_digest_cached_records logic.

Rewrite ssl3_digest_cached_records handling. Only digest cached records
if digest array is NULL: this means it is safe to call
ssl3_digest_cached_records multiple times (subsequent calls are no op).

Remove flag TLS1_FLAGS_KEEP_HANDSHAKE instead only update handshake buffer
if digest array is NULL.

Add additional "keep" parameter to ssl3_digest_cached_records to indicate
if the handshake buffer should be retained after digesting cached records
(needed for TLS 1.2 client authentication).

Reviewed-by: Matt Caswell <matt@openssl.org>

More secure storage of key material.

Add secure heap for storage of private keys (when possible).
Add BIO_s_secmem(), CBIGNUM, etc.
Add BIO_CTX_secure_new so all BIGNUM's in the context are secure.
Contributed by Akamai Technologies under the Corporate CLA.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add $! to errors, use script basename.

Reviewed-by: Richard Levitte <levitte@openssl.org>

GH297: Fix NAME section of SSL_CTX_use_serverinfo.pod

Signed-off-by: Rich Salz <rsalz@akamai.com>
Reviewed-by: Matt Caswell <matt@openssl.org>

RT3682: Avoid double-free on OCSP parse error

Found by Kurt Cancemi.

Reviewed-by: Matt Caswell <matt@openssl.org>

RT3856: Fix memory leaks in test code

Reviewed-by: Matt Caswell <matt@openssl.org>

make update

Reviewed-by: Rich Salz <rsalz@openssl.org>

Rearrange rsaz

A small rearrangement so the inclusion of rsaz_exp.h would be
unconditional, but what that header defines becomes conditional.

This solves the weirdness where rsaz_exp.h gets in and out of the
dependency list for bn_exp.c, depending on the present architecture.

Reviewed-by: Rich Salz <rsalz@openssl.org>

RT3907-fix

Typo in local variable name; introduced by previous fix.

Reviewed-by: Richard Levitte <levitte@openssl.org>

RT3907: avoid "local" in testssl script

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove SESS_CERT entirely.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Move peer chain to SSL_SESSION structure.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove unnuecessary ifdefs.

If RSA or DSA is disabled we will never use a ciphersuite with
RSA/DSA authentication as it is already filtered out by the cipher
list logic.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove certificates from sess_cert

As numerous comments indicate the certificate and key array is not an
appopriate structure to store the peers certificate: so remove it and
just the s->session->peer instead.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove peer temp keys from SESS_CERT

Reviewed-by: Richard Levitte <levitte@openssl.org>

RT3917: add cleanup on an error path

Reviewed-by: Richard Levitte <levitte@openssl.org>

Cleanup mttest.c : because we no longer use stdio here, don't include it

Reviewed-by: Rich Salz <rsalz@openssl.org>

Add -ldl to the build of mttest.c

Reviewed-by: Rich Salz <rsalz@openssl.org>

Cleanup mttest.c : use BIO_free only, no preceding hacks

Since [sc]_ssl->[rw]bio aren't available, do not try to fiddle with
them.  Surely, a BIO_free on the "main" BIOs should be enough

Reviewed-by: Rich Salz <rsalz@openssl.org>

Cleanup mttest.c : do not try to output reference counts when threads are done

Reviewed-by: Rich Salz <rsalz@openssl.org>

Cleanup mttest.c : better error reporting when certs are miggins

Reviewed-by: Rich Salz <rsalz@openssl.org>

Cleanup mttest.c : make ssl_method a pointer to const

Reviewed-by: Rich Salz <rsalz@openssl.org>

Cleanup mttest.c : modernise output

Construct bio_err and bio_stdout from file handles instead of FILE
pointers, since the latter might not be implemented (when OPENSSL_NO_STDIO
is defined).
Convert all output to use BIO_printf.
Change lh_foo to lh_SSL_SESSION_foo.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Cleanup mttest.c : modernise the threads setup

Reviewed-by: Rich Salz <rsalz@openssl.org>

Cleanup mttest.c : remove MS_CALLBACK

Reviewed-by: Rich Salz <rsalz@openssl.org>

Revert "Avoid duplication."

This reverts commit d480e182fe20fcaeca7817a4693eeaf594bb1a32.

Commit broke TLS handshakes due to fragility of digest caching: that will be
fixed separately.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Avoid duplication.

We always free the handshake buffer when digests are freed so move
it into ssl_free_digest_list()

Reviewed-by: Rich Salz <rsalz@openssl.org>

remove unnecessary NULL checks

Reviewed-by: Rich Salz <rsalz@openssl.org>

typo: should be OPENSSL_free

Reviewed-by: Richard Levitte <levitte@openssl.org>

Make preprocessor error into real preprocessor error

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Remove one extraneous parenthesis

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

RT2547: Tighten perms on generated privkey files

When generating a private key, try to make the output file be readable
only by the owner.  Put it in CHANGES file since it might be noticeable.

Add "int private" flag to apps that write private keys, and check that it's
set whenever we do write a private key.  Checked via assert so that this
bug (security-related) gets fixed.  Thanks to Viktor for help in tracing
the code-paths where private keys are written.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Refactor into clear_ciphers; RT3588

While closing RT3588 (Remove obsolete comment) Kurt and I saw that a
few lines to completely clear the SSL cipher state could be moved into
a common function.

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Fix argument processing error from the option parsing change over.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix argument processing error from the option parsing change over.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Encode b == NULL or blen == 0 as zero.

PR#3904

Reviewed-by: Rich Salz <rsalz@openssl.org>

Allow a zero length extension block

It is valid for an extension block to be present in a ClientHello, but to
be of zero length.

Reviewed-by: Richard Levitte <levitte@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Fix ABI break with HMAC

Recent HMAC changes broke ABI compatibility due to a new field in HMAC_CTX.
This backs that change out, and does it a different way.

Thanks to Timo Teras for the concept.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Update CHANGES and NEWS

Updates to CHANGES and NEWS to take account of the latest security fixes.

Reviewed-by: Rich Salz <rsalz@openssl.org>

bn/bn_gf2m.c: avoid infinite loop wich malformed ECParamters.

CVE-2015-1788

Reviewed-by: Matt Caswell <matt@openssl.org>

PKCS#7: Fix NULL dereference with missing EncryptedContent.

CVE-2015-1790

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix length checks in X509_cmp_time to avoid out-of-bounds reads.

Also tighten X509_cmp_time to reject more than three fractional
seconds in the time; and to reject trailing garbage after the offset.

CVE-2015-1789

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>
Reviewed-by: Richard Levitte <levitte@openssl.org>

More ssl_session_dup fixes

Fix error handling in ssl_session_dup, as well as incorrect setting up of
the session ticket. Follow on from CVE-2015-1791.

Thanks to LibreSSL project for reporting these issues.

Reviewed-by: Tim Hudson <tjh@openssl.org>

e_aes_cbc_hmac_sha*.c: address linker warning about OPENSSL_ia32cap_P size mismatch.

Reviewed-by: Tim Hudson <tjh@openssl.org>

gcm.c: address linker warning about OPENSSL_ia32cap_P size mismatch.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Tidy disabled algorithm handling.

Determine disabled algorithm masks when algorithms are loaded instead of
recalculating them each time.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Restore GOST mac setup.

Restore GOST mac setup which was accidentally removed during cipher
refactor.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Remove SSL_OP_TLS_BLOCK_PADDING_BUG

This is a workaround so old that nobody remembers what buggy clients
it was for. It's also been broken in stable branches for two years and
nobody noticed (see
https://boringssl-review.googlesource.com/#/c/1694/).

Reviewed-by: Tim Hudson <tjh@openssl.org>

DTLS handshake message fragments musn't span packets

It should not be possible for DTLS message fragments to span multiple
packets. However previously if the message header fitted exactly into one
packet, and the fragment body was in the next packet then this would work.
Obviously this would fail if packets get re-ordered mid-flight.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Correct type of RECORD_LAYER_get_rrec_length()

The underlying field returned by RECORD_LAYER_get_rrec_length() is an
unsigned int. The return type of the function should match that.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Fix leak in HMAC error path

In the event of an error in the HMAC function, leaks can occur because the
HMAC_CTX does not get cleaned up.

Thanks to the BoringSSL project for reporting this issue.

Reviewed-by: Richard Levitte <levitte@openssl.org>

EC_POINT_is_on_curve does not return a boolean

The function EC_POINT_is_on_curve does not return a boolean value.
It returns 1 if the point is on the curve, 0 if it is not, and -1
on error. Many usages within OpenSSL were incorrectly using this
function and therefore not correctly handling error conditions.

With thanks to the Open Crypto Audit Project for reporting this issue.

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Change BIO_number_read and BIO_number_written() to be 64 bit

The return type of BIO_number_read() and BIO_number_written() as well as
the corresponding num_read and num_write members in the BIO structure has
been changed from unsigned long to uint64_t. On platforms where an unsigned
long is 32 bits (e.g. Windows) these counters could overflow if >4Gb is
transferred.

With thanks to the Open Crypto Audit Project for reporting this issue.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Tighten extension handling

This adds additional checks to the processing of extensions in a ClientHello
to ensure that either no extensions are present, or if they are then they
take up the exact amount of space expected.

With thanks to the Open Crypto Audit Project for reporting this issue.

Reviewed-by: Stephen Henson <steve@openssl.org>

Fix memory leaks in BIO_dup_chain()

This fixes a memory leak that can occur whilst duplicating a BIO chain if
the call to CRYPTO_dup_ex_data() fails. It also fixes a second memory leak
where if a failure occurs after successfully creating the first BIO in the
chain, then the beginning of the new chain was not freed.

With thanks to the Open Crypto Audit Project for reporting this issue.

Reviewed-by: Stephen Henson <steve@openssl.org>

Replace memset with OPENSSL_clear_free()

BUF_MEM_free() attempts to cleanse memory using memset immediately prior
to a free. This is at risk of being optimised away by the compiler, so
replace with a call to OPENSSL_clear_free() instead.

With thanks to the Open Crypto Audit Project for reporting this issue.

Reviewed-by: Stephen Henson <steve@openssl.org>

Make sure test/gost2814789test.c can see configuration macros

test/gost2814789test.c needs to include openssl/e_os2.h or it wouldn't
see the defined OPENSSL_NO_* macros.

Reviewed-by: Tim Hudson <tjh@openssl.org>

When making libcrypto from apps or test, make sure to include engines

For librypto to be complete, the stuff in both crypto/ and engines/
have to be built.  Doing 'make test' or 'make apps' from a clean
source tree failed to do so.
Corrected by using the new 'build_libcrypto' in the top Makefile.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Add and rearrange building of libraries

There's a need for a target that will build all of libcrypto, so let's
add 'build_libcrypto' that does this.  For ortogonality, let's also
add 'build_libssl'.  Have both also depend on 'libcrypto.pc' and
'libssl.pc' so those get built together with the libraries.
This makes 'all' depend on fewer things directly.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Fix -DZLIB build for opaque COMP types

Reviewed-by: Richard Levitte <levitte@openssl.org>

Use bio_err not stderr in apps.

Except for VMS startup code.

Reviewed-by: Richard Levitte <levitte@openssl.org>

No fprintf in the txt_db component

Also removed a source file that isn't built, and moved
another one to test for eventual fixing.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Explicitly mention PKCS5_PBKDF2_HMAC in EVP doc.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Only allow a temporary rsa key exchange when they key is larger than 512.

Reviewed-by: Matt Caswell <matt@openssl.org>
MR #588

Properly check certificate in case of export ciphers.

Reviewed-by: Matt Caswell <matt@openssl.org>
MR #588

return correct NID for undefined object

Reviewed-by: Tim Hudson <tjh@openssl.org>

Use CRYPTO_memcmp in ssl3_record.c

Reviewed-by: Rich Salz <rsalz@openssl.org>

Use CRYPTO_memcmp when comparing authenticators

Pointed out by Victor Vasiliev (vasilvv@mit.edu) via Adam Langley
(Google).

Reviewed-by: Rich Salz <rsalz@openssl.org>

Increase buffer size for passwords in pkcs12 CLI

Reviewed-by: Tim Hudson <tjh@openssl.org>

Update trace code.

Add extension and ciphersuites to trace code.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Check ASN1_INTEGER_get for errors.

Check return value when calling ASN1_INTEGER_get to retrieve a certificate
serial number. If an error occurs (which will be caused by the value being
out of range) revert to hex dump of serial number.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Set error code, no fprintf stderr, on errors.

Reviewed-by: Richard Levitte <levitte@openssl.org>

GH293: Typo in CHANGES file.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Allow all curves when the client doesn't send an supported elliptic curves extension

At least in the case of SSLv3 we can't send an extention.

Reviewed-by: Matt Caswell <matt@openssl.org>
MR #811