Extend TLSProxy capabilities

Add ServerHello parsing to TLSProxy.
Also add some (very) limited ServerKeyExchange parsing.
Add the capability to set client and server cipher lists
Fix a bug with fragment lengths

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add some libssl tests

Two tests are added: one is a simple version tolerance test; the second is
a test to ensure that OpenSSL operates correctly in the case of a zero
length extensions block. The latter was broken inadvertently (now fixed)
and it would have been helpful to have a test case for it.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add a libssl test harness

This commit provides a set of perl modules that support the testing of
libssl. The test harness operates as a man-in-the-middle proxy between
s_server and s_client. Both s_server and s_client must be started using the
"-testmode" option which loads the new OSSLTEST engine.

The test harness enables scripts to be written that can examine the packets
sent during a handshake, as well as (potentially) modifying them so that
otherwise illegal handshake messages can be sent.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add OSSLTest Engine

This engine is for testing purposes only. It provides crippled crypto
implementations and therefore must not be used in any instance where
security is required.

This will be used by the forthcoming libssl test harness which will operate
as a man-in-the-middle proxy. The test harness will be able to modify
TLS packets and read their contents. By using this test engine packets are
not encrypted and MAC codes always verify.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Check for 0 modulus in BN_MONT_CTX_set

The function BN_MONT_CTX_set was assuming that the modulus was non-zero
and therefore that |mod->top| > 0. In an error situation that may not be
the case and could cause a seg fault.

This is a follow on from CVE-2015-1794.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Fix seg fault with 0 p val in SKE

If a client receives a ServerKeyExchange for an anon DH ciphersuite with the
value of p set to 0 then a seg fault can occur. This commits adds a test to
reject p, g and pub key parameters that have a 0 value (in accordance with
RFC 5246)

The security vulnerability only affects master and 1.0.2, but the fix is
additionally applied to 1.0.1 for additional confidence.

CVE-2015-1794

Reviewed-by: Richard Levitte <levitte@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Normalise make errors output

make errors wants things in a different order to the way things are
currently defined in the header files. The easiest fix is to just let it
reorder it.

Reviewed-by: Richard Levitte <levitte@openssl.org>

GH365: Missing #ifdef rename.

Reviewed-by: Matt Caswell <matt@openssl.org>

RT3999: Remove sub-component version strings

Especially since after the #ifdef cleanups this is not useful.

Reviewed-by: Matt Caswell <matt@openssl.org>

Fix build break.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Find the right indent on *BSD.

Reviewed-by: Tim Hudson <tjh@openssl.org>

GH357: Update ocsp.c

Add Host Header in OCSP query if no host header is set via -header

Signed-off-by: Rich Salz <rsalz@akamai.com>
Reviewed-by: Ben Laurie <ben@openssl.org>

RT3998: fix X509_check_host.pod release to 1.0.2

Signed-off-by: Rich Salz <rsalz@akamai.com>
Reviewed-by: Ben Laurie <ben@openssl.org>

Fix clang uninitialized variable warning.

We could just initialize it, but to be consistent with the rest of the file
it seemed to make more sense to just drop.

Reviewed-by: Ben Laurie <ben@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Revert "Fix uninitalised warning."

This reverts commit 704563f04a8401781b359906c1f88a30e12af69c.

Reverting in favour of the next commit which removes the underlying cause
of the warning.

Reviewed-by: Ben Laurie <ben@openssl.org>

Fix uninitalised warning.

Reviewed-by: Rich Salz <rsalz@openssl.org>

RT3990: Fix #include path.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Tim Hudson <tjh@openssl.org>

Change error reason to match previous behaviour.

Reviewed-by: Tim Hudson <tjh@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Fix unhandled error condition in sslv2 client hello parsing.

--strict-warnings started showing warnings for this today...

Surely an error should be raised if these reads fail?

Reviewed-by: Tim Hudson <tjh@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Fix SRTP s_client/s_server options

The -use_srtp s_client/s_server option is supposed to take a colon
separated string as an argument. In master this was incorrectly set to
expect a filename.

Reviewed-by: Rich Salz <rsalz@openssl.org>

PACKETise NextProto

Change NextProto message processing to use the PACKET API.

Reviewed-by: Stephen Henson <steve@openssl.org>

PACKETise CertificateVerify processing

Modify CertificateVerify processing to use the new PACKET API.

Reviewed-by: Stephen Henson <steve@openssl.org>

PACKETise ClientCertificate processing

Use the PACKET API for processing ClientCertificate messages

Reviewed-by: Tim Hudson <tjh@openssl.org>

Fix a bug in the new PACKET implementation

Some of the PACKET functions were returning incorrect data. An unfortunate
choice of test data in the unit test was masking the failure.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Fix warning when compiling with no-ec2m

EC_KEY_set_public_key_affine_coordinates was using some variables that only
apply if OPENSSL_NO_EC2M is not defined.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Fix make errors for the CCS changes

The move of CCS into the state machine was causing make errors to fail. This
fixes it.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Fix ssl3_read_bytes handshake fragment bug

The move of CCS into the state machine introduced a bug in ssl3_read_bytes.
The value of |recvd_type| was not being set if we are satisfying the request
from handshake fragment storage. This can occur, for example, with
renegotiation and causes the handshake to fail.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Move DTLS CCS processing into the state machine

Continuing on from the previous commit this moves the processing of DTLS
CCS messages out of the record layer and into the state machine.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Move TLS CCS processing into the state machine

The handling of incoming CCS records is a little strange. Since CCS is not
a handshake message it is handled differently to normal handshake messages.
Unfortunately whilst technically it is not a handhshake message the reality
is that it must be processed in accordance with the state of the handshake.
Currently CCS records are processed entirely within the record layer. In
order to ensure that it is handled in accordance with the handshake state
a flag is used to indicate that it is an acceptable time to receive a CCS.

Previously this flag did not exist (see CVE-2014-0224), but the flag should
only really be considered a workaround for the problem that CCS is not
visible to the state machine.

Outgoing CCS messages are already handled within the state machine.

This patch makes CCS visible to the TLS state machine. A separate commit
will handle DTLS.

Reviewed-by: Tim Hudson <tjh@openssl.org>

PACKETise ClientHello processing

Uses the new PACKET code to process the incoming ClientHello including all
extensions etc.

Reviewed-by: Tim Hudson <tjh@openssl.org>

PACKET unit tests

Add some unit tests for the new PACKET API

Reviewed-by: Tim Hudson <tjh@openssl.org>

Add initial packet parsing code

Provide more robust (inline) functions to replace n2s, n2l, etc. These
functions do the same thing as the previous macros, but also keep track
of the amount of data remaining and return an error if we try to read more
data than we've got.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Fix refactoring breakage.

Reviewed-by: Rich Salz <rsalz@openssl.org>

don't reset return value to 0

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add -Wconditional-uninitialized to clang strict warnings.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Build with --strict-warnings on FreeBSD.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Make BSD make happy with subdirectories.

Reviewed-by: Richard Levitte

GH336: Return an exit code if report fails

Reviewed-by: Richard Levitte <levitte@openssl.org>

Only define PAGE_SIZE if not already defined.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Remove erroneous server_random filling

Commit e481f9b90b164 removed OPENSSL_NO_TLSEXT from the code.

Previously if OPENSSL_NO_TLSEXT *was not* defined then the server random was
filled during getting of the ClientHello. If it *was* defined then the
server random would be filled in ssl3_send_server_hello(). Unfortunately in
commit e481f9b90b164 the OPENSSL_NO_TLSEXT guards were removed but *both*
server random fillings were left in. This could cause problems for session
ticket callbacks.

Reviewed-by: Stephen Henson <steve@openssl.org>

Clear BN-mont values when free'ing it.

From a CloudFlare patch.

Reviewed-by: Dr. Stephen Henson <steve@openssl.org>

Various doc fixes from GH pull requests

Thanks folks:
        348 Benjamin Kaduk
        317 Christian Brueffer
        254 Erik Tews
        253 Erik Tews
        219 Carl Mehner
        155 (ghost)
        95 mancha
        51 DominikNeubauer

Reviewed-by: Dr. Stephen Henson <steve@openssl.org>

RT3742: Add xmpp_server to s_client.

Reviewed-by: Matt Caswell <matt@openssl.org>

RT3963: Allow OCSP stapling with -rev and -www

Reviewed-by: Matt Caswell <matt@openssl.org>

RT3962: Check accept_count only if not unlimited

Reviewed-by: Matt Caswell <matt@openssl.org>

RT3961: Fix switch/case errors in flag parsing

Reviewed-by: Matt Caswell <matt@openssl.org>

RT3959: Fix misleading comment

Reviewed-by: Matt Caswell <matt@openssl.org>

cleanse psk_identity on error

Reviewed-by: Matt Caswell <matt@openssl.org>

Free and cleanse pms on error

Reviewed-by: Matt Caswell <matt@openssl.org>

Don't request certificates for any PSK ciphersuite

Reviewed-by: Matt Caswell <matt@openssl.org>

CAMELLIA PSK ciphersuites from RFC6367

Reviewed-by: Matt Caswell <matt@openssl.org>

Add PSK ciphersuites to docs

Reviewed-by: Matt Caswell <matt@openssl.org>

Update CHANGES

Reviewed-by: Matt Caswell <matt@openssl.org>

Add RFC4785 ciphersuites

Reviewed-by: Matt Caswell <matt@openssl.org>

Add RFC4279, RFC5487 and RFC5489 ciphersuites.

Note: some of the RFC4279 ciphersuites were originally part of PR#2464.

Reviewed-by: Matt Caswell <matt@openssl.org>

Initial new PSK ciphersuite defines

Reviewed-by: Matt Caswell <matt@openssl.org>

Add full PSK trace support

Reviewed-by: Matt Caswell <matt@openssl.org>

PSK premaster secret derivation.

Move PSK premaster secret algorithm to ssl_generate_master secret so
existing key exchange code can be used and modified slightly to add
the PSK wrapping structure.

Reviewed-by: Matt Caswell <matt@openssl.org>

Extended PSK server support.

Add support for RSAPSK, DHEPSK and ECDHEPSK server side.

Update various checks to ensure certificate and server key exchange messages
are only sent when required.

Update message handling. PSK server key exchange parsing now include an
identity hint prefix for all PSK server key exchange messages. PSK
client key exchange message expects PSK identity and requests key for
all PSK key exchange ciphersuites.

Update flags for RSA, DH and ECDH so they are also used in PSK.

Reviewed-by: Matt Caswell <matt@openssl.org>

Extended PSK client support.

Add support for RSAPSK, DHEPSK and ECDHEPSK client side.

Update various checks to ensure certificate and server key exchange messages
are only expected when required.

Update message handling. PSK server key exchange parsing now expects an
identity hint prefix for all PSK server key exchange messages. PSK
client key exchange message requests PSK identity and key for all PSK
key exchange ciphersuites and includes identity in message.

Update flags for RSA, DH and ECDH so they are also used in PSK.

Reviewed-by: Matt Caswell <matt@openssl.org>

PSK PRF correction.

For SHA384 PRF PSK ciphersuites we have to switch to default PRF for
TLS < 1.2

Reviewed-by: Matt Caswell <matt@openssl.org>

Make auto DH work with DHEPSK

Reviewed-by: Matt Caswell <matt@openssl.org>

Check for kECDH with extensions.

Reviewed-by: Matt Caswell <matt@openssl.org>

Enable PSK if corresponding mask set.

Reviewed-by: Matt Caswell <matt@openssl.org>

Disable all PSK if no callback.

Reviewed-by: Matt Caswell <matt@openssl.org>

Disable unsupported PSK algorithms

Reviewed-by: Matt Caswell <matt@openssl.org>

new PSK text constants

Reviewed-by: Matt Caswell <matt@openssl.org>

New PSK aliases.

Reviewed-by: Matt Caswell <matt@openssl.org>

New PSK keyex text constants

Reviewed-by: Matt Caswell <matt@openssl.org>

fields for PSK key, new constants

Reviewed-by: Matt Caswell <matt@openssl.org>

Fix write failure handling in DTLS1.2

The DTLS code is supposed to drop packets if we try to write them out but
the underlying BIO write buffers are full. ssl3_write_pending() contains
an incorrect test for DTLS that controls this. The test only checks for
DTLS1 so DTLS1.2 does not correctly clear the internal OpenSSL buffer which
can later cause an assert to be hit. This commit changes the test to cover
all DTLS versions.

RT#3967

Reviewed-by: Tim Hudson <tjh@openssl.org>

RT3774: double-free in DSA

Reviewed-by: Matt Caswell <matt@openssl.org>

RT3639: Add -no_comp description to online help

Reviewed-by: Tim Hudson <tjh@openssl.org>

Tweak README about rt and bug reporting.

Reviewed-by: Matt Caswell <matt@openssl.org>

Document signature algorithm setting functions.

Reviewed-by: Matt Caswell <matt@openssl.org>

Add some OCSP documentation.

Reviewed-by: Matt Caswell <matt@openssl.org>

Allow any order for signature algorithm string.

Reviewed-by: Matt Caswell <matt@openssl.org>

Add test for SSL_set_session_ticket_ext

The function SSL_set_session_ticket_ext sets the ticket data to be sent in
the ClientHello. This is useful for EAP-FAST. This commit adds a test to
ensure that when this function is called the expected ticket data actually
appears in the ClientHello.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Remove support for SSL3_FLAGS_DELAY_CLIENT_FINISHED

This flag was not set anywhere within the codebase (only read). It could
only be set by an app reaching directly into s->s3->flags and setting it
directly. However that method became impossible when libssl was opaquified.

Even in 1.0.2/1.0.1 if an app set the flag directly it is only relevant to
ssl3_connect(), which calls SSL_clear() during initialisation that clears
any flag settings. Therefore it could take effect if the app set the flag
after the handshake has started but before it completed. It seems quite
unlikely that any apps really do this (especially as it is completely
undocumented).

The purpose of the flag is suppress flushing of the write bio on the client
side at the end of the handshake after the client has written the Finished
message whilst resuming a session. This enables the client to send
application data as part of the same flight as the Finished message.

This flag also controls the setting of a second flag SSL3_FLAGS_POP_BUFFER.
There is an interesting comment in the code about this second flag in the
implementation of ssl3_write:

/* This is an experimental flag that sends the
 * last handshake message in the same packet as the first
 * use data - used to see if it helps the TCP protocol during
 * session-id reuse */

It seems the experiment did not work because as far as I can tell nothing
is using this code. The above comment has been in the code since SSLeay.

This commit removes support for SSL3_FLAGS_DELAY_CLIENT_FINISHED, as well
as the associated SSL3_FLAGS_POP_BUFFER.

Reviewed-by: Rich Salz <rsalz@openssl.org>

rsaz_exp.h: align license with the rest of the contribution

Reviewed-by: Rich Salz <rsalz@openssl.org>

Document shared sigalgs functions.

Reviewed-by: Tim Hudson <tjh@openssl.org>

Some cleanups for crypto/bn

Create bn_free_d utility routine and use it.
Fix RT3950
Also a missing cleanse, from Loganaden Velvindron (loganaden@gmail.com),
who noticed it in a Cloudflare patch.

Reviewed-by: Richard Levitte <levitte@openssl.org>

free names before context

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

typo

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Update demo.

Use new SSL_CONF options in demo. Add intermediate and root CAs and
update all to use SHA256.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

SSL_CONF additions.

Add support for loading verify and chain stores in SSL_CONF.

Commands to set verify mode and client CA names.

Add documentation.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Rewrite crypto/ex_data

Removed ability to set ex_data impl at runtime.  This removed these
three functions:
    const CRYPTO_EX_DATA_IMPL *CRYPTO_get_ex_data_implementation(void);
    int CRYPTO_set_ex_data_implementation(const CRYPTO_EX_DATA_IMPL *i);
    int CRYPTO_ex_data_new_class(void);
It is no longer possible to change the ex_data implementation at
runtime.  (Luckily those functions were never documented :)

Also removed the ability to add new exdata "classes."  We don't believe
this received much (if any) use, since you can't add it to OpenSSL objects,
and there are probably better (native) methods for developers to add
their own extensible data, if they really need that.

Replaced the internal hash table (of per-"class" stacks) with a simple
indexed array.  Reserved an index for "app" application.

Each API used to take the lock twice; now it only locks once.

Use local stack storage for function pointers, rather than malloc,
if possible (i.e., number of ex_data items is under a dozen).

Make CRYPTO_EX_DATA_FUNCS opaque/internal.

Also fixes RT3710; index zero is reserved.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Use uint32_t consistently for flags.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Remove obsolete key formats.

Remove support for RSA_NET and Netscape key format (-keyform n).

Also removed documentation of SGC.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Fix author credit for e5c0bc6

Reviewed-by: Richard Levitte <levitte@openssl.org>

Revert "Missing perldoc markup around < literal"

This reverts commit e5c0bc6cc49a23b50a272801c4bd53639c25fca4.
Reviewed-by: Richard Levitte <levitte@openssl.org>

GH322: Fix typo in generated comment.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Maintain backwards-compatible SSLv23_method macros

Reviewed-by: Tim Hudson <tjh@openssl.org>

Can't use -trusted with -CA{path,file}

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Missing perldoc markup around < literal

Reviewed-by: Richard Levitte <levitte@openssl.org>

Conversion to UTF-8 where needed

This leaves behind files with names ending with '.iso-8859-1'.  These
should be safe to remove.  If something went wrong when re-encoding,
there will be some files with names ending with '.utf8' left behind.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Small script to re-encode files that need it to UTF-8

This requires 'iconv' and that 'file' can take the options '-b' and '-i'.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Remove extra '; \' in apps/Makefile

Fixes GH#330

Reviewed-by: Rich Salz <rsalz@openssl.org>

Set numeric IDs for tar as well

Reviewed-by: Matt Caswell <matt@openssl.org>

Stop using tardy

Instead of piping through tardy, and possibly suffering from bugs in certain
versions, use --transform, --owner and --group directly with GNU tar (we
already expect that tar variant).

Reviewed-by: Rich Salz <rsalz@openssl.org>