Implement RSASSA-PKCS1-v1_5 as specified.

RFC 3447, section 8.2.2, steps 3 and 4 states that verifiers must encode
the DigestInfo struct and then compare the result against the public key
operation result. This implies that one and only one encoding is legal.

OpenSSL instead parses with crypto/asn1, then checks that the encoding
round-trips, and allows some variations for the parameter. Sufficient
laxness in this area can allow signature forgeries, as described in
https://www.imperialviolet.org/2014/09/26/pkcs1.html

Although there aren't known attacks against OpenSSL's current scheme,
this change makes OpenSSL implement the algorithm as specified. This
avoids the uncertainty and, more importantly, helps grow a healthy
ecosystem. Laxness beyond the spec, particularly in implementations
which enjoy wide use, risks harm to the ecosystem for all. A signature
producer which only tests against OpenSSL may not notice bugs and
accidentally become widely deployed. Thus implementations have a
responsibility to honor the specification as tightly as is practical.

In some cases, the damage is permanent and the spec deviation and
security risk becomes a tax all implementors must forever pay, but not
here. Both BoringSSL and Go successfully implemented and deployed
RSASSA-PKCS1-v1_5 as specified since their respective beginnings, so
this change should be compatible enough to pin down in future OpenSSL
releases.

See also https://tools.ietf.org/html/draft-thomson-postel-was-wrong-00

As a bonus, by not having to deal with sign/verify differences, this
version is also somewhat clearer. It also more consistently enforces
digest lengths in the verify_recover codepath. The NID_md5_sha1 codepath
wasn't quite doing this right.

Reviewed-by: Kurt Roeckx <kurt@roeckx.be>
Reviewed-by: Rich Salz <rsalz@openssl.org>
GH: #1474

Partial revert of "Fix client verify mode to check SSL_VERIFY_PEER"

This partially reverts commit c636c1c47. It also tweaks the documentation
and comments in this area. On the client side the documented interface for
SSL_CTX_set_verify()/SSL_set_verify() is that setting the flag
SSL_VERIFY_PEER causes verfication of the server certificate to take place.
Previously what was implemented was that if *any* flag was set then
verification would take place. The above commit improved the semantics to
be as per the documented interface.

However, we have had a report of at least one application where an
application was incorrectly using the interface and used *only*
SSL_VERIFY_FAIL_IF_NO_PEER_CERT on the client side. In OpenSSL prior to
the above commit this still caused verification of the server certificate
to take place. After this commit the application silently failed to verify
the server certificate.

Ideally SSL_CTX_set_verify()/SSL_set_verify() could be modified to indicate
if invalid flags were being used. However these are void functions!

The simplest short term solution is to revert to the previous behaviour
which at least means we "fail closed" rather than "fail open".

Thanks to Cory Benfield for reporting this issue.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Simplify tests part 2

1) Remove some unnecessary fixtures
2) Add EXECUTE_TEST_NO_TEARDOWN shorthand when a fixture exists but has
no teardown.
3) Fix return values in ct_test.c (introduced by an earlier refactoring,
oops)

Note that for parameterized tests, the index (test vector) usually holds all the
customization, and there should be no need for a separate test
fixture. The CTS test is an exception: it demonstrates how to combine
customization with parameterization.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add a test for the wrong version number in a record

Prior to TLS1.3 we check that the received record version number is correct.
In TLS1.3 we need to ignore the record version number. This adds a test to
make sure we do it correctly.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Ignore the record version in TLS1.3

The record layer version field must be ignored in TLSv1.3, so we remove the
check when using that version.

Reviewed-by: Rich Salz <rsalz@openssl.org>

test_sslcbcpadding only makes sense <TLS1.3

We may get failures if we run it in TLS1.3, and it makes no sense anyway
so force TLS1.2

Reviewed-by: Rich Salz <rsalz@openssl.org>

Correct the Id for the TLS1.3 ciphersuite

We have one TLS1.3 ciphersuite, but there is a typo in the id that should
be corrected.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Always ensure that init_msg is initialised for a CCS

We read it later in grow_init_buf(). If CCS is the first thing received in
a flight, then it will use the init_msg from the last flight we received. If
the init_buf has been grown in the meantime then it will point to some
arbitrary other memory location. This is likely to result in grow_init_buf()
attempting to grow to some excessively large amount which is likely to
fail. In practice this should never happen because the only time we receive
a CCS as the first thing in a flight is in an abbreviated handshake. None
of the preceding messages from the server flight would be large enough to
trigger this.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Windows: use default ZLIB1 unless --with-zlib-lib is set

Reviewed-by: Andy Polyakov <appro@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1772)

Fix the LIBZ macro on VC config targets

If zlib-dynamic was given but not --with-zlib-lib, LIBZ was defined to
the empty string.  Instead, give it the default "ZLIB1".

Reviewed-by: Andy Polyakov <appro@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1772)

VMS: pretend to use -znodelete

VMS only unloads shared libraries at process rundown, so tell the
OpenSSL code so by pretending we linked with -znodelete.

Reviewed-by: Rich Salz <rsalz@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1862)

constant time test: include our internal/numbers.h rather than limits.h

Reviewed-by: Rich Salz <rsalz@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1856)

VMS build file template: assign 'arch' to local symbol table

Since the local symbol table is looked up before the global symbol
table, 'arch' assigned in the local symbol table of the DCL where MMS
is called would be seen before the 'arch' defined in descrip.mms.
Assigning it to the local symbol table in descrip.mms removes that
issue.

Reviewed-by: Rich Salz <rsalz@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1853)

Missed a mention of RT

Reviewed-by: Richard Levitte <levitte@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1849)

Correct internal tests sources

The sources for internal tests were sometimes badly formed, assuming
perl variables such as $target{cpuid_asm_src} contains only one file
name.  This change correctly massages all file names in such a
variable.

Reviewed-by: Rich Salz <rsalz@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1850)

VMS: update the list of files that need some extra treatment

This is related to a lack in path merging involding includes of includes

Reviewed-by: Rich Salz <rsalz@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1846)

VMS: correct the logic around linking executables

The logic around avoiding MULDEF warnings was flawed.  Simplifying it
makes it better.

Reviewed-by: Rich Salz <rsalz@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1846)

Don't create fixtures for simple tests

The test fixtures are (meant to be) useful for sharing common
setup. Don't bother when we don't have any setup/teardown.

This only addresses simple tests. Parameterized tests (ADD_ALL_TESTS)
will be made more user-friendly in a follow-up.

Reviewed-by: Rich Salz <rsalz@openssl.org>

testutil: always print errors on failure

Reviewed-by: Richard Levitte <levitte@openssl.org>

Travis: add a strict build

Clang on Linux seems to catch things that we might miss otherwise.
Also, throw in 'no-deprecated' to make sure we test that as well.

Reviewed-by: Matt Caswell <matt@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1839)

Fix a missed size_t variable declaration

pqueue_size() now returns a size_t, but the variable that gets returned
was still declared as an int.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix some style issues from libssl size_tify review

Reviewed-by: Rich Salz <rsalz@openssl.org>

Tweak the SSL_read()/SSL_write() text based on feedback received.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Rename all "read" variables with "readbytes"

Travis is reporting one file at a time shadowed variable warnings where
"read" has been used. This attempts to go through all of libssl and replace
"read" with "readbytes" to fix all the problems in one go.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Clarify the return values for SSL_read_ex()/SSL_write_ex()

Give more detail on what constitutes success/failure.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix a shadowed variable declaration warning picked up by Travis

Rename "read" to "readbytes"

Reviewed-by: Rich Salz <rsalz@openssl.org>

Document the HMAC_size() function

Reviewed-by: Rich Salz <rsalz@openssl.org>

Test the size_t constant time functions

Reviewed-by: Rich Salz <rsalz@openssl.org>

Ensure SSL_DEBUG works following size_t changes

Reviewed-by: Rich Salz <rsalz@openssl.org>

Clarify the return values for the peek functions

Reviewed-by: Rich Salz <rsalz@openssl.org>

Updates various man pages based on review feedback received.

Improvements to style, grammar etc.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix style issues in HMAC_size()

Based on review feedback.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix some bogus warnings about uninitialised variables

Travis was failing in some builds due to a bogus complaint
about uninit variables.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix some clashing symbol numbers due to merge conflict

Reviewed-by: Rich Salz <rsalz@openssl.org>

Document the newly added SSL functions

Also document SSL_peek() which was missing from the docs.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Remove a stray TODO that has already been fixed

Reviewed-by: Rich Salz <rsalz@openssl.org>

Provide some constant time functions for dealing with size_t values

Also implement the using of them

Reviewed-by: Rich Salz <rsalz@openssl.org>

Ensure HMAC_size() handles errors correctly

Reviewed-by: Rich Salz <rsalz@openssl.org>

Now that we can use size_t in PACKET lets use it

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix misc size_t issues causing Windows warnings in 64 bit

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert the mac functions to just return 1 for success and 0 for failure

Previously they return -1 for failure or the size of the mac. But the size
was never used anywhere.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix some ssl3_record code witch converstion to/from size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Add some PACKET functions for size_t

And use them in the DTLS code

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert SSL BIO to use SSL_write_ex().

We also modify the SSL_get_error() function to handle the fact that with
SSL_write_ex() the error return is 0 not -1, and fix some bugs in the
SSL BIO reading.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix some missed size_t updates

Reviewed-by: Rich Salz <rsalz@openssl.org>

Resolve some outstanding size_t related TODOs

Reviewed-by: Rich Salz <rsalz@openssl.org>

Update misc function params in libssl for size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert some libssl local functions to size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Update cookie_len for size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Update numerous misc libssl fields to be size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert session_id_length and sid_ctx_len to size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert master_secret_size code to size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert various mac_secret_size usage to size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert ssl3_cbc_digest_record for size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert some misc record layer functions for size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert SSL3_RECORD_clear() and SSL3_RECORD_release() to size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert libssl writing for size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Further libssl size_t-ify of reading

Writing still to be done

Reviewed-by: Rich Salz <rsalz@openssl.org>

Convert record layer to use size_t

Reviewed-by: Rich Salz <rsalz@openssl.org>

Remove an unused field in ossl_shim

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add a wildcard exception for TLS13 tests

Reviewed-by: Richard Levitte <levitte@openssl.org>

Swap header copyrights to standard OpenSSL

As per permission from Google (Emilia).

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add missing bn.h include

Reviewed-by: Richard Levitte <levitte@openssl.org>

Update the BoringSSL suppressions file based on the latest shim

The updated shim has the ability to skip tests using unimplemented flags.
This should reduce the number of test failures.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Rename BoringSSL style OPENSSL_WINDOWS to OPENSSL_SYS_WINDOWS

Reviewed-by: Richard Levitte <levitte@openssl.org>

Fix a code inconsistency

Move from two ifs to a single one with an &&

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove some #if 0'd out code

It was only a sanity check anyway, so isn't needed

Reviewed-by: Richard Levitte <levitte@openssl.org>

Removed scoped_types.h

It is no longer used (replaced with bssl:UniquePtr)

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove some flags that are unused in the shim

Reviewed-by: Richard Levitte <levitte@openssl.org>

Use the -allow-unimplemented feature of the BoringSSL runner

That way we can remove flags that we don't support

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove unused BoringSSL specific flags

We will rely on the -allow-unimplemented feature instead.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove some unreferenced fields from TestState

They were there for BoringSSL only features which are not relevant to us.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove some #if 0'd out code

It was just a sanity check and isn't needed

Reviewed-by: Richard Levitte <levitte@openssl.org>

Fix argument order in documentation

git clone has the directory name last

Reviewed-by: Richard Levitte <levitte@openssl.org>

Remove test/ossl_shim/Makefile

This Makefile was temporary. Building ossl_shim has now been integrated into
to the build system.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add documentation on the BoringSSL test suite integration

Added the file README.external which describes how to build and run OpenSSL
to use the BoringSSL test suite. Also updated INSTALL to point to it.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add -std=c++11 to CXXFLAGS

Reviewed-by: Richard Levitte <levitte@openssl.org>

Fix some unused variable warnings in ossl_shim

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add a comment to 90-test_external.t to explain why we need filter_run

Also rename executable to cmd...otherwise it breaks!

Reviewed-by: Richard Levitte <levitte@openssl.org>

Convert 90-test_external.t to using "executable" rather than "system"

Use the newly added "executable" function rather than "system". Also filter
the output to add a prefix to every line so that the "ok" doesn't confuse
Test::More

Reviewed-by: Richard Levitte <levitte@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Control building of ossl_shim through Configure

Don't build ossl_shim by default. Switch it on through
enable-external-tests.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Integrate ossl_shim into the build

Reviewed-by: Richard Levitte <levitte@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Add a shim config file

This just disables all tests that fail at the moment. Over time we will
want to go over these and figure out why they are failing (and fix them if
appropriate)

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add ossl_shim to .gitignore

Reviewed-by: Richard Levitte <levitte@openssl.org>

Rebase shim against latest boringssl code

Numerous conflicts resolved. rebase was against commit 490469f850.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Add a test to call the BoringSSL test suite

This adds a test to the OpenSSL test suite to invoke the BoringSSL test
suite.

It assumes you have already compiled the ossl_shim (see previous commit).
It also assumes that you have an environment variable BORING_RUNNER_DIR
set up to point to the ssl/test/runner directory of a checkout of BoringSSL.

This has only been tested with a very old version of BoringSSL (from commit
f277add6c) - since that was the last known checkout where the shim compiles
successfully. Even with that version of BoringSSL this test will fail. There
are lots of Boring tests that are failing for various reasons. Some might
be due to bugs in OpenSSL, some might be due to features that BoringSSL has
that OpenSSL doesn't, some are due to assumptions about the way BoringSSL
behaves that are not true for OpenSSL etc.

To get the verbose BoringSSL test output, run like this:

VERBOSE=1 BORING_RUNNER_DIR=/path/to/boring/ssl/test/runner make \
TESTS="test_external" test

Reviewed-by: Richard Levitte <levitte@openssl.org>

Integrate BoringSSL shim

The BoringSSL test suite contains numerous tests which OpenSSL does not.

The BoringSSL test runner uses a shim to launch the library and execute the
tests. This is a version of the BoringSSL shim converted to compile against
OpenSSL instead.

This is primarily based on the work of David Benjamin from the BoringSSL
project who did most of the necessary conversion. It also includes a few
other tweaks for opacity changes etc.

This is based on a *very* old version of BoringSSL from commit f277add6c.
That was the last commit known to work with this patched shim. Later
versions may also work but lots of merge conflicts occur when trying to
bring it up to date.

At the moment this has not been integrated into the build system. There is
a very simple standalone makefile in the ossl_shim directory which should
be executed directly before tyring to use the shim.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Don't assume to know the shared library extension

test/shlibloadtest.c assumes all Unix style platforms use .so as
shared library extension.  This is not the case for Mac OS X, which
uses .dylib.  Instead of this, have the test recipe find out the
extension from configuration data.

Reviewed-by: Matt Caswell <matt@openssl.org>
Reviewed-by: Rich Salz <rsalz@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1844)

Update CRYPTO_set_mem_debug() doc

Reviewed-by: Richard Levitte <levitte@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1842)

Enable memory debugging while testing

Pre 1.1.0, 'make test' would set the environment variable
OPENSSL_DEBUG_MEMORY to "on".  This got lost when translating the old
build files to the new templates.  This changes reintroduces that
variable.

Reviewed-by: Rich Salz <rsalz@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1840)

test/shlibloadtest: small fixes

- Make sure to initialise SHLIB variables
- Make sure to make local variables static

Reviewed-by: Matt Caswell <matt@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1838)

Clang doesn't like -znodelete, make it a linker flag instead

gcc is kinder, it silently passes quite a few flags to ld, while clang
is stricter and wants them prefixed with -Wl,

Reviewed-by: Matt Caswell <matt@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1836)

Clean away remaining 'selftest' code

All of these don't compile cleanly any more, probably haven't for quite
some time

Reviewed-by: Emilia Käsper <emilia@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1789)

Finally, add a test recipe for the internal tests

Reviewed-by: Emilia Käsper <emilia@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1789)

Convert mdc2 test print to internal test

Reviewed-by: Emilia Käsper <emilia@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1789)

Convert x509 selftests to internal test

Reviewed-by: Emilia Käsper <emilia@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1789)

Add a HEADER_MODES_H guard in include/openssl/modes.h

Reviewed-by: Emilia Käsper <emilia@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1789)

Convert modes selftests (cts128 and gcm128) to internal test

Reviewed-by: Emilia Käsper <emilia@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1789)

Convert asn1 selftests (a_strnid and ameth_lib) into internal test

Reviewed-by: Emilia Käsper <emilia@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1789)

VMS: ignore multiply defined symbols when linking programs

The Unix and Windows linkers appear to simply ignore if any symbol is
defined multiple times in different object files and libraries.

The VMS linker, on the other hand, warns about it, loud and clear.  It
will still create the executable, but does so screaming.  So we
complicate things by saving the linker output, look through all the
errors and warnings, and if they are only made up of %LINK-W-MULDEF,
we let it pass, otherwise we output the linker output and raise the
same exit code we got from the linker.

Reviewed-by: Emilia Käsper <emilia@openssl.org>
(Merged from https://github.com/openssl/openssl/pull/1789)