unified build scheme: adjust some scripts

util/mkdef.pl and Makefile.shared needs to know about the source and
the build directories.

Additionally, Makefile.shared needs to know how to build shared
libraries in a directory other than the current one.

Reviewed-by: Ben Laurie <ben@openssl.org>

unified build scheme: add a design document

This documents describes the three steps from build.info files via the
%unified_info database to the build-file templates, along with some
examples showing how the data gets processed along the way.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

unified build scheme: add and document the "unified" driving engine

common.tmpl will be used together with the template build file, and is
the engine that connects the information gathered from all the
build.info files with making the build file itself.

This file expects there to be a template section in the build file
template that defines a number perl functions designed to return
strings with appropriate lines for the build system at hand.  The
exact functions, what they can expect as arguments and what output
they're expected to produce is documented in Configurations/README.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Small fixes

- One typo fixed in crypto/bio/b_addr.c
- Add a comment in doc/crypto/BIO_parse_hostserv.pod to explain the
  blank lines with one lonely space each.

Reviewed-by: Andy Polyakov <appro@openssl.org>

add missing file p12_lcl.h

Reviewed-by: Tim Hudson <tjh@openssl.org>

Suppress DANE TLSA reflection when verification fails

As documented both SSL_get0_dane_authority() and SSL_get0_dane_tlsa()
are expected to return a negative match depth and nothing else when
verification fails.  However, this only happened when verification
failed during chain construction.  Errors in verification of the
constructed chain did not have the intended effect on these functions.

This commit updates the functions to check for verify_result ==
X509_V_OK, and no longer erases any accumulated match information
when chain construction fails.  Sophisticated developers can, with
care, use SSL_set_verify_result(ssl, X509_V_OK) to "peek" at TLSA
info even when verification fail.  They must of course first check
and save the real error, and restore the original error as quickly
as possible.  Hiding by default seems to be the safer interface.

Introduced X509_V_ERR_DANE_NO_MATCH code to signal failure to find
matching TLSA records.  Previously reported via X509_V_ERR_CERT_UNTRUSTED.

This also changes the "-brief" output from s_client to include
verification results and TLSA match information.

Mentioned session resumption in code example in SSL_CTX_dane_enable(3).
Also mentioned that depths returned are relative to the verified chain
which is now available via SSL_get0_verified_chain(3).

Added a few more test-cases to danetest, that exercise the new
code.

Resolved thread safety issue in use of static buffer in
X509_verify_cert_error_string().

Fixed long-stating issue in apps/s_cb.c which always sets verify_error
to either X509_V_OK or "chain to long", code elsewhere (e.g.
s_time.c), seems to expect the actual error.  [ The new chain
construction code is expected to correctly generate "chain
too long" errors, so at some point we need to drop the
work-arounds, once SSL_set_verify_depth() is also fixed to
propagate the depth to X509_STORE_CTX reliably. ]

Reviewed-by: Rich Salz <rsalz@openssl.org>

Following the PKCS#12 update, update crypto/pkcs12/build.info as well

Reviewed-by: Stephen Henson <steve@openssl.org>

Remove ancient compatibility defines.

Reviewed-by: Rich Salz <rsalz@openssl.org>

make update

Reviewed-by: Rich Salz <rsalz@openssl.org>

fix various formatting issues

Reviewed-by: Rich Salz <rsalz@openssl.org>

Only use compatibility macros for < 1.1 API.

Reviewed-by: Rich Salz <rsalz@openssl.org>

rename old functions names in libeay.num

Reviewed-by: Rich Salz <rsalz@openssl.org>

use new function names

Reviewed-by: Rich Salz <rsalz@openssl.org>

Add p12_sbag.c to Makefile.in

Reviewed-by: Rich Salz <rsalz@openssl.org>

Reorganise functions.

Move all PKCS12_SAFEBAG functions into new file p12_sbag.c.

Move MAC functions into p12_mutl.c

Reviewed-by: Rich Salz <rsalz@openssl.org>

pkcs12.h header reorganisation.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Use new names

Reviewed-by: Rich Salz <rsalz@openssl.org>

Rename PKCS12 function

Rename ancient PKCS12 functions to use more logical names. Include
defines from old to new name.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Use accessors in pkcs12 app.

Reviewed-by: Rich Salz <rsalz@openssl.org>

pkcs12 accessors

Reviewed-by: Rich Salz <rsalz@openssl.org>

more PKCS12 opacity

Reviewed-by: Rich Salz <rsalz@openssl.org>

New PKCS12 accessors, change macros to functions.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Make PKCS12 structures opaque

Reviewed-by: Rich Salz <rsalz@openssl.org>

Deprecate undocumented SSL_cache_hit().

Deprecate undocumented SSL_cache_hit(). Make SSL_session_reused() into a
real function.

Reviewed-by: Richard Levitte <levitte@openssl.org>

GH641: Don't care openssl_zmalloc

Don't cast malloc-family return values.
Also found some places where (a) blank line was missing; and (b)
the *wrong* return value was checked.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Use File::Path::rmtree rather than File::Path::remove_tree

Just like File::Path::make_path, File::Path::remove_tree didn't show
up before File::Path 2.06 / perl v5.10.1, so we prefer the legacy
function here as well.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Use File::Path::mkpath rather than File::Path::make_path

File::Path::make_path didn't show up before File::Path 2.06 / perl v5.10.1.
Because we're trying to stay compatible with perl v5.10.0 and up,
it's better to use the legacy interface.

Reviewed-by: Andy Polyakov <appro@openssl.org>

Fix engine key support in utilities.

Reviewed-by: Rich Salz <rsalz@openssl.org>

bio/b_sock.c: cleanup obsolete stuff.

Reviewed-by: Rich Salz <rsalz@openssl.org>

bn/Makefile.in: remove obsolete rules.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Configurations/00-base-templates.conf: harmonize extensions.

Reviewed-by: Richard Levitte <levitte@openssl.org>

avoid crash if hostserv is with host part only

(if priority is set to host)

Signed-off-by: Richard Levitte <levitte@openssl.org>
Reviewed-by: Andy Polyakov <appro@openssl.org>
Reviewed-by: Rich Salz <rsalz@openssl.org>

GH322 revisited: remove unused function.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Make TESTS= work with "nmake -f ms/ntdll.mak tests"

This works on Linux with Make already, and allows running only specified
tests.

Reviewed-by: Ben Laurie <ben@openssl.org>
Reviewed-by: Richard Levitte <levitte@openssl.org>

dtlsv1listentest includes e_os.h, reflect that in include dirs

Reviewed-by: Matt Caswell <matt@openssl.org>

Handle SSL_shutdown while in init more appropriately #2

Previous commit 7bb196a71 attempted to "fix" a problem with the way
SSL_shutdown() behaved whilst in mid-handshake. The original behaviour had
SSL_shutdown() return immediately having taken no action if called mid-
handshake with a return value of 1 (meaning everything was shutdown
successfully). In fact the shutdown has not been successful.

Commit 7bb196a71 changed that to send a close_notify anyway and then
return. This seems to be causing some problems for some applications so
perhaps a better (much simpler) approach is revert to the previous
behaviour (no attempt at a shutdown), but return -1 (meaning the shutdown
was not successful).

This also fixes a bug where SSL_shutdown always returns 0 when shutdown
*very* early in the handshake (i.e. we are still using SSLv23_method).

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

more doc fixes

dgst: using digest instead of specific digest commands
the digest list specified in man dgst may be inaccurate, hence using
digest and referring to the list in digest-commands

'sha' as a digest name is no longer supported

dgst,pkeyutl cmds help cleanup
- In dgst, pkeyutl cmds, some options help was missing.
- fixed a minor typo in openssl.pod, that fixes make install.
- digest-commands was showing ‘sha’, which is not a supported digest
anymore.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Tim Hudson <tjh@openssl.org>

Clarify resumed sessions and NULL return.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Fix memory leak in dtlsv1listentest

Reviewed-by: Rich Salz <rsalz@openssl.org>
MR: #1879

Allocate bio_err before turning on memleak checks

Reviewed-by: Tim Hudson <tjh@openssl.org>

Stack documentation.

Reviewed-by: Matt Caswell <matt@openssl.org>

commands help cleanup

opt_valtype 0 is same as '-' while printing cmd usage
asn1parse/ca/ciphers help cleanup

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

if no comparison function set make sk_sort no op

Reviewed-by: Rich Salz <rsalz@openssl.org>

make update

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Add documenation for X509_chain_up_ref()

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Add SSL_get0_verified_chain() to return verified chain of peer

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Display the linking commands that are performed

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Enhance and clear the support of linker flags

Some time ago, we had a ex_libs configuration setting that could be
divided into lflags and ex_libs.  These got divided in two settings,
lflags and ex_libs, and the former was interpreted to be general
linking flags.

Unfortunately, that conclusion wasn't entirely accurate.  Most of
those linking were meant to end up in a very precise position on the
linking command line, just before the spec of libraries the linking
depends on.

Back to the drawing board, we're diving things further, now having
lflags, which are linking flags that aren't depending on command line
position, plib_lflags, which are linking flags that should show up just
before the spec of libraries to depend on, and finally ex_libs, which
is the spec of extra libraries to depend on.

Also, documentation is changed in Configurations/README.  This was
previously forgotten.

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

GH587: Extend ECDH tests to more curves. Add more ECDH KATs.

squelch sign-compare warning

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Add BIO_ADDR_clear to libeay.num

Reviewed-by: Matt Caswell <matt@openssl.org>
MR: #1874

GH634: fix potential memory leak

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Kurt Roeckx <kurt@openssl.org>

RT4194: Restore old engine parameter parsing.

Allow initial engine names as first parameters before flags.
Also add engine param to help summary

Wrote manpage

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Add build.info lines for dtlsv1listentest

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Don't include sys/socket.h

It's not available on all OSs, e_os.h already does the right thing

Reviewed-by: Richard Levitte <levitte@openssl.org>
MR: #1870

Add missing static declarations in dtlsv1listentest.c

Clang rightly does not like extern symbols that are not declared
in any header file, as typically these are not intended for global
visibility and are exposed in error.  This was indeed the case with
various file-scope objects in dtlsv1listentest.c.

Reviewed-by: Richard Levitte <levitte@openssl.org>

Update DTLSv1_listen documentation

Make it clear that if we are unable to get hold of the peer address then
*peer is cleared and the family set to AF_UNSPEC.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Add tests for DTLSv1_listen

Adds a set of tests for the newly rewritten DTLSv1_listen function.
The test pokes various packets at the function and then checks
the return value and the data written out to ensure it is what we
would have expected.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Provide partial support for fragmented DTLS ClientHellos

The recently rewriten DTLSv1_listen code does not support fragmented
ClientHello messages because fragment reassembly requires server state
which is against the whole point of DTLSv1_listen. This change adds some
partial support for fragmented ClientHellos. It requires that the cookie
must be within the initial fragment. That way any non-initial ClientHello
fragments can be dropped and fragment reassembly is not required.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Add a BIO_ADDR_clear function

Adds a new function BIO_ADDR_clear to reset a BIO_ADDR back to an
unitialised state, and to set the family to AF_UNSPEC.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

GH601: Various spelling fixes.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

RT4070: Improve struct/union regexp

Reviewed-by: Andy Polyakov <appro@openssl.org>

Make DTLSv1_listen a first class function and change its type

The DTLSv1_listen function exposed details of the underlying BIO
abstraction and did not properly allow for IPv6. This commit changes the
"peer" argument to be a BIO_ADDR and makes it a first class function
(rather than a ctrl) to ensure proper type checking.

Reviewed-by: Richard Levitte <levitte@openssl.org>

RT4292: Remove ===== line

Also remove two mistakenly checked-in files.

Reviewed-by: Dr. Stephen Henson <steve@openssl.org>

RT1596: Add clarifying doc.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

GH628: Add -help to all apps docs.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

GH628: Add -help to all apps docs.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Ensure correct chain depth for policy checks with DANE bare key TA

Reviewed-by: Dr. Stephen Henson <steve@openssl.org>

Long overdue cleanup of X509 policy tree verification

Replace all magic numbers with #defined constants except in boolean
functions that return 0 for failure and 1 for success.  Avoid a
couple memory leaks in error recovery code paths.  Code style
improvements.

Reviewed-by: Dr. Stephen Henson <steve@openssl.org>

Various RT doc fixes

RT1556: doc/crypto/threads.pod
RT2024: Missing pages mentioned in crypto.pod
RT2890: Wrong size in ERR_string_error description.
RT3461: Better description of PEM Encryption
        (Jeffrey Walton <noloader@gmail.com>)
        Also, fix up formatting and removed some code examples
        that encourage unsafe patterns, like unencrypted private
        keys (Rich Salz)
RT4240: Document some speed flags (Tomas Mraz <tmraz@redhat.com>)
RT4260: Fix return value doc for X509_REQ_sign and X509_sign
        (Laetitia Baudoin <lbaudoin@google.com>)

Reviewed-by: Emilia Käsper <emilia@openssl.org>

enable leak checking for danetest

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix return code in CRYPTO_mem_leaks_fp()

Reviewed-by: Rich Salz <rsalz@openssl.org>

If memory debugging enabled return error on leaks.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Restore -no_comp switch for backwards compatible behaviour

Reviewed-by: Emilia Käsper <emilia@openssl.org>

VMS lacks socklen_t, give it one

Fortunately, we only use socklen_t internally

Reviewed-by: Rich Salz <rsalz@openssl.org>

Initialize variable

Reviewed-by: Tim Hudson <tjh@openssl.org>

Don't export local symbols on Solaris

Following on from earlier commits to prevent local symbols from being
exported in the shared libraries on Linux, this makes the equivalent changes
for Solaris.

Reviewed-by: Richard Levitte <levitte@openssl.org>

make update

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Add EC_KEY_priv2buf()

Add new function EC_KEY_priv2buf() to allocated and encode private
key octet in one call. Update and simplify ASN.1 and print routines.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Allocate ASN1_bn_print buffer internally.

Don't require an application to work out the appropriate buffer size for
ASN1_bn_print(), which is unsafe. Ignore the supplied buffer and allocate
it internally instead.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Use BN_bn2binpad

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

use enum type for do_EC_KEY_print

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

update EC ASN1 and print routines

Update EC ASN.1 and print routines to use EC_KEY_oct2priv and
EC_KEY_priv2oct.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Add EC_KEY_oct2priv and EC_KEY_priv2oct

New functions EC_KEY_oct2priv and EC_KEY_priv2oct. These are private key
equivalents of EC_POINT_oct2point and EC_POINT_point2oct which convert
between the private key octet format and EC_KEY.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Add ASN1_buf_print to print a buffer in ASN1_bn_print format.

Reviewed-by: Viktor Dukhovni <viktor@openssl.org>

Don't use RDRAND if told not to

Ensure we respect OPENSSL_NO_RDRAND

Reviewed-by: Rich Salz <rsalz@openssl.org>

Initialise with -1 rather than 1

A small typo crept in.

Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Add new DTLS-SRTP protection profiles from RFC 7714

Reviewed-by: Kurt Roeckx <kurt@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Add checks for IPv4 and IPv6 in OpenSSL::Test::Utils and use them

This uilds on the same way of checking for availability as we do in
TLSProxy.  We use all IP factories we know of, starting with those who
know both IPv6 and IPv4 and ending with the one that only knows IPv4
and cache their possible success as foundation for checking the
available of each IP domain.

80-test_ssl.t has bigger chances of working on platforms that do not
run both IP domains.

Reviewed-by: Rich Salz <rsalz@openssl.org>

Update crypto/bio/build.info

Reviewed-by: Rich Salz <rsalz@openssl.org>

Fix pkeyutl inability to directly access keys on hardware tokens

Reviewed-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Richard Levitte <levitte@openssl.org>

Change the transfer perl module so the real module gets properly registered

This is an important move if scripts want to refer to the loaded
module without having perl think it needs to be loaded (again).

Reviewed-by: Rich Salz <rsalz@openssl.org>

Add option to disable async

Add no-async option to Configure that forces ASYNC_NULL.
Related to RT1979
An embedded system or replacement C library (e.g. musl or uClibc)
may not support the *context APIs that are needed for async operation.

Compiles with musl. Ran unit tests, async tests skipped as expected.

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Matt Caswell <matt@openssl.org>

Make sure getaddrinfo and getnameinfo works as intended on Windows

Both getaddrinfo() and getnameinfo() have to be preceeded with a call
to BIO_sock_init().

Also, make sure to give gai_strerror() the actual error code.

Reviewed-by: Stephen Henson <steve@openssl.org>

If egd is disabled by default, it should be possible to enable

Reviewed-by: Andy Polyakov <appro@openssl.org>

Add ec -check option

Reviewed-by: Andy Polyakov <appro@openssl.org>

Fix potential buffer overrun

Signed-off-by: Rich Salz <rsalz@openssl.org>
Reviewed-by: Kurt Roeckx <kurt@openssl.org>

Use WSAGetLastError() on windows

Windows doesn't have h_error or hstrerror()

Reviewed-by: Richard Levitte <levitte@openssl.org>
MR: #1848

Restore xmm7 from the correct address on win64

Reviewed-by: Richard Levitte <levitte@openssl.org>
RT: #4288, MR: #1831

update OID tables

Reviewed-by: Matt Caswell <matt@openssl.org>

Add Curve OIDs from draft-josefsson-pkix-newcurves

Reviewed-by: Matt Caswell <matt@openssl.org>