Ensure RSA PSS correctly returns the right default digest
authorMatt Caswell <matt@openssl.org>
Thu, 8 Aug 2019 08:13:51 +0000 (09:13 +0100)
committerMatt Caswell <matt@openssl.org>
Fri, 9 Aug 2019 12:24:14 +0000 (13:24 +0100)
commit7467c87c6e88acca887bac0bf85ec0dc76fa522d
tree56151df71e03cdd1f294147bda530877c3459fea
parent85171a929d53fdac4b0da97eb2f4d85ff0ecd986
Ensure RSA PSS correctly returns the right default digest

A default digest of SHA256 was being returned for RSA PSS even if the
PSS parameters indicated a different digest must be used. We change this
so that the correct default digest is returned and additionally mark this
as mandatory for PSS.

This bug had an impact on sig alg selection in libssl. Due to this issue
an incorrect sig alg might be selected in the event that a server is
configured with an RSA-PSS cert with parameter restrictions.

Fixes #9545

Reviewed-by: Paul Dale <paul.dale@oracle.com>
(Merged from https://github.com/openssl/openssl/pull/9553)

(cherry picked from commit 9bcc9f973b2a216461dd6f140e47ef647eb733b4)
crypto/rsa/rsa_ameth.c