fix undefined behavior from signed overflow in strstr and memmem
authorRich Felker <dalias@aerifal.cx>
Fri, 1 May 2020 01:36:43 +0000 (21:36 -0400)
committerRich Felker <dalias@aerifal.cx>
Fri, 1 May 2020 01:52:28 +0000 (21:52 -0400)
commit593caa456309714402ca4cb77c3770f4c24da9da
tree29d9625b6a93d3d6232f504717070c7d15ce8f77
parent4486c579cbf0d989080705f515d08cb48636ba88
fix undefined behavior from signed overflow in strstr and memmem

unsigned char promotes to int, which can overflow when shifted left by
24 bits or more. this has been reported multiple times but then
forgotten. it's expected to be benign UB, but can trap when built with
explicit overflow catching (ubsan or similar). fix it now.

note that promotion to uint32_t is safe and portable even outside of
the assumptions usually made in musl, since either uint32_t has rank
at least unsigned int, so that no further default promotions happen,
or int is wide enough that the shift can't overflow. this is a
desirable property to have in case someone wants to reuse the code
elsewhere.
src/string/memmem.c
src/string/strstr.c