oweals/musl.git
6 years agoreintroduce hardening against partially-replaced allocator
Rich Felker [Fri, 20 Apr 2018 02:19:29 +0000 (22:19 -0400)]
reintroduce hardening against partially-replaced allocator

commit 618b18c78e33acfe54a4434e91aa57b8e171df89 removed the previous
detection and hardening since it was incorrect. commit
72141795d4edd17f88da192447395a48444afa10 already handled all that
remained for hardening the static-linked case. in the dynamic-linked
case, have the dynamic linker check whether malloc was replaced and
make that information available.

with these changes, the properties documented in commit
c9f415d7ea2dace5bf77f6518b6afc36bb7a5732 are restored: if calloc is
not provided, it will behave as malloc+memset, and any of the
memalign-family functions not provided will fail with ENOMEM.

6 years agoreturn chunks split off by memalign using __bin_chunk instead of free
Rich Felker [Fri, 20 Apr 2018 00:56:26 +0000 (20:56 -0400)]
return chunks split off by memalign using __bin_chunk instead of free

this change serves multiple purposes:

1. it ensures that static linking of memalign-family functions will
pull in the system malloc implementation, thereby causing link errors
if an attempt is made to link the system memalign functions with a
replacement malloc (incomplete allocator replacement).

2. it eliminates calls to free that are unpaired with allocations,
which are confusing when setting breakpoints or tracing execution.

as a bonus, making __bin_chunk external may discourage aggressive and
unnecessary inlining of it.

6 years agousing malloc implementation types/macros/idioms for memalign
Rich Felker [Fri, 20 Apr 2018 00:45:48 +0000 (20:45 -0400)]
using malloc implementation types/macros/idioms for memalign

the generated code should be mostly unchanged, except for explicit use
of C_INUSE in place of copying the low bits from existing chunk
headers/footers.

these changes also remove mild UB due to dubious arithmetic on
pointers into imaginary size_t[] arrays.

6 years agomove malloc implementation types and macros to an internal header
Rich Felker [Thu, 19 Apr 2018 22:43:05 +0000 (18:43 -0400)]
move malloc implementation types and macros to an internal header

6 years agorevert detection of partially-replaced allocator
Rich Felker [Thu, 19 Apr 2018 19:25:48 +0000 (15:25 -0400)]
revert detection of partially-replaced allocator

commit c9f415d7ea2dace5bf77f6518b6afc36bb7a5732 included checks to
make calloc fallback to memset if used with a replaced malloc that
didn't also replace calloc, and the memalign family fail if free has
been replaced. however, the checks gave false positives for
replacement whenever malloc or free resolved to a PLT entry in the
main program.

for now, disable the checks so as not to leave libc in a broken state.
this means that the properties documented in the above commit are no
longer satisfied; failure to replace calloc and the memalign family
along with malloc is unsafe if they are ever called.

the calloc checks were correct but useless for static linking. in both
cases (simple or full malloc), calloc and malloc are in a source file
together, so replacement of one but not the other would give linking
errors. the memalign-family check was useful for static linking, but
broken for dynamic as described above, and can be replaced with a
better link-time check.

6 years agosetvbuf: minor comment typo fix
Will Dietz [Wed, 18 Apr 2018 21:17:44 +0000 (16:17 -0500)]
setvbuf: minor comment typo fix

6 years agoarm: use a_ll/a_sc atomics when building for ARMv6T2
Andre McCurdy [Thu, 19 Apr 2018 01:51:44 +0000 (18:51 -0700)]
arm: use a_ll/a_sc atomics when building for ARMv6T2

ARMv6 cores with support for Thumb2 can take advantage of the "ldrex"
and "strex" based implementations of a_ll and a_sc.

6 years agoarm: respect both __ARM_ARCH_6KZ__ and __ARM_ARCH_6ZK__ macros
Andre McCurdy [Thu, 19 Apr 2018 01:51:43 +0000 (18:51 -0700)]
arm: respect both __ARM_ARCH_6KZ__ and __ARM_ARCH_6ZK__ macros

__ARM_ARCH_6ZK__ is a gcc specific historical typo which may not be
defined by other compilers.

  https://gcc.gnu.org/ml/gcc-patches/2015-07/msg02237.html

To avoid unexpected results when building for ARMv6KZ with clang, the
correct form of the macro (ie 6KZ) needs to be tested. The incorrect
form of the macro (ie 6ZK) still needs to be tested for compatibility
with pre-2015 versions of gcc.

6 years agoprovide optimized a_ctz_32 for arm
Andre McCurdy [Thu, 19 Apr 2018 00:41:00 +0000 (17:41 -0700)]
provide optimized a_ctz_32 for arm

Provide an ARM specific a_ctz_32 helper function for architecture
versions for which it can be implemented efficiently via the "rbit"
instruction (ie all Thumb-2 capable versions of ARM v6 and above).

6 years agoremove a_ctz_l from arch specific atomic_arch.h
Andre McCurdy [Thu, 19 Apr 2018 00:40:59 +0000 (17:40 -0700)]
remove a_ctz_l from arch specific atomic_arch.h

Update atomic.h to provide a_ctz_l in all cases (atomic_arch.h should
now only provide a_ctz_32 and/or a_ctz_64).

The generic version of a_ctz_32 now takes advantage of a_clz_32 if
available and the generic a_ctz_64 now makes use of a_ctz_32.

6 years agofix out of bounds write for zero length buffer in gethostname
Marc André Tanner [Sun, 11 Mar 2018 08:55:06 +0000 (09:55 +0100)]
fix out of bounds write for zero length buffer in gethostname

6 years agoadd support for caller-provided buffers to setvbuf
Rich Felker [Wed, 18 Apr 2018 19:29:18 +0000 (15:29 -0400)]
add support for caller-provided buffers to setvbuf

6 years agoclean up allocation/setup logic for open_[w]memstream
Rich Felker [Wed, 18 Apr 2018 19:08:16 +0000 (15:08 -0400)]
clean up allocation/setup logic for open_[w]memstream

bring these functions up to date with the current idioms we use/prefer
in fmemopen and fopencookie.

6 years agoclean up allocation/setup logic for fmemopen
Rich Felker [Wed, 18 Apr 2018 18:57:10 +0000 (14:57 -0400)]
clean up allocation/setup logic for fmemopen

rather than manually performing pointer arithmetic to carve multiple
objects out of one allocation, use a containing struct that
encompasses them all.

6 years agominor cleanup in fopencookie
Rich Felker [Wed, 18 Apr 2018 18:46:05 +0000 (14:46 -0400)]
minor cleanup in fopencookie

assign entire struct rather than member-at-a-time. don't repeat buffer
sizes; always use sizeof to ensure consistency.

6 years agoallow interposition/replacement of allocator (malloc)
Rich Felker [Tue, 17 Apr 2018 22:36:19 +0000 (18:36 -0400)]
allow interposition/replacement of allocator (malloc)

replacement is subject to conditions on the replacement functions.
they may only call functions which are async-signal-safe, as specified
either by POSIX or as an implementation-defined extension. if any
allocator functions are replaced, at least malloc, realloc, and free
must be provided. if calloc is not provided, it will behave as
malloc+memset. any of the memalign-family functions not provided will
fail with ENOMEM.

in order to implement the above properties, calloc and __memalign
check that they are using their own malloc or free, respectively.
choice to check malloc or free is based on considerations of
supporting __simple_malloc. in order to make this work, calloc is
split into separate versions for __simple_malloc and full malloc;
commit ba819787ee93ceae94efd274f7849e317c1bff58 already did most of
the split anyway, and completing it saves an extra call frame.

previously, use of -Bsymbolic-functions made dynamic interposition
impossible. now, we are using an explicit dynamic-list, so add
allocator functions to the list. most are not referenced anyway, but
all are added for completeness.

6 years agorefactor flockfile not to duplicate lock mechanism logic
Rich Felker [Wed, 18 Apr 2018 04:16:12 +0000 (00:16 -0400)]
refactor flockfile not to duplicate lock mechanism logic

6 years agofix stdio lock dependency on read-after-free not faulting
Rich Felker [Wed, 18 Apr 2018 03:59:41 +0000 (23:59 -0400)]
fix stdio lock dependency on read-after-free not faulting

instead of using a waiters count, add a bit to the lock field
indicating that the lock may have waiters. threads which obtain the
lock after contending for it will perform a potentially-spurious wake
when they release the lock.

6 years agoremove unused __brk function/source file
Rich Felker [Tue, 17 Apr 2018 20:37:30 +0000 (16:37 -0400)]
remove unused __brk function/source file

commit e3bc22f1eff87b8f029a6ab31f1a269d69e4b053 removed all references
to __brk.

6 years agoenable reclaim_gaps for fdpic
Rich Felker [Tue, 17 Apr 2018 19:55:18 +0000 (15:55 -0400)]
enable reclaim_gaps for fdpic

the existing laddr function for fdpic cannot translate ELF virtual
addresses outside of the LOAD segments to runtime addresses because
the fdpic loadmap only covers the logically-mapped part. however the
whole point of reclaim_gaps is to recover the slack space up to the
page boundaries, so it needs to work with such addresses.

add a new laddr_pg function that accepts any address in the page range
for the LOAD segment by expanding the loadmap records out to page
boundaries. only use the new version for reclaim_gaps, so as not to
impact performance of other address lookups.

also, only use laddr_pg for the start address of a gap; the end
address lies one byte beyond the end, potentially in a different page
where it would get mapped differently. instead of mapping end, apply
the length (end-start) to the mapped value of start.

6 years agocomment __malloc_donate overflow logic
Rich Felker [Tue, 17 Apr 2018 19:18:49 +0000 (15:18 -0400)]
comment __malloc_donate overflow logic

6 years agoldso, malloc: implement reclaim_gaps via __malloc_donate
Alexander Monakov [Mon, 16 Apr 2018 17:54:36 +0000 (20:54 +0300)]
ldso, malloc: implement reclaim_gaps via __malloc_donate

Split 'free' into unmap_chunk and bin_chunk, use the latter to introduce
__malloc_donate and use it in reclaim_gaps instead of calling 'free'.

6 years agomalloc: fix an over-allocation bug
Alexander Monakov [Mon, 16 Apr 2018 17:54:35 +0000 (20:54 +0300)]
malloc: fix an over-allocation bug

Fix an instance where realloc code would overallocate by OVERHEAD bytes
amount. Manually arrange for reuse of memcpy-free-return exit sequence.

6 years agouse explicit dynamic-list rather than symbolic-functions for linking
Rich Felker [Tue, 17 Apr 2018 00:12:12 +0000 (20:12 -0400)]
use explicit dynamic-list rather than symbolic-functions for linking

we have always bound symbols at libc.so link time rather than runtime
to minimize startup-time relocations and overhead of calls through the
PLT, and possibly also to preclude interposition that would not work
correctly anyway if allowed. historically, binding at link-time was
also necessary for the dynamic linker to work, but the dynamic linker
bootstrap overhaul in commit f3ddd173806fd5c60b3f034528ca24542aecc5b9
made it unnecessary.

our use of -Bsymbolic-functions, rather than -Bsymbolic, was chosen
because the latter is incompatible with public global data; it makes
it incompatible with copy relocations in the main program. however,
not all global data needs to be public. by using --dynamic-list
instead with an explicit list, we can reduce the number of symbolic
relocations left for runtime.

this change will also allow us to permit interposition of specific
functions (e.g. the allocator) if/when we want to, by adding them to
the dynamic list.

6 years agofix return value of nice function
Rich Felker [Mon, 16 Apr 2018 21:35:43 +0000 (17:35 -0400)]
fix return value of nice function

the Linux SYS_nice syscall is unusable because it does not return the
newly set priority. always use SYS_setpriority. also avoid overflows
in addition of inc by handling large inc values directly without
examining the old nice value.

6 years agooptimize malloc0
Alexander Monakov [Sat, 16 Dec 2017 11:27:25 +0000 (14:27 +0300)]
optimize malloc0

Implementation of __malloc0 in malloc.c takes care to preserve zero
pages by overwriting only non-zero data. However, malloc must have
already modified auxiliary heap data just before and beyond the
allocated region, so we know that edge pages need not be preserved.

For allocations smaller than one page, pass them immediately to memset.
Otherwise, use memset to handle partial pages at the head and tail of
the allocation, and scan complete pages in the interior. Optimize the
scanning loop by processing 16 bytes per iteration and handling rest of
page via memset as soon as a non-zero byte is found.

6 years agofix incorrect results for catan with some inputs
Rich Felker [Wed, 11 Apr 2018 19:05:22 +0000 (15:05 -0400)]
fix incorrect results for catan with some inputs

the catan implementation from OpenBSD includes a FIXME-annotated
"overflow" branch that produces a meaningless and incorrect
large-magnitude result. it was reachable via three paths,
corresponding to gotos removed by this commit, in order:

1. pure imaginary argument with imaginary component greater than 1 in
   magnitude. this case does not seem at all exceptional and is
   handled (at least with the quality currently expected from our
   complex math functions) by the existing non-exceptional code path.

2. arguments on the unit circle, including the pure-real argument 1.0.
   these are not exceptional except for ±i, which should produce
   results with infinite imaginary component and which lead to
   computation of atan2(±0,0) in the existing non-exceptional code
   path. such calls to atan2() however are well-defined by POSIX.

3. the specific argument +i. this route should be unreachable due to
   the above (2), but subtle rounding effects might have made it
   possible in rare cases. continuing on the non-exceptional code path
   in this case would lead to computing the (real) log of an infinite
   argument, then producing a NAN when multiplying it by I.

for now, remove the exceptional code paths entirely. replace the
multiplication by I with construction of a complex number using the
CMPLX macro so that the NAN issue (3) prevented cannot arise.

with these changes, catan should give reasonably correct results for
real arguments, and should no longer give completely-wrong results for
pure-imaginary arguments outside the interval (-i,+i).

6 years agofix wrong result in casin and many related complex functions
Rich Felker [Mon, 9 Apr 2018 16:33:17 +0000 (12:33 -0400)]
fix wrong result in casin and many related complex functions

the factor of -i noted in the comment at the top of casin.c was
omitted from the actual code, yielding a result rotated 90 degrees and
propagating into errors in other functions defined in terms of casin.

implement multiplication by -i as a rotation of the real and imaginary
parts of the result, rather than by actual multiplication, since the
latter cannot be optimized without knowledge that the operand is
finite. here, the rotation is the actual intent, anyway.

6 years agoimplement wcsftime padding specifier extensions
Samuel Holland [Sat, 7 Apr 2018 14:47:16 +0000 (09:47 -0500)]
implement wcsftime padding specifier extensions

Commit 8a6bd7307da3fc4d08dd6a9277b611ccb4971354 added support for
padding specifier extensions to strftime, but did not modify wcsftime.
In the process, it added a parameter to __strftime_fmt_1 in strftime.c,
but failed to update the prototype in wcsftime.c. This was found by
compiling musl with LTO:

    src/time/wcsftime.c:7:13: warning: type of '__strftime_fmt_1' does \
        not match original declaration [-Wlto-type-mismatch]

Fix the prototype of __strftime_fmt_1 in wcsftime.c, and generate the
'pad' argument the same way as it is done in strftime.

6 years agoprevent bypass of guarantee that suids start with fd 0/1/2 open
Rich Felker [Thu, 5 Apr 2018 15:04:21 +0000 (11:04 -0400)]
prevent bypass of guarantee that suids start with fd 0/1/2 open

it was reported by Erik Bosman that poll fails without setting revents
when the nfds argument exceeds the current value for RLIMIT_NOFILE,
causing the subsequent open calls to be bypassed. if the rlimit is
either 1 or 2, this leaves fd 0 and 1 potentially closed but openable
when the application code is reached.

based on a brief reading of the poll syscall documentation and code,
it may be possible for poll to fail under other attacker-controlled
conditions as well. if it turns out these are reasonable conditions
that may happen in the real world, we may have to go back and
implement fallbacks to probe each fd individually if poll fails, but
for now, keep things simple and treat all poll failures as fatal.

6 years agofix fmaf wrong result
Szabolcs Nagy [Sun, 1 Apr 2018 20:02:01 +0000 (20:02 +0000)]
fix fmaf wrong result

if double precision r=x*y+z is not a half way case between two single
precision floats or it is an exact result then fmaf returns (float)r.

however the exactness check was wrong when |x*y| < |z| and could cause
incorrectly rounded result in nearest rounding mode when r is a half
way case.

fmaf(-0x1.26524ep-54, -0x1.cb7868p+11, 0x1.d10f5ep-29)
was incorrectly rounded up to 0x1.d117ap-29 instead of 0x1.d1179ep-29.
(exact result is 0x1.d1179efffffffecp-29, r is 0x1.d1179fp-29)

6 years agofix default feature profile in tar.h
Rich Felker [Wed, 28 Mar 2018 19:53:45 +0000 (15:53 -0400)]
fix default feature profile in tar.h

commit d93c0740d86aaf7043e79b942a6c0b3f576af4c8 added use of feature
test macros without including features.h, causing a definition that
should be exposed in the default profile, TSVTX, to appear only when
_XOPEN_SOURCE or higher is explicitly defined.

6 years agoadjust makefile target-specific CFLAGS rules to be more robust & complete
Rich Felker [Sun, 25 Mar 2018 02:47:36 +0000 (22:47 -0400)]
adjust makefile target-specific CFLAGS rules to be more robust & complete

previously, MEMOPS_SRCS failed to include arch-specific replacement
files for memcpy, etc., omitting CFLAGS_MEMOPS and thereby potentially
causing build failure if an arch provided C (rather than asm)
replacements for these files.

instead of trying to explicitly include all the files that might have
arch replacements, which is prone to human error, extract final names
to be used out of $(LIBC_OBJS), where the rules for arch replacements
have already been applied. do the same for NOSSP_OBJS, using CRT_OBJS
and LDSO_OBJS rather than repeating ourselves with $(wildcard...) and
explicit pathnames again.

6 years agofix out-of-tree build of crt files with stack protector enabled
Rich Felker [Sat, 24 Mar 2018 16:15:43 +0000 (12:15 -0400)]
fix out-of-tree build of crt files with stack protector enabled

the makefile logic for these files was wrong in the out-of-tree case,
but it likely only affected the "all" level of stack protector.

6 years agoexplicitly use signed keyword to define intNN_t and derivative types
Rich Felker [Sun, 11 Mar 2018 01:45:49 +0000 (20:45 -0500)]
explicitly use signed keyword to define intNN_t and derivative types

standing alone, both the signed and int keywords identify the same
type, a (signed) int. however the C language has an exception where,
when the lone keyword int is used to declare a bitfield, it's
implementation-defined whether the bitfield is signed or unsigned. C11
footnote 125 extends this implementation-definedness to typedefs, and
DR#315 extends it to other integer types (for which support with
bitfields is implementation-defined).

while reasonable ABIs (all the ones we support) define bitfields as
signed by default, GCC and compatible compilers offer an option
-funsigned-bitfields to change the default. while any signed types
defined without explicit use of the signed keyword are affected, the
stdint.h types, especially intNN_t, have a natural use in bitfields.
ensure that bitfields defined with these types always have the correct
signedness regardless of compiler & flags used.

see also GCC PR 83294.

6 years agofix minor namespace issues in termios.h
Rich Felker [Sat, 10 Mar 2018 23:08:02 +0000 (18:08 -0500)]
fix minor namespace issues in termios.h

the output delay features (NL*, CR*, TAB*, BS*, and VT*) are
XSI-shaded. VT* is in the V* namespace reservation but the rest need
to be suppressed in base POSIX namespace.

unfortunately this change introduces feature test macro checks into
another bits header. at some point these checks should be simplified
by having features.h handle the "FTM X implies Y" relationships.

6 years agoremove spurious const keyword in sigqueue declaration
Rich Felker [Sat, 10 Mar 2018 23:03:17 +0000 (18:03 -0500)]
remove spurious const keyword in sigqueue declaration

this must have been taken from POSIX without realizing that it was
meaningless. the resolution to Austin Group issue #844 removed it from
the standard.

6 years agofix minor namespace issue in unistd.h
Rich Felker [Sat, 10 Mar 2018 23:02:05 +0000 (18:02 -0500)]
fix minor namespace issue in unistd.h

the F_* macros associated with the lockf function are XSI-shaded (like
the lockf function itself) and should only be exposed when the
function is.

6 years agofix minor namespace issue in tar.h
Rich Felker [Sat, 10 Mar 2018 22:57:44 +0000 (17:57 -0500)]
fix minor namespace issue in tar.h

TSVTX is XSI-shaded.

6 years agofix minor namespace issues in limits.h
Rich Felker [Sat, 10 Mar 2018 22:53:27 +0000 (17:53 -0500)]
fix minor namespace issues in limits.h

PAGE_SIZE, NZERO, and NL_LANGMAX are XSI-shaded.

6 years agouse PAGESIZE rather than PAGE_SIZE in user.h bits
Rich Felker [Sat, 10 Mar 2018 22:49:23 +0000 (17:49 -0500)]
use PAGESIZE rather than PAGE_SIZE in user.h bits

align with commit c9c2cd3e6955cb1d57b8be01d4b072bf44058762.

6 years agoreverse definition dependency between PAGESIZE and PAGE_SIZE
Rich Felker [Sat, 10 Mar 2018 22:47:14 +0000 (17:47 -0500)]
reverse definition dependency between PAGESIZE and PAGE_SIZE

PAGESIZE is actually the version defined in POSIX base, with PAGE_SIZE
being in the XSI option. use PAGESIZE as the underlying definition to
facilitate making exposure of PAGE_SIZE conditional.

6 years agofix nl_langinfo_l(CODESET, loc) reporting wrong locale's value
Rich Felker [Wed, 7 Mar 2018 16:22:38 +0000 (11:22 -0500)]
fix nl_langinfo_l(CODESET, loc) reporting wrong locale's value

use of MB_CUR_MAX encoded a hidden dependency on the currently active
locale for the calling thread, whereas nl_langinfo_l is supposed to
report for the locale passed as an argument.

6 years agoadd public interface headers to implementation files
Rich Felker [Mon, 26 Feb 2018 02:13:38 +0000 (21:13 -0500)]
add public interface headers to implementation files

general policy is that all source files defining a public API or an
ABI mechanism referenced by a public header should include the public
header that declares the interface, so that the compiler or analysis
tools can check the consistency of the declarations. Alexander Monakov
pointed out a number of violations of this principle a few years back.
fix them now.

6 years agofix aliasing violations in fgetpos/fsetpos
Rich Felker [Sat, 24 Feb 2018 21:45:33 +0000 (16:45 -0500)]
fix aliasing violations in fgetpos/fsetpos

add a member of appropriate type to the fpos_t union so that accesses
are well-defined. use long long instead of off_t since off_t is not
always exposed in stdio.h and there's no namespace-clean alias for it.

access is still performed using pointer casts rather than by naming
the union member as a matter of style; to the extent possible, the
naming of fields in opaque types defined in the public headers is not
treated as an API contract with the implementation. access via the
pointer cast is valid as long as the union has a member of matching
type.

6 years agouse idiomatic safe form for FUNLOCK macro
Rich Felker [Sat, 24 Feb 2018 17:33:06 +0000 (12:33 -0500)]
use idiomatic safe form for FUNLOCK macro

previously this macro used an odd if/else form instead of the more
idiomatic do/while(0), making it unsafe against omission of trailing
semicolon. the omission would make the following statement conditional
instead of producing an error.

6 years agoin vswprintf, initialize the FILE rather than memset-and-assign
Rich Felker [Sat, 24 Feb 2018 17:08:30 +0000 (12:08 -0500)]
in vswprintf, initialize the FILE rather than memset-and-assign

this is the idiom that's used elsewhere and should be more efficient
or at least no worse.

6 years agoremove unused MIN macro from getdelim source file
Rich Felker [Sat, 24 Feb 2018 16:38:53 +0000 (11:38 -0500)]
remove unused MIN macro from getdelim source file

6 years agoremove useless null check before call to free in fclose
Rich Felker [Sat, 24 Feb 2018 16:36:00 +0000 (11:36 -0500)]
remove useless null check before call to free in fclose

6 years agoremove useless and confusing parentheses in stdio __towrite function
Rich Felker [Sat, 24 Feb 2018 16:33:18 +0000 (11:33 -0500)]
remove useless and confusing parentheses in stdio __towrite function

they seem to be relics of e3cd6c5c265cd481db6e0c5b529855d99f0bda30
where this code was refactored from a check that previously masked
against (F_ERR|F_NOWR) instead of just F_NOWR.

6 years agoavoid use of readv syscall in __stdio_read backend when not needed
Rich Felker [Sat, 24 Feb 2018 16:19:54 +0000 (11:19 -0500)]
avoid use of readv syscall in __stdio_read backend when not needed

formally, calling readv with a zero-length first iov component should
behave identically to calling read on just the second component, but
presence of a zero-length iov component has triggered bugs in some
kernels and performs significantly worse than a simple read on some
file types.

6 years agoconsistently return number of bytes read from stdio read backend
Rich Felker [Sat, 24 Feb 2018 15:51:16 +0000 (10:51 -0500)]
consistently return number of bytes read from stdio read backend

the stdio FILE read backend's return type is size_t, not ssize_t, and
all of the special (non-fd-backed) FILE types already return the
number of bytes read (zero) on error or eof. only __stdio_read leaked
a syscall error return into its return value.

fread had a workaround for this behavior going all the way back to the
original check-in. remove the workaround since it's no longer needed.

6 years agoremove obfuscated flags bit-twiddling logic in __stdio_read
Rich Felker [Sat, 24 Feb 2018 15:43:13 +0000 (10:43 -0500)]
remove obfuscated flags bit-twiddling logic in __stdio_read

replace with simple conditional that doesn't rely on assumption that
cnt is either 0 or -1.

6 years agofix getopt wrongly treating colons in optstring as valid option chars
Rich Felker [Sat, 24 Feb 2018 15:26:26 +0000 (10:26 -0500)]
fix getopt wrongly treating colons in optstring as valid option chars

the ':' in optstring has special meaning as a flag applying to the
previous option character, or to getopt's error handling behavior when
it appears at the beginning. don't also accept a "-:" option based on
its presence.

6 years agoadd getentropy function
Rich Felker [Fri, 23 Feb 2018 07:54:01 +0000 (02:54 -0500)]
add getentropy function

based loosely on patch by Hauke Mehrtens; converted to wrap the public
API of the underlying getrandom function rather than direct syscalls,
so that if/when a fallback implementation of getrandom is added it
will automatically get picked up by getentropy too.

6 years agoadd getrandom syscall wrapper
Hauke Mehrtens [Sat, 6 Jan 2018 22:08:09 +0000 (23:08 +0100)]
add getrandom syscall wrapper

This syscall is available since Linux 3.17 and was also implemented in
glibc in version 2.25 using the same interfaces.

6 years agoaarch64: add sve_context struct and related defines from linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 20:58:20 +0000 (20:58 +0000)]
aarch64: add sve_context struct and related defines from linux v4.15

signal context definitions for scalable vector extension new in commit
d0b8cd3187889476144bd9b13bf36a932c3e7952

6 years agoelf.h: add DT_SYMTAB_SHNDX
Szabolcs Nagy [Tue, 6 Feb 2018 22:33:38 +0000 (22:33 +0000)]
elf.h: add DT_SYMTAB_SHNDX

it's a recent addition to elf gabi:
http://sco.com/developers/gabi/latest/revision.html
based on discussions at
https://sourceware.org/bugzilla/show_bug.cgi?id=15835

6 years agoelf.h: syncronize DF_1_ flags with binutils
Szabolcs Nagy [Fri, 2 Feb 2018 21:31:39 +0000 (21:31 +0000)]
elf.h: syncronize DF_1_ flags with binutils

DF_1_STUB and DF_1_PIE were added in binutils-gdb commit
5c383f026242d25a3c21fdfda42e5ca218b346c8

6 years agoelf.h: update NT_* coredump elf notes for linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 21:22:38 +0000 (21:22 +0000)]
elf.h: update NT_* coredump elf notes for linux v4.15

NT_ARM_SVE and NT_S390_RI_CB are new in linux commits
43d4da2c45b2f5d62f8a79ff7c6f95089bb24656 and
262832bc5acda76fd8f901d39f4da1121d951222
the rest are older.
musl missed NT_PRFPREG because it followed the glibc api:
https://sourceware.org/bugzilla/show_bug.cgi?id=14890

6 years agoelf.h: add PPC64_OPT_LOCALENTRY
Szabolcs Nagy [Fri, 2 Feb 2018 21:18:26 +0000 (21:18 +0000)]
elf.h: add PPC64_OPT_LOCALENTRY

allows calling extern functions without saving r2, for details see
glibc commit 0572433b5beb636de1a49ec6b4fdab830c38cdc5

6 years agoelf.h: add AT_* auxval macros for cache geometry
Szabolcs Nagy [Fri, 2 Feb 2018 21:13:06 +0000 (21:13 +0000)]
elf.h: add AT_* auxval macros for cache geometry

AT_L1I_*, AT_L1D_*, AT_L2_* and AT_L3_* were added in linux v4.11 for
powerpc in commit 98a5f361b8625c6f4841d6ba013bbf0e80d08147.

6 years agosys/prctl.h: add new PR_SVE_* macros from linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 21:04:51 +0000 (21:04 +0000)]
sys/prctl.h: add new PR_SVE_* macros from linux v4.15

PR_SVE_SET_VL and PR_SVE_GET_VL controls are new in linux commit
2d2123bc7c7f843aa9db87720de159a049839862
related PR_SVE_* macros were added in
7582e22038a266444eb87bc07c372592ad647439

6 years agoaarch64: update hwcap.h for linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 20:46:45 +0000 (20:46 +0000)]
aarch64: update hwcap.h for linux v4.15

HWCAP_SVE is new in linux commit 43994d824e8443263dc98b151e6326bf677be52e
HWCAP_SHA3, HWCAP_SM3, HWCAP_SM4, HWCAP_ASIMDDP and HWCAP_SHA512 are new in
f5e035f8694c3bdddc66ea46ecda965ee6853718

6 years agoarm: add get_tls syscall from linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 20:42:27 +0000 (20:42 +0000)]
arm: add get_tls syscall from linux v4.15

for systems without tp register or kuser helper, new in linux commit
8fcd6c45f5a65621ec809b7866a3623e9a01d4ed

6 years agopowerpc: update hwcap.h for linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 20:38:15 +0000 (20:38 +0000)]
powerpc: update hwcap.h for linux v4.15

PPC_FEATURE2_HTM_NO_SUSPEND is new in linux commit
cba6ac4869e45cc93ac5497024d1d49576e82666
PPC_FEATURE2_DARN and PPC_FEATURE2_SCV were new in v4.12 in commit
a4700a26107241cc7b9ac8528b2c6714ff99983d

6 years agos390x: add s390_sthyi system call from v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 20:27:39 +0000 (20:27 +0000)]
s390x: add s390_sthyi system call from v4.15

to store hypervisor information, added in linux commit
3d8757b87d7fc15a87928bc970f060bc9c6dc618

6 years agonetinet/in.h: add new IPV6_FREEBIND from linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 20:23:04 +0000 (20:23 +0000)]
netinet/in.h: add new IPV6_FREEBIND from linux v4.15

new socekt option for AF_INET6 SOL_RAW sockets, added in linux commit
84e14fe353de7624872e582887712079ba0b2d56

6 years agonetinet/tcp.h: add TCP_* socket options from linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 20:19:46 +0000 (20:19 +0000)]
netinet/tcp.h: add TCP_* socket options from linux v4.15

TCP_FASTOPEN_KEY is new in 1fba70e5b6bed53496ba1f1f16127f5be01b5fb6
TCP_FASTOPEN_NO_COOKIE is new in 71c02379c762cb616c00fd5c4ed253fbf6bbe11b

6 years agoadd MAP_SYNC and MAP_SHARED_VALIDATE from linux v4.15
Szabolcs Nagy [Fri, 2 Feb 2018 20:10:09 +0000 (20:10 +0000)]
add MAP_SYNC and MAP_SHARED_VALIDATE from linux v4.15

for synchronous page faults, new in linux commit
1c9725974074a047f6080eecc62c50a8e840d050 and
b6fb293f2497a9841d94f6b57bd2bb2cd222da43
note that only targets that use asm-generic/mman.h have this new
flag defined, so undef it on other targets (mips*, powerpc*).

6 years agomips,powerpc: fix TIOCSER_TEMT in termios.h
Szabolcs Nagy [Mon, 27 Nov 2017 01:16:14 +0000 (01:16 +0000)]
mips,powerpc: fix TIOCSER_TEMT in termios.h

use the same token to define TIOCSER_TEMT as is used in ioctl.h
so when both headers are included there are no redefinition warnings
during musl build.

6 years agonetinet/tcp.h: add tcp_diag_md5sig struct from linux v4.14
Szabolcs Nagy [Mon, 27 Nov 2017 00:22:01 +0000 (00:22 +0000)]
netinet/tcp.h: add tcp_diag_md5sig struct from linux v4.14

for querying tcp md5 signing keys.
new in linux commit c03fa9bcacd9ac04595cc13f34f3445f0a5ecf13

6 years agosys/{mman,shm}.h: add {MAP,SHM}_HUGE_ macros from linux uapi
Szabolcs Nagy [Sun, 26 Nov 2017 23:58:25 +0000 (23:58 +0000)]
sys/{mman,shm}.h: add {MAP,SHM}_HUGE_ macros from linux uapi

*_HUGE_SHIFT, *_HUGE_2MB, *_HUGE_1GB are documented in the man page,
so add all of the *_HUGE_* macros from linux uapi.

if MAP_HUGETLB is set, top bits of the mmap flags encode the page size.
see the linux commit aafd4562dfee81a40ba21b5ea3cf5e06664bc7f6

if SHM_HUGETLB is set, top bits of the shmget flags encode the page size.
see the linux commit 4da243ac1cf6aeb30b7c555d56208982d66d6d33

*_HUGE_16GB is defined unsigned to avoid signed left shift ub.

6 years agonetinet/if_ether.h: add new ETH_P_ macros from linux v4.14
Szabolcs Nagy [Sun, 26 Nov 2017 23:36:17 +0000 (23:36 +0000)]
netinet/if_ether.h: add new ETH_P_ macros from linux v4.14

new ethertypes in linux v4.14:
ETH_P_ERSPAN new in 84e54fe0a5eaed696dee4019c396f8396f5a908b
ETH_P_IFE new in 2804fd3af6ba5ae5737705b27146455eabe2e2f8
ETH_P_NSH new in 155e6f649757c902901e599c268f8b575ddac1f8
ETH_P_MAP new in 7373ae7e8f0bf2c0718422481da986db5058b005

6 years agonet/if_arp.h: add ARPHRD_RAWIP from linux v4.14
Szabolcs Nagy [Sun, 26 Nov 2017 23:26:26 +0000 (23:26 +0000)]
net/if_arp.h: add ARPHRD_RAWIP from linux v4.14

new in linux commmit cdf4969c42a6c1a376dd03a9e846cf638d3cd4b1

6 years agosignal.h: add missing SIGTRAP si_codes
Szabolcs Nagy [Sun, 26 Nov 2017 23:20:38 +0000 (23:20 +0000)]
signal.h: add missing SIGTRAP si_codes

TRAP_BRANCH and TRAP_HWBKPT new in linux commit
da654b74bda14c45a7d98c731bf3c1a43b6b74e2

6 years agoaarch64: add HWCAP_DCPOP from linux v4.14
Szabolcs Nagy [Sun, 26 Nov 2017 23:05:45 +0000 (23:05 +0000)]
aarch64: add HWCAP_DCPOP from linux v4.14

indicates ARMv8.2-DCPoP persistent memory support extension.
new in linux commit 7aac405ebb3224037efd56b73d82d181111cdac3

6 years agosys/mman.h: add MADV_WIPEONFORK from linux v4.14
Szabolcs Nagy [Sun, 26 Nov 2017 21:54:30 +0000 (21:54 +0000)]
sys/mman.h: add MADV_WIPEONFORK from linux v4.14

allows zeroing anonymous private pages inherited by a child process.
new in linux commit d2cd9ede6e193dd7d88b6d27399e96229a551b19

6 years agosys/socket.h: add MSG_ZEROCOPY from linux v4.14
Szabolcs Nagy [Sun, 26 Nov 2017 22:53:48 +0000 (22:53 +0000)]
sys/socket.h: add MSG_ZEROCOPY from linux v4.14

MSG_ZEROCOPY socket send flag avoids copy in the kernel
new in linux commit 52267790ef52d7513879238ca9fac22c1733e0e3
SO_ZEROCOPY socket option enables MSG_ZEROCOPY if availale
new in linux commit 76851d1212c11365362525e1e2c0a18c97478e6b

6 years agosys/socket.h: add SOL_TLS from linux v4.13
Szabolcs Nagy [Sun, 26 Nov 2017 22:34:31 +0000 (22:34 +0000)]
sys/socket.h: add SOL_TLS from linux v4.13

socket option for kernel TLS support
new in linux commit 3c4d7559159bfe1e3b94df3a657b2cda3a34e218

6 years agosys/socket.h: add PF_SMC from linux v4.11
Szabolcs Nagy [Sun, 26 Nov 2017 22:21:31 +0000 (22:21 +0000)]
sys/socket.h: add PF_SMC from linux v4.11

add AF_SMC and PF_SMC for the IBM shared memory communication protocol.
new in linux commit ac7138746e14137a451f8539614cdd349153e0c0
(linux socket.h is not in uapi so this update was missed earlier)

6 years agorelease 1.1.19 v1.1.19
Rich Felker [Thu, 22 Feb 2018 18:39:19 +0000 (13:39 -0500)]
release 1.1.19

6 years agoupdate authors/contributors list
Rich Felker [Wed, 21 Feb 2018 19:19:01 +0000 (14:19 -0500)]
update authors/contributors list

these additions were made by scanning git log since the last major
update in commit 790580b2fc47bc20e613336cb937a120422a770c. in addition
to git-level commit authorship, "patch by" text in the commit message
was also scanned. this idiom was used in the past for patches that
underwent substantial edits when merging or where the author did not
provide a commit message. going forward, my intent is to use commit
authorship consistently for attribution.

as before my aim was adding everyone with either substantial code
contributions or a pattern of ongoing simple patch submission; any
omissions are unintentional.

6 years agofix detection of LIBCC for compiler-rt with clang
Matúš Olekšák [Wed, 21 Feb 2018 17:03:04 +0000 (12:03 -0500)]
fix detection of LIBCC for compiler-rt with clang

Maintainer's note: at one point, -lcompiler_rt apparently worked, and
may still work and be preferable if one has manually installed the
library in a public lib directory. but with current versions of clang,
the full pathname to the library file is needed. the original patch
removed the -lcompiler_rt check; I have left it in place in case there
are users depending on it, and since, when it does work, it's
preferable so as not to code a dependency on the specific compiler
version and paths in config.mak.

6 years agoconvert execvp error handling to switch statement
Rich Felker [Wed, 21 Feb 2018 16:59:34 +0000 (11:59 -0500)]
convert execvp error handling to switch statement

this is more extensible if we need to consider additional errors, and
more efficient as long as the compiler does not know it can cache the
result of __errno_location (a surprisingly complex issue detailed in
commit a603a75a72bb469c6be4963ed1b55fabe675fe15).

6 years agofix execvp failing on not-dir entries in PATH.
Przemyslaw Pawelczyk [Sun, 22 Oct 2017 22:07:42 +0000 (00:07 +0200)]
fix execvp failing on not-dir entries in PATH.

It's better to make execvp continue PATH search on ENOTDIR rather than
issuing an error. Bogus entries should not render rest of PATH invalid.

Maintainer's note: POSIX seems to require the search to continue like
this as part of XBD 8.3 Other Environment Variables. Only errors that
conclusively determine non-existence are candidates for continuing;
otherwise for consistency we have to report the error.

6 years agofix incorrect overflow check for allocation in fmemopen
Rich Felker [Mon, 12 Feb 2018 01:48:14 +0000 (20:48 -0500)]
fix incorrect overflow check for allocation in fmemopen

when a null buffer pointer is passed to fmemopen, requesting it
allocate its own memory buffer, extremely large size arguments near
SIZE_MAX could overflow and result in underallocation. this results
from omission of the size of the cookie structure in the overflow
check but inclusion of it in the calloc call.

instead of accounting for individual small contributions to the total
allocation size needed, simply reject sizes larger than PTRDIFF_MAX,
which will necessarily fail anyway. then adding arbitrary fixed-size
structures is safe without matching up the expressions in the
comparison and the allocation.

6 years agobetter configure check for long double support
Szabolcs Nagy [Sun, 17 Sep 2017 15:35:55 +0000 (15:35 +0000)]
better configure check for long double support

6 years agomake getcwd fail if it cannot obtain an absolute path
Dmitry V. Levin [Fri, 12 Jan 2018 15:12:24 +0000 (18:12 +0300)]
make getcwd fail if it cannot obtain an absolute path

Currently getcwd(3) can succeed without returning an absolute path
because the underlying getcwd syscall, starting with linux commit
v2.6.36-rc1~96^2~2, may succeed without returning an absolute path.

This is a conformance issue because "The getcwd() function shall
place an absolute pathname of the current working directory
in the array pointed to by buf, and return buf".

Fix this by checking the path returned by syscall and failing with
ENOENT if the path is not absolute.  The error code is chosen for
consistency with the case when the current directory is unlinked.

Similar issue was fixed in glibc recently, see
https://sourceware.org/bugzilla/show_bug.cgi?id=22679

6 years agodisallow non-absolute rpath $ORIGIN for suid/sgid/AT_SECURE processes
Rich Felker [Wed, 7 Feb 2018 19:31:42 +0000 (14:31 -0500)]
disallow non-absolute rpath $ORIGIN for suid/sgid/AT_SECURE processes

in theory non-absolute origins can only arise when either the main
program is invoked by running ldso as a command (inherently non-suid)
or when dlopen was called with a relative pathname containing at least
one slash. such usage would be inherently insecure in an suid program
anyway, so the old behavior here does not seem to have been insecure.
harden against it anyway.

6 years agohonor rpath $ORIGIN for ldd/ldso command with program in working dir
Rich Felker [Wed, 7 Feb 2018 19:27:08 +0000 (14:27 -0500)]
honor rpath $ORIGIN for ldd/ldso command with program in working dir

the rpath fixup code assumed any module's name field would contain at
least one slash, an invariant which is usually met but not in the case
of a main executable loaded from the current working directory by
running ldd or ldso as a command. it would be possible to make this
invariant always hold, but it has a higher runtime allocation cost and
does not seem useful elsewhere, so just patch things up in fixup_rpath
instead.

6 years agoadjust strftime + modifier to match apparent intent of POSIX
Rich Felker [Tue, 6 Feb 2018 17:31:06 +0000 (12:31 -0500)]
adjust strftime + modifier to match apparent intent of POSIX

it's unclear from the specification whether the word "consumes" in
"consumes more than four bytes to represent a year" refers just to
significant places or includes leading zeros due to field width
padding. however the examples in the rationale indicate that the
latter was the intent. in particular, the year 270 is shown being
formatted by %+5Y as +0270 rather than 00270.

previously '+' prefixing was implemented just by comparing the year
against 10000. instead, count the number of significant digits and
padding bytes to be added, and use the total to determine whether to
apply the '+' prefix.

based on testing by Dennis Wölfing.

6 years agofix strftime field widths with %F format and zero year
Rich Felker [Mon, 5 Feb 2018 18:36:04 +0000 (13:36 -0500)]
fix strftime field widths with %F format and zero year

the code to strip initial sign and leading zeros inadvertently
stripped all the zeros and the subsequent '-' separating the month.
instead, only strip sign characters from the very first position, and
only strip zeros when they are followed by another digit.

based on testing by Dennis Wölfing.

6 years agodocument pthread structure ABI constraints in comments
Rich Felker [Mon, 5 Feb 2018 16:45:52 +0000 (11:45 -0500)]
document pthread structure ABI constraints in comments

in the original submission of the patch that became commit
7c709f2d4f9872d1b445f760b0e68da89e256b9e, and in subsequent reading of
it by others, it was not clear that the new member had to be inserted
before canary_at_end, or that inserting it at that location was safe.
add comments to document.

6 years agore-fix child reaping in wordexp
Alexander Monakov [Mon, 5 Feb 2018 14:38:37 +0000 (17:38 +0300)]
re-fix child reaping in wordexp

Do not retry waitpid if the child was terminated by a signal. Do not
examine status: since we are not passing any flags, we will not receive
stop or continue notifications.

6 years agorevert regression in faccessat AT_EACCESS robustness
Rich Felker [Mon, 5 Feb 2018 16:31:11 +0000 (11:31 -0500)]
revert regression in faccessat AT_EACCESS robustness

commit f9fb20b42da0e755d93de229a5a737d79a0e8f60 switched from using a
pipe for the result to conveying it via the child process exit status.
Alexander Monakov pointed out that the latter could fail if the
application is not expecting faccessat to produce a child and performs
a wait operation with __WCLONE or __WALL, and that it is not clear
whether it's guaranteed to work when SIGCHLD's disposition has been
set to SIG_IGN.

in addition, that commit introduced a bug that caused EACCES to be
produced instead of EBUSY due to an exit path that was overlooked when
the error channel was changed, and introduced a spurious retry loop
around the wait operation.

6 years agostore pthread stack guard sizes for pthread_getattr_np
William Pitcock [Fri, 2 Feb 2018 20:08:55 +0000 (20:08 +0000)]
store pthread stack guard sizes for pthread_getattr_np

6 years agoadjust dladdr dli_fbase definition to match other implementations
Rich Felker [Fri, 2 Feb 2018 17:15:43 +0000 (12:15 -0500)]
adjust dladdr dli_fbase definition to match other implementations

the Linux and FreeBSD man pages for dladdr document dli_fbase as the
"base address" of the library/module found. normally (e.g. AT_BASE)
the term "base" is used to denote the base address relative to which
p_vaddr addresses are interpreted; however in the case of dladdr's
Dl_info structure, existing implementations define it as the lowest
address of the mapping, which makes sense in the context of
determining which module's memory range the input address falls
within.

since this is a nonstandard interface provided to mimic one provided
by other implementations, adjust it to match their behavior.

6 years agogetopt_long: accept prefix match of long options containing equals signs
Samuel Holland [Tue, 30 Jan 2018 02:36:42 +0000 (20:36 -0600)]
getopt_long: accept prefix match of long options containing equals signs

Consider the first equals sign found in the option to be the delimiter
between it and its argument, even if it matches an equals sign in the
option name. This avoids consuming the equals sign, which would prevent
finding the argument. Instead, it forces a partial match of the part of
the option name before the equals sign.

Maintainer's note: GNU getopt_long does not explicitly document this
behavior, but it can be seen as a consequence of how partial matches
are specified, and at least GNU (bfd) ld is known to make use of it.

6 years agofix getopt_long arguments to partial matches
Samuel Holland [Tue, 30 Jan 2018 02:36:41 +0000 (20:36 -0600)]
fix getopt_long arguments to partial matches

If we find a partial option name match, we need to keep looking for
ambiguous/conflicting options. However, we need to remember the position
in the candidate argument to find its option-argument later, if there is
one. This fixes e.g. option "foobar" being given as "--fooba=baz".