oweals/musl.git
7 years agoavoid loading of multiple libc versions via explicit pathname
Rich Felker [Tue, 14 Mar 2017 22:51:27 +0000 (18:51 -0400)]
avoid loading of multiple libc versions via explicit pathname

such loading is unsafe, and can happen when programs use their own
logic to locate a .so file then pass the absolute pathname to dlopen,
or if an absolute pathname ends up in DT_NEEDED headers. multiple
loads with only the base name were already precluded, provided libc
was named appropriately, by special-casing standard library names.

one function symbol (in the reserved namespace, but public, since it's
part of the crt1 entry point ABI) and one data symbol are checked.
this way we avoid likely false positives, particularly from libraries
interposing and wrapping functions. there is no hard requirement to
avoid breaking such usage, since trying to run a hook before libc is
even initialized is not a supported usage case, but it's friendlier
not to break things.

7 years agofix one-byte overflow in legacy getpass function
Rich Felker [Tue, 14 Mar 2017 19:13:16 +0000 (15:13 -0400)]
fix one-byte overflow in legacy getpass function

if the length of the input was equal to the buffer size (128), a fixed
value of zero was written one byte past the end of the static buffer.

7 years agofix wide scanf's use of a compound literal past its lifetime
Rich Felker [Tue, 14 Mar 2017 19:06:58 +0000 (15:06 -0400)]
fix wide scanf's use of a compound literal past its lifetime

7 years agofix possible fd leak, unrestored cancellation state on dns socket fail
Rich Felker [Tue, 14 Mar 2017 18:31:34 +0000 (14:31 -0400)]
fix possible fd leak, unrestored cancellation state on dns socket fail

7 years agoin static dl_iterate_phdr, fix use of possibly-uninitialized aux data
Rich Felker [Tue, 14 Mar 2017 18:29:50 +0000 (14:29 -0400)]
in static dl_iterate_phdr, fix use of possibly-uninitialized aux data

this could only happen if an incomplete auxv was passed into the
program, but it's better to just initialize the data anyway.

7 years agofix free of uninitialized buffer pointer on error in regexec
Rich Felker [Tue, 14 Mar 2017 18:18:07 +0000 (14:18 -0400)]
fix free of uninitialized buffer pointer on error in regexec

the fix in commit c3edc06d1e1360f3570db9155d6b318ae0d0f0f7 for
CVE-2016-8859 used gotos to exit on overflow conditions, but the code
in that error path assumed the buffer pointer was valid or null. thus,
the conditions which previously led to under-allocation and buffer
overflow could instead lead to an invalid pointer being passed to
free.

7 years agoemulate lazy relocation as deferrable relocation
Rich Felker [Mon, 13 Mar 2017 12:52:41 +0000 (08:52 -0400)]
emulate lazy relocation as deferrable relocation

traditional lazy relocation with call-time plt resolver is
intentionally not implemented, as it is a huge bug surface and demands
significant amounts of arch-specific code and requires ongoing
maintenance to ensure compatibility with applications which make use
of new additions to the arch's register file in passing function
arguments.

some applications, however, depend on the ability to dlopen modules
which have unsatisfied symbol references at the time they are loaded,
either avoiding use of the affected interfaces or manually loading
another module to provide the missing definition via their own module
dependency tracking outside the ELF data structures. while such usage
is non-conforming, failure to support it has been a significant
obstacle for users/distributions trying to support affected software,
particularly the X.org server.

instead of resolving lazy relocations at call time, this patch saves
unresolved GOT/PLT relocations for deferral and retries them after
each subsequent dlopen until they are resolved. since dlopen is the
only time at which the effective global symbol table can change, this
behavior is not observably different from traditional lazy binding,
and the required code is minimal.

7 years agoreorder addend handling before symbol lookup in relocation code
Rich Felker [Mon, 13 Mar 2017 04:30:26 +0000 (00:30 -0400)]
reorder addend handling before symbol lookup in relocation code

these two tasks are independent now, but in order to support lazy
relocations, the failure path for symbol lookup may want the addend to
be available.

7 years agorework ldso handling of global symbol table for consistency
Rich Felker [Mon, 13 Mar 2017 01:03:05 +0000 (21:03 -0400)]
rework ldso handling of global symbol table for consistency

when loading libraries with dlopen, the caller can request that the
library's symbols become part of the global symbol table, or that they
only be used for resolving relocations in the loaded library and its
dependencies. in the latter case, a subsequent dlopen of the same
library can upgrade it to global status.

previously, if a library was upgraded from local to global mode, its
symbols entered the symbol lookup search order at the point where the
library was originally loaded. this means that a new call to dlopen
could change the value of a symbol that already had a visible
definition, an inconsistency which applications could observe.

POSIX is unclear whether this should happen or whether it's permitted
to happen, but the resolution of Austin Group issue #982 made it
formally unspecified.

with this patch, a library whose mode is upgraded from local to global
enters the symbol lookup order at the point where it was made global,
so that symbol resolution before and after the upgrade are consistent.

in order to implement this change, the per-dso global flag is replaced
with a separate set of linked-list pointers for participation in the
global symbol table. this permits the order of dso objects for symbol
resolution to differ from the order used for iteration of all loaded
libraries. it also improves performance of find_sym, by avoiding a
branch per iteration and skipping, and especially in the case where
many non-global libraries have been loaded, by allowing the loop to
skip over them entirely. logic for temporarily adding non-global
libraries to the symbol table for relocation purposes is also mildly
simplified.

7 years agotreat STB_WEAK and STB_GNU_UNIQUE like STB_GLOBAL in find_sym
Szabolcs Nagy [Sat, 3 Dec 2016 20:52:43 +0000 (20:52 +0000)]
treat STB_WEAK and STB_GNU_UNIQUE like STB_GLOBAL in find_sym

A weak symbol definition is not special during dynamic linking, so
don't let a strong definition in a later module override it.
(glibc dynamic linker allows overriding weak definitions if
LD_DYNAMIC_WEAK is set, musl does not.)

STB_GNU_UNIQUE means that the symbol is global, even if it is in a
module that's loaded with RTLD_LOCAL, and all references resolve to
the same definition. This semantics is only relevant for c++ plugin
systems and even there it's often not what the user wants (so it can
be turned off in g++ by -fno-gnu-unique when the c++ shared lib is
compiled). In musl just treat it like STB_GLOBAL.

7 years agofix ld-behavior-dependent crash in ppc64 ldso startup
Rich Felker [Wed, 8 Mar 2017 18:35:33 +0000 (13:35 -0500)]
fix ld-behavior-dependent crash in ppc64 ldso startup

the 32-bit pc-relative address for stage 2 of dynamic linker entry was
wrongly loaded with a zero-extending load instead of sign-extending
load, resulting in an invalid jump if the offset happened to be
negative, which depends on the linker's ordering of text sections.

7 years agofix lsearch and lfind to pass key as first arg to the compar callback
Szabolcs Nagy [Sun, 5 Mar 2017 22:03:35 +0000 (23:03 +0100)]
fix lsearch and lfind to pass key as first arg to the compar callback

this is not a conformance issue as posix does not specify the
argument order, but the order is specified for bsearch and some
systems document the order for lsearch consistently (openbsd).

since there were two indpendent reports of this issue it's better
to use the more widely expected argument order.

7 years agoallow page size to vary on arm
Rich Felker [Thu, 23 Feb 2017 00:25:13 +0000 (19:25 -0500)]
allow page size to vary on arm

the ABI for arm was silently changed at some point to allow page sizes
other than 4k; traditional binaries built with only 4k-aligned offsets
between load segments cannot run on such systems, but newer binutils
versions use 64k offset alignment.

while larger page size is undesirable for various reasons, users have
encountered hardware and/or kernels that lock the page size to a
larger value, so follow the new ABI and allow it to vary.

7 years agofix build regression in arm atomics asm with new binutils
Rich Felker [Wed, 15 Feb 2017 22:05:50 +0000 (17:05 -0500)]
fix build regression in arm atomics asm with new binutils

binutils commit bada43421274615d0d5f629a61a60b7daa71bc15 tightened
immediate fixup handling in gas in such a way that the final .arch of
an object file must be compatible with the fixups used when the
instruction was assembled; this in turn broke assembling of atomics.s,
at least in thumb mode.

it's not clear whether this should be considered a bug in gas, but
.object_arch is preferable anyway for our purpose here of controlling
the ISA level tag on the object file being produced, and it's the
intended directive for use in object files with runtime code
selection. research by Szabolcs Nagy confirmed that .object_arch is
supported in all relevant versions of binutils and clang's integrated
assembler.

patch by Reiner Herrmann.

7 years agos390x: implement dlsym
Bobby Bingham [Mon, 6 Feb 2017 03:29:52 +0000 (21:29 -0600)]
s390x: implement dlsym

This was missed when writing the port initially.

7 years agoavoid unbounded strlen in gettext functions
Rich Felker [Sun, 29 Jan 2017 16:24:20 +0000 (11:24 -0500)]
avoid unbounded strlen in gettext functions

use the standard strnlen idiom for cases where lengths greater than an
imposed limit are going to be rejected immediately anyway.

7 years agofix use of uninitialized pointer in gettext core
Rich Felker [Sun, 29 Jan 2017 16:14:00 +0000 (11:14 -0500)]
fix use of uninitialized pointer in gettext core

the plural_rule field of allocated msgcat structures was assumed to be
initially-null but was never initialized. for future-proofing, the
nplurals field which was left uninitialized should also be cleared.

likewise, in the binding structure, the active field could be used
uninitialized by a technicality: the a_store which stores the initial
value of 0 may be implemented as a cas operation, which reads the old
value.

rather than fixing these issues individually, just use calloc for both
allocations. this does result in wasteful clearing of name buffers (up
to NAME_MAX+PATH_MAX) before filling them, but since the size if
bounded and the time is dominated by filesystem operations, it really
doesn't matter; simplicity and future-proofing have more value here.

modified from patch submitted by He X.

7 years agofix bindtextdomain logic error deactivating other domains
Rich Felker [Sun, 29 Jan 2017 05:11:23 +0000 (00:11 -0500)]
fix bindtextdomain logic error deactivating other domains

this loop was only supposed to deactivate other bindings for the same
text domain name, but due to copy-and-paste error, deactivated all
other bindings.

patch by He X.

7 years agofix spurious EINTR errors from multithreaded set*id, etc.
Rich Felker [Thu, 19 Jan 2017 16:45:01 +0000 (11:45 -0500)]
fix spurious EINTR errors from multithreaded set*id, etc.

commit 78a8ef47c4d92b7680c52a85f80a81e29da86bb9 inadvertently removed
the SA_RESTART flag from the sigaction for the internal signal handler
used by __synccall for broadcasting. as a result, programs which did
not use interrupting signals but which used set*id() in a
multithreaded context could wrongly observe EINTR errors they're not
prepared to handle.

7 years agofix crashes in x32 __tls_get_addr
rofl0r [Fri, 13 Jan 2017 10:28:46 +0000 (10:28 +0000)]
fix crashes in x32 __tls_get_addr

x32 has another gratuitous difference to all other archs:
it passes an array of 64bit values to __tls_get_addr().
usually it is an array of size_t.

7 years agofix crash from corrupted tls module list after failed dlopen
Rich Felker [Thu, 5 Jan 2017 03:54:06 +0000 (22:54 -0500)]
fix crash from corrupted tls module list after failed dlopen

commit d56460c939c94a6c547abe8238f442b8de10bfbd introduced this
regression as part of splitting the tls module list out of the dso
list. the new code added to dlopen's failure path to undo the changes
adding the partially-loaded libraries reset the tls_tail pointer
correctly, but did not clear its link to the next list entry. thus, at
least until the next successful dlopen, the list was not terminated
but ended with an invalid next pointer, which __copy_tls attempted to
follow when a new thread was created.

patch by Mikael Vidstedt.

7 years agotreat base 1 as an error in strtol-family functions
Rich Felker [Thu, 5 Jan 2017 00:48:21 +0000 (19:48 -0500)]
treat base 1 as an error in strtol-family functions

ISO C and POSIX only specify behavior for base arguments of 0 and
2-36; POSIX mandates an EINVAL error for unsupported bases. it's not
clear that there's a requirement for implementations not to "support"
additional bases as an extension, but "base 1" did not work in any
meaningful way anyway, so it should be considered unsupported and thus
an error.

7 years agofix getopt[_long] clobbering of optopt on success
Rich Felker [Thu, 5 Jan 2017 00:02:02 +0000 (19:02 -0500)]
fix getopt[_long] clobbering of optopt on success

getopt is only specified to modify optopt on error, and some software
apparently infers an error from optopt!=0.

getopt_long is changed analogously. the resulting behavior differs
slightly from the behavior of the GNU implementation of getopt_long,
which keeps an internal shadow copy of optopt and copies it to the
public one on return, but since the GNU implementation also exhibits
this shadow-copy behavior for plain getopt where is is non-conforming,
I think this can reasonably be considered a bug rather than an
intentional behavior that merits mimicing.

7 years agoreduce impact of REG_* namespace pollution in x86[_64] signal.h
Rich Felker [Wed, 4 Jan 2017 22:08:19 +0000 (17:08 -0500)]
reduce impact of REG_* namespace pollution in x86[_64] signal.h

when _GNU_SOURCE is defined, which is always the case when compiling
c++ with gcc, these macros for the the indices in gregset_t are
exposed and likely to clash with applications. by using enum constants
rather than macros defined with integer literals, we can make the
clash slightly less likely to break software. the macros are still
defined in case anything checks for them with #ifdef, but they're
defined to expand to themselves so that non-file-scope (e.g.
namespaced) identifiers by the same names still work.

for the sake of avoiding mistakes, the changes were generated with sed
via the command:

sed -i -e 's/#define  *\(REG_[A-Z_0-9]\{1,\}\)  *\([0-9]\{1,\}\)'\
'/enum { \1 = \2 };\n#define \1 \1/' \
arch/i386/bits/signal.h arch/x86_64/bits/signal.h arch/x32/bits/signal.h

7 years agomake globfree safe after failed glob from over-length argument
Rich Felker [Tue, 3 Jan 2017 00:47:12 +0000 (19:47 -0500)]
make globfree safe after failed glob from over-length argument

commit 0dc99ac413d8bc054a2e95578475c7122455eee8 added input length
checking to avoid unsafe VLA allocation, but put it in the wrong
place, before the glob_t structure was zeroed out. while POSIX isn't
clear on whether it's permitted to call globfree after glob failed
with GLOB_NOSPACE, making it safe is clearly better than letting
uninitialized pointers get passed to free in non-conforming callers.

while we're fixing this, change strlen check to the idiomatic strnlen
version to avoid unbounded input scanning before returning an error.

7 years agofix strftime %y for negative years
Rich Felker [Mon, 2 Jan 2017 22:30:40 +0000 (17:30 -0500)]
fix strftime %y for negative years

commit 583ea83541dcc6481c7a1bd1a9b485526bad84a1 fixed the case where
tm_year is negative but the resulting year (offset by 1900) was still
positive, which is always the case for time_t values that fit in 32
bits, but not for arbitrary inputs.

based on an earlier patch by Julien Ramseier which was overlooked at
the time the previous fix was applied.

7 years agorelease 1.1.16 v1.1.16
Rich Felker [Sun, 1 Jan 2017 03:27:17 +0000 (22:27 -0500)]
release 1.1.16

7 years agoupdate tcp_info struct to linux v4.9
Szabolcs Nagy [Sun, 25 Dec 2016 09:43:42 +0000 (10:43 +0100)]
update tcp_info struct to linux v4.9

export tcp data delivery rate in tcp_info struct.
see linux commit eb8329e0a04db0061f714f033b4454326ba147f4

7 years agoadd MS_NOREMOTELOCK mount flag from linux v4.9
Szabolcs Nagy [Sun, 25 Dec 2016 09:42:15 +0000 (10:42 +0100)]
add MS_NOREMOTELOCK mount flag from linux v4.9

for handling file locking on overlayfs.
see linux commit c568d68341be7030f5647def68851e469b21ca11

7 years agoadd pkey_{mprotect,alloc,free} syscalls from linux v4.9
Szabolcs Nagy [Sun, 25 Dec 2016 09:41:06 +0000 (10:41 +0100)]
add pkey_{mprotect,alloc,free} syscalls from linux v4.9

see linux commit e8c24d3a23a469f1f40d4de24d872ca7023ced0a
and linux Documentation/x86/protection-keys.txt

7 years agofix support for initialized TLS in static PIE binaries
Rich Felker [Tue, 20 Dec 2016 19:19:32 +0000 (14:19 -0500)]
fix support for initialized TLS in static PIE binaries

the static-linked version of __init_tls needs to locate the TLS
initialization image via the ELF program headers, which requires
determining the base address at which the program was loaded. the
existing code attempted to do this by comparing the actual address of
the program headers (obtained via auxv) with the virtual address for
the PT_PHDR record in the program headers. however, the linker seems
to produce a PT_PHDR record only when a program interpreter (dynamic
linker) is used. thus the computation failed and used the default base
address of 0, leading to a crash when trying to access the TLS image
at the wrong address.

the dynamic linker entry point and static-PIE rcrt1.o startup code
compute the base address instead by taking the difference between the
run-time address of _DYNAMIC and the virtual address in the PT_DYNAMIC
record. this patch copies the approach they use, but with a weak
symbolic reference to _DYNAMIC instead of obtaining the address from
the crt_arch.h asm. this works because relocations have already been
performed at the time __init_tls is called.

7 years agowhen building for arm as thumb2 code, also request assembly as thumb
Rich Felker [Tue, 20 Dec 2016 02:53:33 +0000 (21:53 -0500)]
when building for arm as thumb2 code, also request assembly as thumb

all assembly is now thumb2-compatible. on existing targets this is at
best a size optimization, but it will also facilitate porting to
thumb2-isa-only arm variants.

7 years agorework arm atomic/tp backends to be thumb-compatible and fdpic-ready
Rich Felker [Mon, 19 Dec 2016 00:38:53 +0000 (19:38 -0500)]
rework arm atomic/tp backends to be thumb-compatible and fdpic-ready

three problems are addressed:

- use of pc arithmetic, which was difficult if not impossible to make
  correct in thumb mode on all models, so that relative rather than
  absolute pointers to the backends could be used. this was designed
  back when there was no coherent model for the early stages of the
  dynamic linker before relocations, and is no longer necessary.

- assumption that data (the relative pointers to the backends) can be
  accessed at a constant displacement from the code. this will not be
  possible on future fdpic subarchs (for cortex-m), so move
  responsibility for loading the backend code address to the caller.

- hard-coded arm opcodes using the .word directive. instead, use the
  .arch directive to work around the assembler's refusal to assemble
  instructions not available (or in some cases, available but just
  considered deprecated) in the target isa level. the obscure v6t2
  arch is used for v6 code so as to (1) allow generation of thumb2
  output if -mthumb is active, and (2) avoid warnings/errors for mcr
  barriers that clang would produce if we just set arch to v7-a.

in addition, the __aeabi_read_tp function is moved out of the inner
workings and implemented as an asm wrapper around a C function, so
that asm code does not need to read global data. the asm wrapper
serves to satisfy the ABI calling convention requirements for this
function.

7 years agodisable use of arm memcpy asm if building as thumb code
Rich Felker [Sun, 18 Dec 2016 00:39:28 +0000 (19:39 -0500)]
disable use of arm memcpy asm if building as thumb code

the thumb incompatibilities in the asm are probably only minor and
should be fixable, but for now just use the C version.

7 years agomake arm setjmp/longjmp asm thumb2-compatible
Rich Felker [Sun, 18 Dec 2016 00:30:03 +0000 (19:30 -0500)]
make arm setjmp/longjmp asm thumb2-compatible

sp cannot be used in the ldm/stm register set in thumb mode.

7 years agouse lookup table for malloc bin index instead of float conversion
Szabolcs Nagy [Sat, 17 Dec 2016 14:03:24 +0000 (15:03 +0100)]
use lookup table for malloc bin index instead of float conversion

float conversion is slow and big on soft-float targets.

The lookup table increases code size a bit on most hard float targets
(and adds 60byte rodata), performance can be a bit slower because of
position independent data access and cpu internal state dependence
(cache, extra branches), but the overall effect should be minimal
(common, small size allocations should be unaffected).

7 years agohandle ^ and $ in BRE subexpression start and end as anchors
Szabolcs Nagy [Thu, 24 Nov 2016 00:44:49 +0000 (01:44 +0100)]
handle ^ and $ in BRE subexpression start and end as anchors

In BRE, ^ is an anchor at the beginning of an expression, optionally
it may be an anchor at the beginning of a subexpression and must be
treated as a literal otherwise.

Previously musl treated ^ in subexpressions as literal, but at least
glibc and gnu sed treats it as an anchor and that's the more useful
behaviour: it can always be escaped to get back the literal meaning.

Same for $ at the end of a subexpression.

Portable BRE should not rely on this, but there are sed commands in
build scripts which do.

This changes the meaning of the BREs:

\(^a\)
\(a\|^b\)
\(a$\)
\(a$\|b\)

7 years agofix mrand48/jrand48 return value on 64-bit archs
Rich Felker [Sat, 17 Dec 2016 04:19:27 +0000 (23:19 -0500)]
fix mrand48/jrand48 return value on 64-bit archs

POSIX specifies the result to have signed 32-bit range. on 32-bit
archs, the implicit conversion to long achieved the desired range
already, but when long is 64-bit, a cast is needed.

patch by Ed Schouten.

7 years agoin public headers, don't assume pre-C99 compilers have __inline keyword
Quentin Rameau [Mon, 12 Dec 2016 20:01:26 +0000 (21:01 +0100)]
in public headers, don't assume pre-C99 compilers have __inline keyword

7 years agofix crashing sigsetjmp on s390x
Bobby Bingham [Sun, 27 Nov 2016 18:18:10 +0000 (12:18 -0600)]
fix crashing sigsetjmp on s390x

the bz instruction that was wrongly used only admits a small immediate
displacement and cannot be used with external symbols; apparently the
linker fails to diagnose the overflow.

7 years agofix use of incomplete struct type in s390x user.h
Bobby Bingham [Tue, 15 Nov 2016 03:37:42 +0000 (21:37 -0600)]
fix use of incomplete struct type in s390x user.h

7 years agofix typo in s390x user.h
Bobby Bingham [Tue, 15 Nov 2016 03:37:41 +0000 (21:37 -0600)]
fix typo in s390x user.h

7 years agoremove legacy i386 fallback stdarg implementation and framework
Rich Felker [Thu, 15 Dec 2016 17:18:24 +0000 (12:18 -0500)]
remove legacy i386 fallback stdarg implementation and framework

this has been slated for removal for a long time. there is
fundamentally no way to implement stdarg without compiler assistance;
any attempt to do so has serious undefined behavior; its working
depends not just (as a common misconception goes) on ABI, but also on
assumptions about compiler code generation internal to a translation
unit, which is not subject to external ABI constraints.

7 years agoremove largish unused field from pthread structure
Rich Felker [Wed, 7 Dec 2016 03:57:15 +0000 (22:57 -0500)]
remove largish unused field from pthread structure

8 years agowork around gdb issues recognizing sigreturn trampoline on x86_64
Rich Felker [Sun, 13 Nov 2016 00:43:37 +0000 (19:43 -0500)]
work around gdb issues recognizing sigreturn trampoline on x86_64

gdb can only backtrace/unwind across signal handlers if it recognizes
the sa_restorer trampoline. for x86_64, gdb first attempts to
determine the symbol name for the function in which the program
counter resides and match it against "__restore_rt". if no name can be
found (e.g. in the case of a stripped binary), the exact instruction
sequence is matched instead.

when matching the function name, however, gdb's unwind code wrongly
considers the interval [sym,sym+size] rather than [sym,sym+size).
thus, if __restore_rt begins immediately after another function, gdb
wrongly identifies pc as lying within the previous adjacent function.
this patch adds a nop before __restore_rt to preclude that
possibility. it also removes the symbol name __restore and replaces it
with a macro since the stability of whether gdb identifies the
function as __restore_rt or __restore is not clear.

for the no-symbols case, the instruction sequence is changed to use
%rax rather than %eax to match what gdb expects.

based on patch by Szabolcs Nagy, with extended description and
corresponding x32 changes added.

8 years agoadd s390x port
Bobby Bingham [Sat, 12 Nov 2016 03:52:05 +0000 (21:52 -0600)]
add s390x port

8 years agotreat null vdso base same as missing
Bobby Bingham [Tue, 26 Jul 2016 03:52:58 +0000 (22:52 -0500)]
treat null vdso base same as missing

On s390x, the kernel provides AT_SYSINFO_EHDR, but sets it to zero, if the
program being run does not have a program interpreter.  This causes
problems when running the dynamic linker directly.

8 years agogeneralize ELF hash table types not to assume 32-bit entries
Rich Felker [Fri, 11 Nov 2016 17:30:24 +0000 (12:30 -0500)]
generalize ELF hash table types not to assume 32-bit entries

alpha and s390x gratuitously use 64-bit entries (wasting 2x space and
cache utilization) despite the values always being 32-bit.

based on patch by Bobby Bingham, with changes suggested by Alexander
Monakov to use the public Elf_Symndx type from link.h (and make it
properly variable by arch) rather than adding new internal
infrastructure for handling the type.

8 years agofix build regression on archs with variable page size
Rich Felker [Tue, 8 Nov 2016 23:03:42 +0000 (18:03 -0500)]
fix build regression on archs with variable page size

commit 31fb174dd295e50f7c5cf18d31fcfd5fe5a063b7 used
DEFAULT_GUARD_SIZE from pthread_impl.h in a static initializer,
breaking build on archs where its definition, PAGE_SIZE, is not a
constant. instead, just define DEFAULT_GUARD_SIZE as 4096, the minimal
page size on any arch we support. pthread_create rounds up to whole
pages anyway, so defining it to 1 would also work, but a moderately
meaningful value is nicer to programs that use
pthread_attr_getguardsize on default-initialized attribute objects.

8 years agoadd limited pthread_setattr_default_np API to set stack size defaults
Rich Felker [Tue, 8 Nov 2016 17:09:05 +0000 (12:09 -0500)]
add limited pthread_setattr_default_np API to set stack size defaults

based on patch by Timo Teräs:

While generally this is a bad API, it is the only existing API to
affect c++ (std::thread) and c11 (thrd_create) thread stack size.
This patch allows applications only to increate stack and guard
page sizes.

8 years agofix pthread_create regression from stack/guard size simplification
Rich Felker [Tue, 8 Nov 2016 16:51:57 +0000 (11:51 -0500)]
fix pthread_create regression from stack/guard size simplification

commit 33ce920857405d4f4b342c85b74588a15e2702e5 broke pthread_create
in the case where a null attribute pointer is passed; rather than
using the default sizes, sizes of 0 (plus the remainder of one page
after TLS/TCB use) were used.

8 years agomake netinet/in.h suppress clashing definitions from kernel headers
Rich Felker [Tue, 8 Nov 2016 04:19:19 +0000 (23:19 -0500)]
make netinet/in.h suppress clashing definitions from kernel headers

the linux kernel uapi headers provide their own definitions of the
structures from netinet/in.h, resulting in errors when a program
includes both the standard libc header and one or more of the
networking-related kernel headers that pull in the kernel definitions.

as before, we do not attempt to support the case where kernel headers
are included before the libc ones, since the kernel definitions may
have subtly incorrect types, namespace violations, etc. however, we
can easily support the inclusion of the kernel headers after the libc
ones, since the kernel headers provide a public interface for
suppressing their definitions. this patch adds the necessary macro
definitions for such suppression.

8 years agosimplify pthread_attr_t stack/guard size representation
Rich Felker [Tue, 8 Nov 2016 01:47:24 +0000 (20:47 -0500)]
simplify pthread_attr_t stack/guard size representation

previously, the pthread_attr_t object was always initialized all-zero,
and stack/guard size were represented as differences versus their
defaults. this required lots of confusing offset arithmetic everywhere
they were used. instead, have pthread_attr_init fill in the default
values, and work with absolute sizes everywhere.

8 years agofix swprintf internal buffer state and error handling
Rich Felker [Tue, 8 Nov 2016 01:39:59 +0000 (20:39 -0500)]
fix swprintf internal buffer state and error handling

the swprintf write callback never reset its buffer pointers, so after
its 256-byte buffer filled up, it would keep repeating those bytes
over and over in the output until the destination buffer filled up. it
also failed to set the error indicator for the stream on EILSEQ,
potentially allowing output to continue after the error.

8 years agofix integer overflow of tm_year in __secs_to_tm
Daniel Sabogal [Thu, 3 Nov 2016 02:29:36 +0000 (22:29 -0400)]
fix integer overflow of tm_year in __secs_to_tm

the overflow check for years+100 did not account for the extra
year computed from the remaining months. instead, perform this
check after obtaining the final number of years.

8 years agofix ldso reserved library name handling
Szabolcs Nagy [Tue, 1 Nov 2016 01:49:09 +0000 (02:49 +0100)]
fix ldso reserved library name handling

If a DT_NEEDED entry was the prefix of a reserved library name
(up to the first dot) then it was incorrectly treated as a libc
reserved name.

e.g. libp.so dependency was not loaded as it matched libpthread
reserved name.

8 years agofix accidental global static pointer in ldso
Szabolcs Nagy [Tue, 1 Nov 2016 01:44:56 +0000 (02:44 +0100)]
fix accidental global static pointer in ldso

this was harmless as load_library is not called concurrently,
but it used one word of bss.

8 years agodon't claim support for resolv.h APIs that aren't supported
Rich Felker [Mon, 7 Nov 2016 16:55:53 +0000 (11:55 -0500)]
don't claim support for resolv.h APIs that aren't supported

the value 19991006 for __RES implies availability of res_ninit and
related functions that take a resolver state argument; these are not
supported since our resolver is stateless. instead claim support for
just the older API by defining __RES to 19960801.

based on patch by Dmitrij D. Czarkoff.

8 years agofix parsing of quoted time zone names
Hannu Nyman [Mon, 24 Oct 2016 10:12:24 +0000 (13:12 +0300)]
fix parsing of quoted time zone names

Fix parsing of the < > quoted time zone names. Compare the correct
character instead of repeatedly comparing the first character.

8 years agoremove redundant feature test macro checks in sys/time.h
Rich Felker [Mon, 7 Nov 2016 16:49:22 +0000 (11:49 -0500)]
remove redundant feature test macro checks in sys/time.h

this header is XSI-shaded itself and thus does not need to limit
specific content to _XOPEN_SOURCE.

8 years agoredesign snprintf without undefined behavior
Rich Felker [Sat, 22 Oct 2016 00:57:15 +0000 (20:57 -0400)]
redesign snprintf without undefined behavior

the old snprintf design setup the FILE buffer pointers to point
directly into the destination buffer; if n was actually larger than
the buffer size, the pointer arithmetic to compute the buffer end
pointer was undefined. this affected sprintf, which is implemented in
terms of snprintf, as well as some unusual but valid direct uses of
snprintf.

instead, setup the FILE as unbuffered and have its write function
memcpy to the destination. the printf core sets up its own temporary
buffer for unbuffered streams.

8 years agofix various header namespace issues under feature-test-macro control
Rich Felker [Thu, 20 Oct 2016 21:20:01 +0000 (17:20 -0400)]
fix various header namespace issues under feature-test-macro control

reported and changes suggested by Daniel Sabogal.

8 years agoremove parameter names from public headers
Rich Felker [Thu, 20 Oct 2016 21:04:37 +0000 (17:04 -0400)]
remove parameter names from public headers

inclusion of these names was unintentional and in most cases is a
namespace violation. Daniel Sabogal tracked down and reported these.

8 years agofix misspelling of a legacy macro name in sys/param.h
Rich Felker [Thu, 20 Oct 2016 21:01:56 +0000 (17:01 -0400)]
fix misspelling of a legacy macro name in sys/param.h

8 years agoadd missing if_ether.h constants
Daniel Sabogal [Mon, 5 Sep 2016 02:30:43 +0000 (22:30 -0400)]
add missing if_ether.h constants

ETH_P_HSR (IEC 62439-3 HSRv1) added in
linux 4.7 commit ee1c27977284907d40f7f72c2d078d709f15811f

ETH_P_TSN (IEEE 1722) added in
linux 4.3 commit 1ab1e895492d8084dfc1c854efacde219e56b8c1
this constant breaks the ascending order to match the kernel header

ETH_P_XDSA (Multiplexed DSA protocol) added in
linux 3.18 commit 3e8a72d1dae374cf6fc1dba97cec663585845ff9

8 years agoadd missing if_arp.h constant
Daniel Sabogal [Mon, 5 Sep 2016 02:30:42 +0000 (22:30 -0400)]
add missing if_arp.h constant

ARPHRD_6LOWPAN (IPv6 over LoWPAN) added in
linux 3.14 commit 0abc652c796dab74d34d60473ec5594cd21620be

8 years agofix typo in utmpx.h
Daniel Sabogal [Sun, 4 Sep 2016 14:42:48 +0000 (10:42 -0400)]
fix typo in utmpx.h

8 years agoadd missing confstr constants
Daniel Sabogal [Sun, 4 Sep 2016 14:42:47 +0000 (10:42 -0400)]
add missing confstr constants

the _CS_V6_ENV and _CS_V7_ENV constants are required to be available for use
with confstr. glibc defines these constants with values 1148 and 1149,
respectively.

the only missing (and required) confstr constants are
_CS_POSIX_V7_THREADS_CFLAGS and _CS_POSIX_V7_THREADS_LDFLAGS which remain
unavailable in glibc.

8 years agofix minor problem in previous strtod non-nearest rounding bug fix
Rich Felker [Thu, 20 Oct 2016 18:40:59 +0000 (14:40 -0400)]
fix minor problem in previous strtod non-nearest rounding bug fix

commit 6ffdc4579ffb34f4aab69ab4c081badabc7c0a9a set lnz in the code
path for non-zero digits after a huge string of zeros, but the
assignment of dc to lnz truncates if the value of dc does not fit in
int; this is possible for some pathologically long inputs, either via
strings on 64-bit systems or via scanf-family functions.

instead, simply set lnz to match the point at which we add the
artificial trailing 1 bit to simulate nonzero digits after a huge
run of zeros.

8 years agofix strtod int optimization in non-nearest rounding mode
Szabolcs Nagy [Sun, 4 Sep 2016 02:51:03 +0000 (04:51 +0200)]
fix strtod int optimization in non-nearest rounding mode

the mid-sized integer optimization relies on lnz set up properly
to mark the last non-zero decimal digit, but this was not done
if the non-zero digit lied outside the KMAX digits of the base
10^9 number representation.

so if the fractional part was a very long list of zeros (>2048*9 on
x86) followed by non-zero digits then the integer optimization could
kick in discarding the tiny non-zero fraction which can mean wrong
result on non-nearest rounding mode.

strtof, strtod and strtold were all affected.

8 years agofix strtod and strtof rounding with many trailing zeros
Szabolcs Nagy [Sun, 4 Sep 2016 02:46:00 +0000 (04:46 +0200)]
fix strtod and strtof rounding with many trailing zeros

in certain cases excessive trailing zeros could cause incorrect
rounding from long double to double or float in decfloat.

e.g. in strtof("9444733528689243848704.000000", 0) the argument
is 0x1.000001p+73, exactly halfway between two representible floats,
this incorrectly got rounded to 0x1.000002p+73 instead of 0x1p+73,
but with less trailing 0 the rounding was fine.

the fix makes sure that the z index always points one past the last
non-zero digit in the base 10^9 representation, this way trailing
zeros don't affect the rounding logic.

8 years agofix gratuitous undefined behavior in strptime
Rich Felker [Thu, 20 Oct 2016 17:22:20 +0000 (13:22 -0400)]
fix gratuitous undefined behavior in strptime

accessing an object of type const char *restrict as if it had type
char * is not defined.

8 years agofix getopt_long_only misinterpreting "--" as an option
Rich Felker [Thu, 20 Oct 2016 16:13:33 +0000 (12:13 -0400)]
fix getopt_long_only misinterpreting "--" as an option

8 years agofix float formatting of some exact halfway cases
Szabolcs Nagy [Tue, 11 Oct 2016 22:49:59 +0000 (00:49 +0200)]
fix float formatting of some exact halfway cases

in nearest rounding mode exact halfway cases were not following the
round to even rule if the rounding happened at a base 1000000000 digit
boundary of the internal representation and the previous digit was odd.

e.g. printf("%.0f", 1.5) printed 1 instead of 2.

8 years agoadd pthread_setname_np
Felix Janda [Sat, 17 Sep 2016 00:54:00 +0000 (20:54 -0400)]
add pthread_setname_np

the thread name is displayed by gdb's "info threads".

8 years agofix clock_nanosleep error case
Daniel Sabogal [Sat, 17 Sep 2016 16:05:45 +0000 (12:05 -0400)]
fix clock_nanosleep error case

posix requires that EINVAL be returned if the first parameter specifies
the cpu-time clock of the calling thread (CLOCK_THREAD_CPUTIME_ID).
linux returns ENOTSUP instead so we handle this.

8 years agomath: fix pow signed shift ub
Szabolcs Nagy [Tue, 4 Oct 2016 01:58:56 +0000 (03:58 +0200)]
math: fix pow signed shift ub

j is int32_t and thus j<<31 is undefined if j==1, so j is changed to
uint32_t locally as a quick fix, the generated code is not affected.

(this is a strict conformance fix, future c standard may allow 1<<31,
see DR 463.  the bug was inherited from freebsd fdlibm, the proper fix
is to use uint32_t for all bit hacks, but that requires more intrusive
changes.)

reported by Daniel Sabogal

8 years agoupdate icmphdr struct following linux v4.8
Szabolcs Nagy [Sun, 9 Oct 2016 17:02:30 +0000 (19:02 +0200)]
update icmphdr struct following linux v4.8

add union field that is used in the kernel for SIT/GRE tunneling ICMPv4
messages. see linux commit 20e1954fe238dbe5f8d3a979e593fe352bd703cf

8 years agoadd TCP_REPAIR_WINDOW to netinet/tcp.h from linux v4.8
Szabolcs Nagy [Sun, 9 Oct 2016 17:02:08 +0000 (19:02 +0200)]
add TCP_REPAIR_WINDOW to netinet/tcp.h from linux v4.8

another kernel internal state exposure for checkpoint-restore.
see linux commit b1ed4c4fa9a5ccf325184fd90edc50978ef6e33a

8 years agoadd bits/hwcap.h and include it in sys/auxv.h
Szabolcs Nagy [Sun, 9 Oct 2016 18:42:02 +0000 (20:42 +0200)]
add bits/hwcap.h and include it in sys/auxv.h

aarch64, arm, mips, mips64, mipsn32, powerpc, powerpc64 and sh have
cpu feature bits defined in linux for AT_HWCAP auxv entry, so expose
those in sys/auxv.h

it seems the mips hwcaps were never exposed to userspace neither
by linux nor by glibc, but that's most likely an oversight.

8 years agoelf.h: update EM_ elf machine defines and add R_BPF_ defines
Szabolcs Nagy [Sun, 9 Oct 2016 17:01:09 +0000 (19:01 +0200)]
elf.h: update EM_ elf machine defines and add R_BPF_ defines

sync with gabi: http://www.sco.com/developers/gabi/latest/ch4.eheader.html

EM_BPF is new in linux v4.8 and officially assigned:
https://lists.iovisor.org/pipermail/iovisor-dev/2016-June/000266.html
added related relocs too.

8 years agoadd ETH_P_NCSI to netinet/if_ether.h from linux v4.8
Szabolcs Nagy [Sun, 9 Oct 2016 17:00:39 +0000 (19:00 +0200)]
add ETH_P_NCSI to netinet/if_ether.h from linux v4.8

see linux commit 6389eaa7fa9c3ee6c7d39f6087b86660d17236ac

8 years agoadd sh syscall numbers from linux v4.8
Szabolcs Nagy [Sun, 9 Oct 2016 17:00:07 +0000 (19:00 +0200)]
add sh syscall numbers from linux v4.8

sh was updated in linux commit 74bdaa611fa69368fb4032ad437af073d31116bd
to have numbers for new syscalls.

8 years agofix preadv2 and pwritev2 syscall numbers on x32 for linux v4.8
Szabolcs Nagy [Sun, 9 Oct 2016 16:58:10 +0000 (18:58 +0200)]
fix preadv2 and pwritev2 syscall numbers on x32 for linux v4.8

the numbers were wrong in musl, but they were also wrong in the kernel
and got fixed in v4.8 commit 3ebfd81f7fb3e81a754e37283b7f38c62244641a

8 years agouse dynamic buffer for getmntent
Natanael Copa [Thu, 8 Sep 2016 17:07:31 +0000 (19:07 +0200)]
use dynamic buffer for getmntent

overlayfs may have fairly long lines so we use getline to allocate a
buffer dynamically. The buffer will be allocated on first use, expand as
needed, but will never be free'ed.

Downstream bug: http://bugs.alpinelinux.org/issues/5703

Signed-off-by: Natanael Copa <ncopa@alpinelinux.org>
8 years agofix integer overflows and uncaught EOVERFLOW in printf core
Rich Felker [Thu, 20 Oct 2016 04:22:09 +0000 (00:22 -0400)]
fix integer overflows and uncaught EOVERFLOW in printf core

this patch fixes a large number of missed internal signed-overflow
checks and errors in determining when the return value (output length)
would exceed INT_MAX, which should result in EOVERFLOW. some of the
issues fixed were reported by Alexander Cherepanov; others were found
in subsequent review of the code.

aside from the signed overflows being undefined behavior, the
following specific bugs were found to exist in practice:

- overflows computing length of floating point formats with huge
  explicit precisions, integer formats with prefix characters and huge
  explicit precisions, or string arguments or format strings longer
  than INT_MAX, resulted in wrong return value and wrong %n results.

- literal width and precision values outside the range of int were
  misinterpreted, yielding wrong behavior in at least one well-defined
  case: string formats with precision greater than INT_MAX were
  sometimes truncated.

- in cases where EOVERFLOW is produced, incorrect values could be
  written for %n specifiers past the point of exceeding INT_MAX.

in addition to fixing these bugs, we now stop producing output
immediately when output length would exceed INT_MAX, rather than
continuing and returning an error only at the end.

8 years agofix integer overflow in float printf needed-precision computation
Rich Felker [Thu, 20 Oct 2016 00:17:16 +0000 (20:17 -0400)]
fix integer overflow in float printf needed-precision computation

if the requested precision is close to INT_MAX, adding
LDBL_MANT_DIG/3+8 overflows. in practice the resulting undefined
behavior manifests as a large negative result, which is then used to
compute the new end pointer (z) with a wildly out-of-bounds value
(more overflow, more undefined behavior). the end result is at least
incorrect output and character count (return value); worse things do
not seem to happen, but detailed analysis has not been done.

this patch fixes the overflow by performing the intermediate
computation as unsigned; after division by 9, the final result
necessarily fits in int.

8 years agofix regexec with haystack strings longer than INT_MAX
Rich Felker [Thu, 6 Oct 2016 16:15:47 +0000 (12:15 -0400)]
fix regexec with haystack strings longer than INT_MAX

we inherited from TRE regexec code that's utterly wrong with respect
to the integer types it's using. while it doesn't appear that
compilers are producing unsafe output, signed integer overflows seem
to happen, and regexec fails to find matches past offset INT_MAX.

this patch fixes the type of all variables/fields used to store
offsets in the string from int to regoff_t. after the changes, basic
testing showed that regexec can now find matches past 2GB (INT_MAX)
and past 4GB on x86_64, and code generation is unchanged on i386.

8 years agofix missing integer overflow checks in regexec buffer size computations
Rich Felker [Thu, 6 Oct 2016 22:34:58 +0000 (18:34 -0400)]
fix missing integer overflow checks in regexec buffer size computations

most of the possible overflows were already ruled out in practice by
regcomp having already succeeded performing larger allocations.
however at least the num_states*num_tags multiplication can clearly
overflow in practice. for safety, check them all, and use the proper
type, size_t, rather than int.

also improve comments, use calloc in place of malloc+memset, and
remove bogus casts.

8 years agofix strftime %y for negative tm_year
Szabolcs Nagy [Tue, 4 Oct 2016 17:14:57 +0000 (17:14 +0000)]
fix strftime %y for negative tm_year

8 years agofix getservby*_r result pointer value on error
Daniel Sabogal [Sat, 24 Sep 2016 01:10:07 +0000 (21:10 -0400)]
fix getservby*_r result pointer value on error

this is a clone of the fix to the gethostby*_r functions in
commit fe82bb9b921be34370e6b71a1c6f062c20999ae0. the man pages
document that the getservby*_r functions set this pointer to
NULL if there was an error or if no record was found.

8 years agoremove dead case in gethostbyname2_r
Daniel Sabogal [Sat, 24 Sep 2016 04:38:06 +0000 (00:38 -0400)]
remove dead case in gethostbyname2_r

this case statement was accidently left behind when this function
was refactored in commit e8f39ca4898237cf71657500f0b11534c47a0521.

8 years agofix undefined behavior in sched.h cpu_set_t usage
Rich Felker [Mon, 19 Sep 2016 15:15:51 +0000 (11:15 -0400)]
fix undefined behavior in sched.h cpu_set_t usage

since cpu sets can be dynamically allocated and have variable size,
accessing their contents via ->__bits is not valid; performing pointer
arithmetic outside the range of the size of the declared __bits array
results in undefined beahavior. instead, only use cpu_set_t for
fixed-size cpu set objects (instantiated by the caller) and as an
abstract pointer type for dynamically allocated ones. perform all
accesses simply by casting the abstract pointer type cpuset_t * back
to unsigned long *.

8 years agosimplify/refactor fflush and make fflush_unlocked an alias for fflush
Rich Felker [Mon, 19 Sep 2016 01:45:47 +0000 (21:45 -0400)]
simplify/refactor fflush and make fflush_unlocked an alias for fflush

previously, fflush_unlocked was an alias for an internal backend that
was called by fflush, either for its argument or in a loop for each
file if a null pointer was passed. since the logic for the latter was
in the main fflush function, fflush_unlocked crashed when passed a
null pointer, rather than flushing all open files. since
fflush_unlocked is not a standard function and has no specification,
it's not clear whether it should be expected to accept null pointers
like fflush does, but a reasonable argument could be made that it
should.

this patch eliminates the helper function, simplifying fflush, and
makes fflush_unlocked an alias for fflush, which is valid because the
two functions agree in their behavior in all cases where their
behavior is defined (the unlocked version has undefined behavior if
another thread could hold locks).

8 years agoadd missing *_unlocked and wcsftime_l prototypes to wchar.h
Daniel Sabogal [Sat, 10 Sep 2016 01:23:17 +0000 (21:23 -0400)]
add missing *_unlocked and wcsftime_l prototypes to wchar.h

these functions had been implemented, but prototypes were not made available

8 years agofix if_indextoname error case
Daniel Sabogal [Thu, 15 Sep 2016 15:27:30 +0000 (11:27 -0400)]
fix if_indextoname error case

posix requires errno to be set to ENXIO if the interface does not exist.
linux returns ENODEV instead so we handle this.

8 years agofix ifru_data and ifcu_buf types in net/if.h
Daniel Sabogal [Fri, 16 Sep 2016 17:34:24 +0000 (13:34 -0400)]
fix ifru_data and ifcu_buf types in net/if.h

glibc, freebsd, and openbsd use character pointers (caddr_t) for
these fields. only linux uses void pointer for the ifru_data type.

8 years agofix printf regression with alt-form octal, zero flag, and field width
Rich Felker [Fri, 16 Sep 2016 21:40:08 +0000 (17:40 -0400)]
fix printf regression with alt-form octal, zero flag, and field width

commit b91cdbe2bc8b626aa04dc6e3e84345accf34e4b1, in fixing another
issue, changed the logic for how alt-form octal adds the leading zero
to adjust the precision rather than using a prefix character. this
wrongly suppressed the zero flag by mimicing an explicit precision
given by the format string. switch back to using a prefix character.

based on bug report and patch by Dmitry V. Levin, but simplified.

8 years agorestore _Noreturn to __assert_fail
Rich Felker [Tue, 30 Aug 2016 20:39:54 +0000 (16:39 -0400)]
restore _Noreturn to __assert_fail

this reverts commit 2c1f8fd5da3306fd7c8a2267467e44eb61f12dd4. without
the _Noreturn attribute, the compiler cannot use asserts to perform
reachability/range analysis. this leads to missed optimizations and
spurious warnings.

the original backtrace problem that prompted the removal of _Noreturn
was not clearly documented at the time, but it seems to happen only
when libc was built without -g, which also breaks many other
backtracing cases.

8 years agogetdtablesize: fix returning hard instead of soft rlimit
Olivier Brunel [Sat, 13 Aug 2016 18:31:49 +0000 (20:31 +0200)]
getdtablesize: fix returning hard instead of soft rlimit

This makes the result consistent with sysconf(_SC_OPEN_MAX).