oweals/musl.git
11 years agodisable legacy init/fini processing on ARM
Rich Felker [Mon, 22 Jul 2013 18:08:33 +0000 (14:08 -0400)]
disable legacy init/fini processing on ARM

since the old, poorly-thought-out musl approach to init/fini arrays on
ARM (when it was the only arch that needed them) was to put the code
in crti/crtn and have the legacy _init/_fini code run the arrays,
adding proper init/fini array support caused the arrays to get
processed twice on ARM. I'm not sure skipping legacy init/fini
processing is the best solution to the problem, but it works, and it
shouldn't break anything since the legacy init/fini system was never
used for ARM EABI.

11 years agomake pthread_key_t unsigned to match ABI
Rich Felker [Mon, 22 Jul 2013 18:03:25 +0000 (14:03 -0400)]
make pthread_key_t unsigned to match ABI

11 years agomake pthread attribute types structs, even when they just have one field
Rich Felker [Mon, 22 Jul 2013 17:57:02 +0000 (13:57 -0400)]
make pthread attribute types structs, even when they just have one field

this change is to get the right tags for C++ ABI matching. it should
have no other effects.

11 years agochange wint_t to unsigned
Rich Felker [Mon, 22 Jul 2013 17:05:41 +0000 (13:05 -0400)]
change wint_t to unsigned

aside from the obvious C++ ABI purpose for this change, it also brings
musl into alignment with the compiler's idea of the definition of
wint_t (use in -Wformat), and makes the situation less awkward on ARM,
where wchar_t is unsigned.

internal code using wint_t and WEOF was checked against this change,
and while a few cases of storing WEOF into wchar_t were found, they
all seem to operate properly with the natural conversion from unsigned
to signed.

11 years agorefactor headers, especially alltypes.h, and improve C++ ABI compat
Rich Felker [Mon, 22 Jul 2013 15:22:36 +0000 (11:22 -0400)]
refactor headers, especially alltypes.h, and improve C++ ABI compat

the arch-specific bits/alltypes.h.sh has been replaced with a generic
alltypes.h.in and minimal arch-specific bits/alltypes.h.in.

this commit is intended to have no functional changes except:
- exposing additional symbols that POSIX allows but does not require
- changing the C++ name mangling for some types
- fixing the signedness of blksize_t on powerpc (POSIX requires signed)
- fixing the limit macros for sig_atomic_t on x86_64
- making dev_t an unsigned type (ABI matching goal, and more logical)

in addition, some types that were wrongly defined with long on 32-bit
archs were changed to int, and vice versa; this change is
non-functional except for the possibility of making pointer types
mismatch, and only affects programs that were using them incorrectly,
and only at build-time, not runtime.

the following changes were made in the interest of moving
non-arch-specific types out of the alltypes system and into the
headers they're associated with, and also will tend to improve
application compatibility:
- netdb.h now includes netinet/in.h (for socklen_t and uint32_t)
- netinet/in.h now includes sys/socket.h and inttypes.h
- sys/resource.h now includes sys/time.h (for struct timeval)
- sys/wait.h now includes signal.h (for siginfo_t)
- langinfo.h now includes nl_types.h (for nl_item)

for the types in stdint.h:
- types which are of no interest to other headers were moved out of
  the alltypes system.
- fast types for 8- and 64-bit are hard-coded (at least for now); only
  the 16- and 32-bit ones have reason to vary by arch.

and the following types have been changed for C++ ABI purposes;
- mbstate_t now has a struct tag, __mbstate_t
- FILE's struct tag has been changed to _IO_FILE
- DIR's struct tag has been changed to __dirstream
- locale_t's struct tag has been changed to __locale_struct
- pthread_t is defined as unsigned long in C++ mode only
- fpos_t now has a struct tag, _G_fpos64_t
- fsid_t's struct tag has been changed to __fsid_t
- idtype_t has been made an enum type (also required by POSIX)
- nl_catd has been changed from long to void *
- siginfo_t's struct tag has been removed
- sigset_t's has been given a struct tag, __sigset_t
- stack_t has been given a struct tag, sigaltstack
- suseconds_t has been changed to long on 32-bit archs
- [u]intptr_t have been changed from long to int rank on 32-bit archs
- dev_t has been made unsigned

summary of tests that have been performed against these changes:
- nsz's libc-test (diff -u before and after)
- C++ ABI check symbol dump (diff -u before, after, glibc)
- grepped for __NEED, made sure types needed are still in alltypes
- built gcc 3.4.6

11 years agoremove init/fini array asm from arm crti/crtn files
Rich Felker [Sun, 21 Jul 2013 07:48:35 +0000 (03:48 -0400)]
remove init/fini array asm from arm crti/crtn files

this code has been replaced by portable C code that works on all
archs. the old asm needs to be removed or ctors/dtors will run twice.

11 years agoremove __libc_csu_* cruft
Rich Felker [Sun, 21 Jul 2013 07:34:31 +0000 (03:34 -0400)]
remove __libc_csu_* cruft

these functions were mistakenly assumed to be needed to match glibc
ABI, but glibc has them as part of the non-shared part of libc that's
always statically linked into the main program. moreover, the only
place they are referenced from is glibc's crt1.o.

11 years agoadd support for init/fini array in main program, and greatly simplify
Rich Felker [Sun, 21 Jul 2013 07:00:54 +0000 (03:00 -0400)]
add support for init/fini array in main program, and greatly simplify

modern (4.7.x and later) gcc uses init/fini arrays, rather than the
legacy _init/_fini function pasting and crtbegin/crtend ctors/dtors
system, on most or all archs. some archs had already switched a long
time ago. without following this change, global ctors/dtors will cease
to work under musl when building with new gcc versions.

the most surprising part of this patch is that it actually reduces the
size of the init code, for both static and shared libc. this is
achieved by (1) unifying the handling main program and shared
libraries in the dynamic linker, and (2) eliminating the
glibc-inspired rube goldberg machine for passing around init and fini
function pointers. to clarify, some background:

the function signature for __libc_start_main was based on glibc, as
part of the original goal of being able to run some glibc-linked
binaries. it worked by having the crt1 code, which is linked into
every application, static or dynamic, obtain and pass pointers to the
init and fini functions, which __libc_start_main is then responsible
for using and recording for later use, as necessary. however, in
neither the static-linked nor dynamic-linked case do we actually need
crt1.o's help. with dynamic linking, all the pointers are available in
the _DYNAMIC block. with static linking, it's safe to simply access
the _init/_fini and __init_array_start, etc. symbols directly.

obviously changing the __libc_start_main function signature in an
incompatible way would break both old musl-linked programs and
glibc-linked programs, so let's not do that. instead, the function can
just ignore the information it doesn't need. new archs need not even
provide the useless args in their versions of crt1.o. existing archs
should continue to provide it as long as there is an interest in
having newly-linked applications be able to run on old versions of
musl; at some point in the future, this support can be removed.

11 years agofix order of fini_array execution for shared libs
Rich Felker [Sun, 21 Jul 2013 06:35:46 +0000 (02:35 -0400)]
fix order of fini_array execution for shared libs

11 years agoadd support for init_array/fini_array ctors/dtors to dynamic linker
Rich Felker [Sat, 20 Jul 2013 22:26:17 +0000 (18:26 -0400)]
add support for init_array/fini_array ctors/dtors to dynamic linker

11 years agofix shm_open wrongly being cancellable
Rich Felker [Sat, 20 Jul 2013 17:19:14 +0000 (13:19 -0400)]
fix shm_open wrongly being cancellable

11 years agofix uninitialized/stale use of alloc (%m modifier) flag in scanf
Rich Felker [Sat, 20 Jul 2013 04:21:11 +0000 (00:21 -0400)]
fix uninitialized/stale use of alloc (%m modifier) flag in scanf

for conversion specifiers, alloc is always set when the specifier is
parsed. however, if scanf stops due to mismatching literal text,
either an uninitialized (if no conversions have been performed yet) or
stale (from the previous conversion) of the flag will be used,
possibly causing an invalid pointer to be passed to free when the
function returns.

11 years agoharden realloc/free to detect simple overflows
Rich Felker [Sat, 20 Jul 2013 00:00:11 +0000 (20:00 -0400)]
harden realloc/free to detect simple overflows

the sizes in the header and footer for a chunk should always match. if
they don't, the program has definitely invoked undefined behavior, and
the most likely cause is a simple overflow, either of a buffer in the
block being freed or the one just below it.

crashing here should not only improve security of buggy programs, but
also aid in debugging, since the crash happens in a context where you
have a pointer to the likely-overflowed buffer.

11 years agoadd UIO_MAXIOV macro in sys/uio.h
Rich Felker [Fri, 19 Jul 2013 23:57:52 +0000 (19:57 -0400)]
add UIO_MAXIOV macro in sys/uio.h

while there's no POSIX namespace provision for UIO_* in uio.h, this
exact macro name is reserved in XBD 2.2.2. apparently some
glibc-centric software expects it to exist, so let's provide it.

11 years agoimprove [f]stat[v]fs functions, and possibly work around old kernels
Rich Felker [Fri, 19 Jul 2013 06:48:18 +0000 (02:48 -0400)]
improve [f]stat[v]fs functions, and possibly work around old kernels

the main aim of this patch is to ensure that if not all fields are
filled in, they contain zeros, so as not to confuse applications.
reportedly some older kernels, including commonly used openvz kernels,
lack the f_flags field, resulting in applications reading random junk
as the mount flags; the common symptom seems to be wrongly considering
the filesystem to be mounted read-only and refusing to operate. glibc
has some amazingly ugly fallback code to get the mount flags for old
kernels, but having them really is not that important anyway; what
matters most is not presenting incorrect flags to the application.

I have also aimed to fill in some fields of statvfs that were
previously missing, and added code to explicitly zero the reserved
space at the end of the structure, which will make things easier in
the future if this space someday needs to be used.

11 years agochange uid_t, gid_t, and id_t to unsigned types
Rich Felker [Fri, 19 Jul 2013 05:34:28 +0000 (01:34 -0400)]
change uid_t, gid_t, and id_t to unsigned types

this change is both to fix one of the remaining type (and thus C++
ABI) mismatches with glibc/LSB and to allow use of the full range of
uid and gid values, if so desired.

passwd/group access functions were not prepared to deal with unsigned
values, so they too have been fixed with this commit.

11 years agofix invalid C in new trycppif tests in configure script
Rich Felker [Fri, 19 Jul 2013 00:37:19 +0000 (20:37 -0400)]
fix invalid C in new trycppif tests in configure script

an empty program is not valid and would be reasonable grounds for the
compiler to give an error, which would break these tests.

11 years agoadd build system support for arch endian & float abi variants
Rich Felker [Fri, 19 Jul 2013 00:30:58 +0000 (20:30 -0400)]
add build system support for arch endian & float abi variants

11 years agomake the dynamic linker find its path file relative to its own location
Rich Felker [Thu, 18 Jul 2013 23:29:44 +0000 (19:29 -0400)]
make the dynamic linker find its path file relative to its own location

prior to this change, using a non-default syslibdir was impractical on
systems where the ordinary library paths contain musl-incompatible
library files. the file containing search paths was always taken from
/etc, which would either correspond to a system-wide musl
installation, or fail to exist at all, resulting in searching of the
default library path.

the new search strategy is safe even for suid programs because the
pathname used comes from the PT_INTERP header of the program being
run, rather than any external input.

as part of this change, I have also begun differentiating the names of
arch variants that differ by endianness or floating point calling
convention. the corresponding changes in the build system and and gcc
wrapper script (to use an alternate dynamic linker name) for these
configurations have not yet been made.

11 years agofix off-by-one error in checks for implementation-internal signal numbers
Rich Felker [Thu, 18 Jul 2013 23:21:06 +0000 (19:21 -0400)]
fix off-by-one error in checks for implementation-internal signal numbers

11 years agofix FILENAME_MAX to match PATH_MAX
Rich Felker [Thu, 18 Jul 2013 18:15:48 +0000 (14:15 -0400)]
fix FILENAME_MAX to match PATH_MAX

POSIX is not clear on whether it includes the termination, but ISO C
requires that it does. the whole concept of this macro is rather
useless, but it's better to be correct anyway.

11 years agomake spacing in x86_64 alltypes.h.sh more uniform with other archs
Rich Felker [Wed, 17 Jul 2013 21:46:38 +0000 (17:46 -0400)]
make spacing in x86_64 alltypes.h.sh more uniform with other archs

patch by Luka Perkov, who noted that all other archs have a newline.

11 years agomake posix_spawn (and functions that use it) use CLONE_VFORK flag
Rich Felker [Wed, 17 Jul 2013 17:54:41 +0000 (13:54 -0400)]
make posix_spawn (and functions that use it) use CLONE_VFORK flag

this is both a minor scheduling optimization and a workaround for a
difficult-to-fix bug in qemu app-level emulation.

from the scheduling standpoint, it makes no sense to schedule the
parent thread again until the child has exec'd or exited, since the
parent will immediately block again waiting for it.

on the qemu side, as regular application code running on an underlying
libc, qemu cannot make arbitrary clone syscalls itself without
confusing the underlying implementation. instead, it breaks them down
into either fork-like or pthread_create-like cases. it was treating
the code in posix_spawn as pthread_create-like, due to CLONE_VM, which
caused horribly wrong behavior: CLONE_FILES broke the synchronization
mechanism, CLONE_SIGHAND broke the parent's signals, and CLONE_THREAD
caused the child's exec to end the parent -- if it hadn't already
crashed. however, qemu special-cases CLONE_VFORK and emulates that
with fork, even when CLONE_VM is also specified. this also gives
incorrect semantics for code that really needs the memory sharing, but
posix_spawn does not make use of the vm sharing except to avoid
momentary double commit charge.

programs using posix_spawn (including via popen) should now work
correctly under qemu app-level emulation.

11 years agofix missing argument in variadic syscall macros
Rich Felker [Wed, 17 Jul 2013 14:43:04 +0000 (10:43 -0400)]
fix missing argument in variadic syscall macros

for 0-argument syscalls (1 argument to the macro, the syscall number),
the __SYSCALL_NARGS_X macro's ... argument was not satisfied. newer
compilers seem to care about this.

11 years agofix error code on time conversion overflows
Rich Felker [Wed, 17 Jul 2013 14:39:11 +0000 (10:39 -0400)]
fix error code on time conversion overflows

POSIX mandates EOVERFLOW for this condition.

11 years agofix fd leak in file mapping code used in new zoneinfo support
Rich Felker [Wed, 17 Jul 2013 13:29:26 +0000 (09:29 -0400)]
fix fd leak in file mapping code used in new zoneinfo support

11 years agothe big time handling overhaul
Rich Felker [Wed, 17 Jul 2013 09:24:50 +0000 (05:24 -0400)]
the big time handling overhaul

this commit has two major user-visible parts: zoneinfo-format time
zones are now supported, and overflow handling is intended to be
complete in the sense that all functions return a correct result if
and only if the result fits in the destination type, and otherwise
return an error. also, some noticable bugs in the way DST detection
and normalization worked have been fixed, and performance may be
better than before, but it has not been tested.

11 years agofix omission of dtv setup in static linked programs on TLS variant I archs
Rich Felker [Sat, 13 Jul 2013 18:54:34 +0000 (14:54 -0400)]
fix omission of dtv setup in static linked programs on TLS variant I archs

apparently this was never noticed before because the linker normally
optimizes dynamic TLS models to non-dynamic ones when static linking,
thus eliminating the calls to __tls_get_addr which crash when the dtv
is missing. however, some libsupc++ code on ARM was calling
__tls_get_addr when static linked and crashing. the reason is unclear
to me, but with this issue fixed it should work now anyway.

11 years agoadd PIE support for ARM
Rich Felker [Wed, 10 Jul 2013 20:58:27 +0000 (16:58 -0400)]
add PIE support for ARM

11 years agoadd some ARM EABI-specific exception handling infrastructure
Rich Felker [Wed, 10 Jul 2013 20:11:01 +0000 (16:11 -0400)]
add some ARM EABI-specific exception handling infrastructure

patch by Timo Teräs

11 years agofix invalid library phdr pointers passed to callback from dl_iterate_phdr
Rich Felker [Wed, 10 Jul 2013 18:38:20 +0000 (14:38 -0400)]
fix invalid library phdr pointers passed to callback from dl_iterate_phdr

map_library was saving pointers to an automatic-storage buffer rather
than pointers into the mapping. this should be a fairly simple fix,
but the patch here is slightly complicated by two issues:

1. supporting gratuitously obfuscated ELF files where the program
headers are not right at the beginning of the file.

2. cleaning up the map_library function so that data isn't clobbered
by the time we need it.

11 years agofix a couple misleading/wrong signal descriptions in strsignal
Rich Felker [Tue, 9 Jul 2013 06:30:21 +0000 (02:30 -0400)]
fix a couple misleading/wrong signal descriptions in strsignal

there are still several more that are misleading, but SIGFPE (integer
division error misdescribed as floating point) and and SIGCHLD
(possibly non-exit status change events described as exiting) were the
worst offenders.

11 years agoadd realtime signals to strsignal
Rich Felker [Tue, 9 Jul 2013 06:23:16 +0000 (02:23 -0400)]
add realtime signals to strsignal

the name format RTnn/RTnnn was chosen to minimized bloat while
uniquely identifying the signal.

11 years agofix off-by-one array bound in strsignal
Rich Felker [Tue, 9 Jul 2013 06:11:52 +0000 (02:11 -0400)]
fix off-by-one array bound in strsignal

11 years agofix bogus lazy allocation in ctermid and missing malloc failure check
Rich Felker [Tue, 9 Jul 2013 04:50:11 +0000 (00:50 -0400)]
fix bogus lazy allocation in ctermid and missing malloc failure check

also clean up, optimize, and simplify the code, removing branches by
simply pre-setting the result string to an empty string, which will be
preserved if other operations fail.

11 years agofix fd leak on races and cancellation in ctermid
Rich Felker [Tue, 9 Jul 2013 04:42:09 +0000 (00:42 -0400)]
fix fd leak on races and cancellation in ctermid

11 years agofix missing SOCK_CLOEXEC in various functions that use sockets internally
Rich Felker [Tue, 9 Jul 2013 04:40:17 +0000 (00:40 -0400)]
fix missing SOCK_CLOEXEC in various functions that use sockets internally

11 years agoadd NFDBITS in sys/select.h with appropriate feature tests
Rich Felker [Sat, 6 Jul 2013 05:12:28 +0000 (01:12 -0400)]
add NFDBITS in sys/select.h with appropriate feature tests

the main use for this macro seems to be knowing the correct allocation
granularity for dynamic-sized fd_set objects. such usage is
non-conforming and results in undefined behavior, but it is widespread
in applications.

11 years agomove core memalign code from aligned_alloc to __memalign
Rich Felker [Fri, 5 Jul 2013 03:58:16 +0000 (23:58 -0400)]
move core memalign code from aligned_alloc to __memalign

there are two motivations for this change. one is to avoid
gratuitously depending on a C11 symbol for implementing a POSIX
function. the other pertains to the documented semantics. C11 does not
define any behavior for aligned_alloc when the length argument is not
a multiple of the alignment argument. posix_memalign on the other hand
places no requirements on the length argument. using __memalign as the
implementation of both, rather than trying to implement one in terms
of the other when their documented contracts differ, eliminates this
confusion.

11 years agomove alignment check from aligned_alloc to posix_memalign
Rich Felker [Fri, 5 Jul 2013 03:54:12 +0000 (23:54 -0400)]
move alignment check from aligned_alloc to posix_memalign

C11 has no requirement that the alignment be a multiple of
sizeof(void*), and in fact seems to require any "valid alignment
supported by the implementation" to work. since the alignment of char
is 1 and thus a valid alignment, an alignment argument of 1 should be
accepted.

11 years agoadd legacy sys/ttydefaults.h header
rofl0r [Wed, 3 Jul 2013 15:55:37 +0000 (17:55 +0200)]
add legacy sys/ttydefaults.h header

11 years agoadd legacy scsi/scsi_ioctl.h header
rofl0r [Wed, 3 Jul 2013 15:52:44 +0000 (17:52 +0200)]
add legacy scsi/scsi_ioctl.h header

11 years agopaths.h: remove cruft
rofl0r [Sun, 30 Jun 2013 21:04:12 +0000 (23:04 +0200)]
paths.h: remove cruft

a research in debian codesearch and grepping over the pkgsrc
directory tree have shown that these macros are all either unused,
or defined by programs in case they need them.

11 years agoadd stubs for additional legacy ether.h functions
Rich Felker [Mon, 1 Jul 2013 17:50:02 +0000 (13:50 -0400)]
add stubs for additional legacy ether.h functions

these would not be expensive to actually implement, but reading
/etc/ethers does not sound like a particularly useful feature, so for
now I'm leaving them as stubs.

11 years agofix Makefile so "make install" works before include/bits symlink exists
Rich Felker [Mon, 1 Jul 2013 17:43:43 +0000 (13:43 -0400)]
fix Makefile so "make install" works before include/bits symlink exists

previously, determination of the list of header files for installation
depended on the include/bits symlink (to the arch-specific files)
already having been created. in other words, running "make install"
immediately after configure without first running "make" caused the
bits headers not to be installed.

the solution I have applied is to pull the list of headers directly
from arch/$(ARCH)/bits rather than include/bits, and likewise to
install directly from arch/$(ARCH)/bits rather than via the symlink.

at this point, the only purpose served by keeping the symlink around
is that it enables use of the in-tree headers and libs directly via -I
and -L, which can be useful when testing against a new version of the
library before installing it. on the other hand, removing the bits
symlink would be beneficial if we ever want to support building
multiple archs in the same source tree.

11 years agorelease notes for 0.9.11 v0.9.11
Rich Felker [Sun, 30 Jun 2013 02:43:05 +0000 (22:43 -0400)]
release notes for 0.9.11

11 years agofix failure of mbsrtowcs to record stop position when dest is full
Rich Felker [Sat, 29 Jun 2013 20:16:47 +0000 (16:16 -0400)]
fix failure of mbsrtowcs to record stop position when dest is full

11 years agofix shifts possibly larger than type in major() macro
Rich Felker [Sat, 29 Jun 2013 17:57:13 +0000 (13:57 -0400)]
fix shifts possibly larger than type in major() macro

in theory this should not be an issue, since major() should only be
applied to type dev_t, which is 64-bit. however, it appears some
applications are not using dev_t but a smaller integer type (which
works on Linux because the kernel's dev_t is really only 32-bit). to
avoid the undefined behavior, do it as two shifts.

11 years agoimplement minimal dlinfo function
Rich Felker [Sat, 29 Jun 2013 16:46:46 +0000 (12:46 -0400)]
implement minimal dlinfo function

11 years agoadd some comments about the mips ksigaction structure weirdness
Rich Felker [Sat, 29 Jun 2013 16:24:06 +0000 (12:24 -0400)]
add some comments about the mips ksigaction structure weirdness

11 years agofix missing synchronization in calls from dynamic linker to global ctors
Rich Felker [Sat, 29 Jun 2013 06:24:02 +0000 (02:24 -0400)]
fix missing synchronization in calls from dynamic linker to global ctors

this change is needed to correctly handle the case where a constructor
creates a new thread which calls dlopen. previously, the lock was not
held in this case. the reason for the complex logic to avoid locking
whenever possible is that, since the mutex is recursive, it will need
to inspect the thread pointer to get the current thread's tid, and
this requires initializing the thread pointer. we do not want
non-multi-threaded programs to attempt to access the thread pointer
unnecessarily; doing so could make them crash on ancient kernels that
don't support threads but which may otherwise be capable of running
the program.

11 years agoprevent shmget from allocating objects that overflow ptrdiff_t
Rich Felker [Sat, 29 Jun 2013 04:02:38 +0000 (00:02 -0400)]
prevent shmget from allocating objects that overflow ptrdiff_t

rather than returning an error, we have to increase the size argument
so high that the kernel will have no choice but to fail. this is
because POSIX only permits the EINVAL error for size errors when a new
shared memory segment would be created; if it already exists, the size
argument must be ignored. unfortunately Linux is non-conforming in
this regard, but I want to keep the code correct in userspace anyway
so that if/when Linux is fixed, the behavior applications see will be
conforming.

11 years agowork around wrong kernel type for sem_nsems member of struct semid_ds
Rich Felker [Sat, 29 Jun 2013 03:57:58 +0000 (23:57 -0400)]
work around wrong kernel type for sem_nsems member of struct semid_ds

rejecting invalid values for n is fine even in the case where a new
sem will not be created, since the kernel does its range checks on n
even in this case as well.

by default, the kernel will bound the limit well below USHRT_MAX
anyway, but it's presumably possible that an administrator could
override this limit and break things.

11 years agoadd missing type shmatt_t in sys/shm.h
Rich Felker [Sat, 29 Jun 2013 03:39:50 +0000 (23:39 -0400)]
add missing type shmatt_t in sys/shm.h

this type is not really intended to be used; it's just there to allow
implementations to choose the type for the shm_nattch member of
struct shmid_sh, presumably since historical implementations disagreed
on the type. in any case, it needs to be there, so now it is.

11 years agoimplement week-based-year year numbers in strftime
Rich Felker [Fri, 28 Jun 2013 16:38:42 +0000 (12:38 -0400)]
implement week-based-year year numbers in strftime

in the process, I refactored the week-number code so it can be used by
the week-based-year formats to determine year adjustments at the
boundary values. this also improves indention/code readability.

11 years agofix breakage in last commit to strftime due to missing INT_MAX
Rich Felker [Fri, 28 Jun 2013 16:12:55 +0000 (12:12 -0400)]
fix breakage in last commit to strftime due to missing INT_MAX

that's what I get for changing a hard-coded threshold to a proper
non-magic-number without testing.

11 years agoimplement week numbers and half of the week-based-year logic for strftime
Rich Felker [Fri, 28 Jun 2013 16:03:58 +0000 (12:03 -0400)]
implement week numbers and half of the week-based-year logic for strftime

output for plain week numbers (%U and %W) has been sanity-checked, and
output for the week-based-year week numbers (%V) has been checked
extensively against known-good data for the full non-negative range of
32-bit time_t.

year numbers for week-based years (%g and %G) are not yet implemented.

11 years agominor compatibility fixes in utmp.h and fixing mismatch with paths.h
Rich Felker [Fri, 28 Jun 2013 00:00:29 +0000 (20:00 -0400)]
minor compatibility fixes in utmp.h and fixing mismatch with paths.h

the pathnames prefixed with /dev/null/ are guaranteed never to be
valid. the previous use of /dev/null alone was mildly dangerous in
that bad software might attempt to unlink the name when it found a
non-regular file there and create a new file.

11 years agodisallow creation of objects larger than PTRDIFF_MAX via mmap
Rich Felker [Thu, 27 Jun 2013 16:48:59 +0000 (12:48 -0400)]
disallow creation of objects larger than PTRDIFF_MAX via mmap

internally, other parts of the library assume sizes don't overflow
ssize_t and/or ptrdiff_t, and the way this assumption is made valid is
by preventing creating of such large objects. malloc already does so,
but the check was missing from mmap.

this is also a quality of implementation issue: even if the
implementation internally could handle such objects, applications
could inadvertently invoke undefined behavior by subtracting pointers
within an object. it is very difficult to guard against this in
applications, so a good implementation should simply ensure that it
does not happen.

11 years agofix syscall argument bug in pthread_getschedparam
Rich Felker [Thu, 27 Jun 2013 02:02:23 +0000 (22:02 -0400)]
fix syscall argument bug in pthread_getschedparam

the address of the pointer to the sched param, rather than the
pointer, was being passed to the kernel.

11 years agofix temp file leak in sem_open on successful creation of new semaphore
Rich Felker [Thu, 27 Jun 2013 01:41:51 +0000 (21:41 -0400)]
fix temp file leak in sem_open on successful creation of new semaphore

11 years agofix bug whereby sem_open leaked its own internal slots on failure
Rich Felker [Thu, 27 Jun 2013 01:39:15 +0000 (21:39 -0400)]
fix bug whereby sem_open leaked its own internal slots on failure

11 years agoin sem_open, don't leak vm mapping if fstat fails
Rich Felker [Thu, 27 Jun 2013 01:35:56 +0000 (21:35 -0400)]
in sem_open, don't leak vm mapping if fstat fails

fstat should not fail under normal circumstances, so this fix is
mostly theoretical.

11 years agofix failure of pthread_setschedparam to pass correct param to kernel
Rich Felker [Thu, 27 Jun 2013 01:34:44 +0000 (21:34 -0400)]
fix failure of pthread_setschedparam to pass correct param to kernel

the address of the pointer, rather than the pointer, was being passed.
this was probably a copy-and-paste error from corresponding get code.

11 years agodocument in sysconf and unistd.h that per-thread cpu clocks exist
Rich Felker [Wed, 26 Jun 2013 23:43:24 +0000 (19:43 -0400)]
document in sysconf and unistd.h that per-thread cpu clocks exist

11 years agofix iconv conversion to legacy 8bit codepages
Rich Felker [Wed, 26 Jun 2013 18:27:45 +0000 (14:27 -0400)]
fix iconv conversion to legacy 8bit codepages

this seems to have been a simple copy-and-paste error from the code
for converting from legacy codepages.

11 years agoremove useless conditional before free from dynamic linker path code
Rich Felker [Wed, 26 Jun 2013 14:51:36 +0000 (10:51 -0400)]
remove useless conditional before free from dynamic linker path code

11 years agofix dynamic linker handling of empty path file or error reading path file
Rich Felker [Wed, 26 Jun 2013 14:17:29 +0000 (10:17 -0400)]
fix dynamic linker handling of empty path file or error reading path file

previously, the path string was being used despite being invalid. with
this change, empty path file or error reading the path file is treated
as an empty path. this is preferable to falling back to a default
path, so that attacks to prevent reading of the path file could not
result in loading incorrect and possibly dangerous (outdated or
mismatching ABI) libraries from.

the code to strip the final newline has also been removed; now that
newline is accepted as a delimiter, it's harmless to leave it in
place.

11 years agorespect iso c namespace in stdio.h and wchar.h regarding va_list
Rich Felker [Wed, 26 Jun 2013 02:26:20 +0000 (22:26 -0400)]
respect iso c namespace in stdio.h and wchar.h regarding va_list

despite declaring functions that take arguments of type va_list, these
headers are not permitted by the c standard to expose the definition
of va_list, so an alias for the type must be used. the name
__isoc_va_list was chosen to convey that the purpose of this alternate
name is for iso c conformance, and to avoid the multitude of names
which gcc mangles with its hideous "fixincludes" monstrosity, leading
to serious header breakage if these "fixes" are run.

11 years agomake newline-delimited dynamic linker path file actually work
Rich Felker [Wed, 26 Jun 2013 01:39:35 +0000 (21:39 -0400)]
make newline-delimited dynamic linker path file actually work

apparently the original commit was never tested properly, since
getline was only ever reading one line. the intent was to read the
entire file, so use getdelim with the null byte as delimiter as a
cheap way to read a whole file into memory.

11 years agoimplement inet_lnaof, inet_netof, and inet_makeaddr
Rich Felker [Wed, 26 Jun 2013 01:35:49 +0000 (21:35 -0400)]
implement inet_lnaof, inet_netof, and inet_makeaddr

also move all legacy inet_* functions into a single file to avoid
wasting object file and compile time overhead on them.

the added functions are legacy interfaces for working with classful
ipv4 network addresses. they have no modern usefulness whatsoever, but
some programs unconditionally use them anyway, and they're tiny.

11 years agoadd ether_aton[_r] and ether_ntoa[_r] functions
Rich Felker [Wed, 26 Jun 2013 01:15:27 +0000 (21:15 -0400)]
add ether_aton[_r] and ether_ntoa[_r] functions

based on patch by Strake with minor stylistic changes, and combined
into a single file. this patch remained open for a long time due to
some question as to whether ether_aton would be better implemented in
terms of sscanf, and it's time something was committed, so here it is.

11 years agofix scanf %c conversion wrongly storing a terminating null byte
Rich Felker [Sat, 22 Jun 2013 21:23:45 +0000 (17:23 -0400)]
fix scanf %c conversion wrongly storing a terminating null byte

this seems to have been a regression from the refactoring which added
the 'm' modifier.

11 years agofix major scanf breakage with unbuffered streams, fmemopen, etc.
Rich Felker [Sat, 22 Jun 2013 21:11:17 +0000 (17:11 -0400)]
fix major scanf breakage with unbuffered streams, fmemopen, etc.

the shgetc api, used internally in scanf and int/float scanning code
to handle field width limiting and pushback, was designed assuming
that pushback could be achieved via a simple decrement on the file
buffer pointer. this only worked by chance for regular FILE streams,
due to the linux readv bug workaround in __stdio_read which moves the
last requested byte through the buffer rather than directly back to
the caller. for unbuffered streams and streams not using __stdio_read
but some other underlying read function, the first character read
could be completely lost, and replaced by whatever junk happened to be
in the unget buffer.

to fix this, simply have shgetc, when it performs an underlying read
operation on the stream, store the character read at the -1 offset
from the read buffer pointer. this is valid even for unbuffered
streams, as they have an unget buffer located just below the start of
the zero-length buffer. the check to avoid storing the character when
it is already there is to handle the possibility of read-only buffers.
no application-exposed FILE types are allowed to use read-only
buffers, but sscanf and strto* may use them internally when calling
functions which use the shgetc api.

11 years agofix invalid access in aio notification
Rich Felker [Sun, 16 Jun 2013 14:39:02 +0000 (10:39 -0400)]
fix invalid access in aio notification

issue found and patch provided by Jens Gustedt. after the atomic store
to the error code field of the aiocb, the application is permitted to
free or reuse the storage, so further access is invalid. instead, use
the local copy that was already made.

11 years agofix uninitialized variable in lio (aio) code
Rich Felker [Sun, 16 Jun 2013 05:40:17 +0000 (01:40 -0400)]
fix uninitialized variable in lio (aio) code

11 years agoimprove the quality of output from rand_r
Rich Felker [Wed, 12 Jun 2013 22:20:48 +0000 (18:20 -0400)]
improve the quality of output from rand_r

due to the interface requirement of having the full state contained in
a single object of type unsigned int, it is difficult to provide a
reasonable-quality implementation; most good PRNGs are immediately
ruled out because they need larger state. the old rand_r gave very
poor output (very short period) in its lower bits; normally, it's
desirable to throw away the low bits (as in rand()) when using a LCG,
but this is not possible since the state is only 32 bits and we need
31 bits of output.

glibc's rand_r uses the same LCG as musl's, but runs it for 3
iterations and only takes 10-11 bits from each iteration to construct
the output value. this partially fixes the period issue, but
introduces bias: not all outputs have the same frequency, and many do
not appear at all. with such a low period, the bias is likely to be
observable.

I tried many approaches to "fix" rand_r, and the simplest I found
which made it pass the "dieharder" tests was applying this
transformation to the output. the "temper" function is taken from
mersenne twister, where it seems to have been chosen for some rigorous
properties; here, the only formal property I'm using is that it's
one-to-one and thus avoids introducing bias.

should further deficiencies in rand_r be reported, the obvious "best"
solution is applying a 32-bit cryptographic block cipher in CTR mode.
I identified several possible ciphers that could be used directly or
adapted, but as they would be a lot slower and larger, I do not see a
justification for using them unless the current rand_r proves
deficient for some real-world use.

11 years agoadd clock id macros for a number of new(ish) Linux-specific clocks
Rich Felker [Sat, 8 Jun 2013 15:42:52 +0000 (11:42 -0400)]
add clock id macros for a number of new(ish) Linux-specific clocks

arguably CLOCK_MONOTONIC should be redirected to CLOCK_BOOTTIME with a
fallback for old kernels that don't support it, since Linux's
CLOCK_BOOTTIME semantics seem to match the spirit of the POSIX
requirements for CLOCK_MONOTONIC better than Linux's version of
CLOCK_MONOTONIC does. however, this is a change that would require
further discussion and research, so for now, I'm simply making them
all available.

11 years agofix the type of CLOCKS_PER_SEC to match new clock_t type
Rich Felker [Sat, 8 Jun 2013 15:40:27 +0000 (11:40 -0400)]
fix the type of CLOCKS_PER_SEC to match new clock_t type

originally it was right on 32-bit archs and wrong on 64-bit, but after
recent changes it was wrong everywhere. with this commit, it's now
right everywhere.

11 years agosupport cputime clocks for processes/threads other than self
Rich Felker [Sat, 8 Jun 2013 15:36:41 +0000 (11:36 -0400)]
support cputime clocks for processes/threads other than self

apparently these features have been in Linux for a while now, so it
makes sense to support them. the bit twiddling seems utterly illogical
and wasteful, especially the negation, but that's how the kernel folks
chose to encode pids/tids into the clock id.

11 years agoprng: make rand_r have 2^32 period instead of 2^31
Szabolcs Nagy [Sat, 8 Jun 2013 13:49:12 +0000 (13:49 +0000)]
prng: make rand_r have 2^32 period instead of 2^31

this is a minor fix to increase the period of the obsolete rand_r a bit.
an include header in __rand48_step.c is fixed as well.

11 years agoprng: fix rand() to give good sequence with small state
Szabolcs Nagy [Sat, 8 Jun 2013 13:31:10 +0000 (13:31 +0000)]
prng: fix rand() to give good sequence with small state

some applications rely on the low bits of rand() to be reasonably good
quality prng, so now it fixed by using the top bits of a 64 bit LCG,
this is simple, has small state and passes statistical tests.
D.E. Knuth attributes the multiplier to C.E. Haynes in TAOCP Vol2 3.3.4

11 years agofix mixup in previous change to gcc wrapper
Rich Felker [Fri, 7 Jun 2013 14:18:07 +0000 (10:18 -0400)]
fix mixup in previous change to gcc wrapper

11 years agomake gcc-specific headers (intrinsics, etc.) available with wrapper
Rich Felker [Fri, 7 Jun 2013 14:13:07 +0000 (10:13 -0400)]
make gcc-specific headers (intrinsics, etc.) available with wrapper

they are intentionally listed after the libc include directory so that
the gcc float.h, etc. don't get used in place of the libc ones.

11 years agoimprove handling of nonstandard fields in struct tm
Rich Felker [Fri, 7 Jun 2013 13:54:45 +0000 (09:54 -0400)]
improve handling of nonstandard fields in struct tm

defining tm_gmtoff and tm_zone as macros was breaking some application
code that used these names for its own purposes.

11 years agoimplement 'm' modifier for wide scanf variants
Rich Felker [Thu, 6 Jun 2013 04:26:17 +0000 (00:26 -0400)]
implement 'm' modifier for wide scanf variants

11 years agoimplement the 'm' (malloc) modifier for scanf
Rich Felker [Wed, 5 Jun 2013 22:18:41 +0000 (18:18 -0400)]
implement the 'm' (malloc) modifier for scanf

this commit only covers the byte-based scanf-family functions. the
wide functions still lack support for the 'm' modifier.

11 years agorefactor wide-char scanf string handling
Rich Felker [Wed, 5 Jun 2013 20:53:26 +0000 (16:53 -0400)]
refactor wide-char scanf string handling

this brings the wide version of the code into alignment with the
byte-based version, in preparation for adding support for the m
(malloc) modifier.

11 years agosimplify some logic in scanf and remove redundant invalid-format check
Rich Felker [Tue, 4 Jun 2013 20:22:02 +0000 (16:22 -0400)]
simplify some logic in scanf and remove redundant invalid-format check

11 years agorefactor scanf core to use common code path for all string formats
Rich Felker [Tue, 4 Jun 2013 20:09:36 +0000 (16:09 -0400)]
refactor scanf core to use common code path for all string formats

the concept here is that %s and %c are essentially special-cases of
%[, with some minimal additional special-casing.

aside from simplifying the code and reducing the number of complex
code-paths that would need changing to make optimizations later, the
main purpose of this change is to simplify addition of the 'm'
modifier which causes scanf to allocate storage for the string being
read.

11 years agoalign stack properly for calling global ctors/dtors on x86[_64]
Rich Felker [Mon, 3 Jun 2013 21:32:42 +0000 (17:32 -0400)]
align stack properly for calling global ctors/dtors on x86[_64]

failure to do so was causing crashes on x86_64 when ctors used SSE,
which was first observed when ctors called variadic functions due to
the SSE prologue code inserted into every variadic function.

11 years agoensure that thread dtv pointer is never null to optimize __tls_get_addr
Rich Felker [Mon, 3 Jun 2013 20:35:59 +0000 (16:35 -0400)]
ensure that thread dtv pointer is never null to optimize __tls_get_addr

11 years agoMerge remote-tracking branch 'nsz/review'
Rich Felker [Sun, 26 May 2013 22:22:12 +0000 (18:22 -0400)]
Merge remote-tracking branch 'nsz/review'

11 years agofix the prototype of settimeofday to follow the original BSD declaration
Szabolcs Nagy [Sun, 26 May 2013 16:01:38 +0000 (16:01 +0000)]
fix the prototype of settimeofday to follow the original BSD declaration

11 years agofix ioctl _IOR, _IOW, etc macros to avoid signed overflow (2<<30)
Szabolcs Nagy [Sun, 26 May 2013 15:49:08 +0000 (15:49 +0000)]
fix ioctl _IOR, _IOW, etc macros to avoid signed overflow (2<<30)

11 years agoon x86_64 use long instead of long long for 64bit posix types
Szabolcs Nagy [Sun, 26 May 2013 15:43:17 +0000 (15:43 +0000)]
on x86_64 use long instead of long long for 64bit posix types

following glibc use the lowest rank 64bit integer type for ino_t etc.
this is eg. useful for printf format compatibility

11 years agochange underlying type of clock_t to be uniform and match ABI
Rich Felker [Fri, 24 May 2013 00:38:51 +0000 (20:38 -0400)]
change underlying type of clock_t to be uniform and match ABI

previously we were using an unsigned type on 32-bit systems so that
subtraction would be well-defined when it wrapped, but since wrapping
is non-conforming anyway (when clock() overflows, it has to return -1)
the only use of unsigned would be to buy a little bit more time before
overflow. this does not seem worth having the type vary per-arch
(which leads to more arch-specific bugs) or disagree with the ABI musl
(mostly) follows.

11 years agofix overflow behavior of clock() function
Rich Felker [Thu, 23 May 2013 18:31:02 +0000 (14:31 -0400)]
fix overflow behavior of clock() function

per Austin Group interpretation for issue #686, which cites the
requirements of ISO C, clock() cannot wrap. if the result is not
representable, it must return (clock_t)-1. in addition, the old code
was performing wrapping via signed overflow and thus invoking
undefined behavior.

since it seems impossible to accurately check for overflow with the
old times()-based fallback code, I have simply dropped the fallback
code for now, thus always returning -1 on ancient systems. if there's
a demand for making it work and somebody comes up with a way, it could
be reinstated, but the clock() function is essentially useless on
32-bit system anyway (it overflows in less than an hour).

it should be noted that I used LONG_MAX rather than ULONG_MAX, despite
32-bit archs using an unsigned type for clock_t. this discrepency with
the glibc/LSB type definitions will be fixed now; since wrapping of
clock_t is no longer supported, there's no use in it being unsigned.

11 years agomath: add fma TODO comments about the underflow issue
Szabolcs Nagy [Sun, 19 May 2013 14:43:32 +0000 (14:43 +0000)]
math: add fma TODO comments about the underflow issue

The underflow exception is not raised correctly in some
cornercases (see previous fma commit), added comments
with examples for fmaf, fmal and non-x86 fma.

In fmaf store the result before returning so it has the
correct precision when FLT_EVAL_METHOD!=0

11 years agomath: fix two fma issues (only affects non-nearest rounding mode, x86)
Szabolcs Nagy [Sun, 19 May 2013 12:13:08 +0000 (12:13 +0000)]
math: fix two fma issues (only affects non-nearest rounding mode, x86)

1) in downward rounding fma(1,1,-1) should be -0 but it was 0 with
gcc, the code was correct but gcc does not support FENV_ACCESS ON
so it used common subexpression elimination where it shouldn't have.
now volatile memory access is used as a barrier after fesetround.

2) in directed rounding modes there is no double rounding issue
so the complicated adjustments done for nearest rounding mode are
not needed. the only exception to this rule is raising the underflow
flag: assume "small" is an exactly representible subnormal value in
double precision and "verysmall" is a much smaller value so that
(long double)(small plus verysmall) == small
then
(double)(small plus verysmall)
raises underflow because the result is an inexact subnormal, but
(double)(long double)(small plus verysmall)
does not because small is not a subnormal in long double precision
and it is exact in double precision.
now this problem is fixed by checking inexact using fenv when the
result is subnormal