oweals/musl.git
6 years agofix getopt_long arguments to partial matches
Samuel Holland [Tue, 30 Jan 2018 02:36:41 +0000 (20:36 -0600)]
fix getopt_long arguments to partial matches

If we find a partial option name match, we need to keep looking for
ambiguous/conflicting options. However, we need to remember the position
in the candidate argument to find its option-argument later, if there is
one. This fixes e.g. option "foobar" being given as "--fooba=baz".

6 years agoaarch64: fix mismatched type of ucontext_t uc_link member
William Pitcock [Wed, 31 Jan 2018 23:29:24 +0000 (23:29 +0000)]
aarch64: fix mismatched type of ucontext_t uc_link member

6 years agoadd _DIRENT_HAVE_D_* macros to dirent.h
Rostislav Skudnov [Fri, 12 Jan 2018 17:06:03 +0000 (17:06 +0000)]
add _DIRENT_HAVE_D_* macros to dirent.h

6 years agofix printf alt-form octal with value 0 and no explicit precision
Rich Felker [Thu, 11 Jan 2018 01:45:02 +0000 (20:45 -0500)]
fix printf alt-form octal with value 0 and no explicit precision

commit 78897b0dc00b7cd5c29af5e0b7eebf2396d8dce0 wrongly simplified
Dmitry Levin's original submitted patch fixing alt-form octal with the
zero flag and field width present, omitting the special case where the
value is zero. as a result, printf("%#o",0) wrongly prints "00" rather
than "0".

the logic prior to this commit was actually better, in that it was
aligned with how the alt-form flag (#) for printf is specified ("it
shall increase the precision"). at the time there was no good way to
avoid the zero flag issue with the old logic, but commit
167dfe9672c116b315e72e57a55c7769f180dffa added tracking of whether an
explicit precision was provided.

revert commit 78897b0dc00b7cd5c29af5e0b7eebf2396d8dce0 and switch to
using the explicit precision indicator for suppressing the zero flag.

6 years agorevise the definition of multiple basic locks in the code
Jens Gustedt [Wed, 3 Jan 2018 13:17:12 +0000 (14:17 +0100)]
revise the definition of multiple basic locks in the code

In all cases this is just a change from two volatile int to one.

6 years agoconsistently use the LOCK an UNLOCK macros
Jens Gustedt [Wed, 3 Jan 2018 13:17:12 +0000 (14:17 +0100)]
consistently use the LOCK an UNLOCK macros

In some places there has been a direct usage of the functions. Use the
macros consistently everywhere, such that it might be easier later on to
capture the fast path directly inside the macro and only have the call
overhead on the slow path.

6 years agonew lock algorithm with state and congestion count in one atomic int
Jens Gustedt [Wed, 3 Jan 2018 13:17:12 +0000 (14:17 +0100)]
new lock algorithm with state and congestion count in one atomic int

A variant of this new lock algorithm has been presented at SAC'16, see
https://hal.inria.fr/hal-01304108. A full version of that paper is
available at https://hal.inria.fr/hal-01236734.

The main motivation of this is to improve on the safety of the basic lock
implementation in musl. This is achieved by squeezing a lock flag and a
congestion count (= threads inside the critical section) into a single
int. Thereby an unlock operation does exactly one memory
transfer (a_fetch_add) and never touches the value again, but still
detects if a waiter has to be woken up.

This is a fix of a use-after-free bug in pthread_detach that had
temporarily been patched. Therefore this patch also reverts

         c1e27367a9b26b9baac0f37a12349fc36567c8b6

This is also the only place where internal knowledge of the lock
algorithm is used.

The main price for the improved safety is a little bit larger code.

Under high congestion, the scheduling behavior will be different
compared to the previous algorithm. In that case, a successful
put-to-sleep may appear out of order compared to the arrival in the
critical section.

6 years agoadd additional uapi guards for Linux kernel header files
Hauke Mehrtens [Sat, 6 Jan 2018 22:32:52 +0000 (23:32 +0100)]
add additional uapi guards for Linux kernel header files

With Linux kernel 4.16 it will be possible to guard more parts of the
Linux header files from a libc. Make use of this in musl to guard all
the structures and other definitions from the Linux header files which
are also defined by the header files provided by musl. This will make
it possible to compile source files which include both the libc
headers and the kernel userspace headers.

This extends the definitions done in commit 04983f227238 ("make
netinet/in.h suppress clashing definitions from kernel headers")

6 years agofix iconv output of surrogate pairs in ucs2
Rich Felker [Tue, 19 Dec 2017 03:33:51 +0000 (22:33 -0500)]
fix iconv output of surrogate pairs in ucs2

in the unified code for handling utf-16 and ucs2 output, the check for
ucs2 wrongly looked at the source charset rather than the destination
charset.

6 years agoadd support for BOM-determined-endian UCS2, UTF-16, and UTF-32 to iconv
Rich Felker [Tue, 19 Dec 2017 03:08:54 +0000 (22:08 -0500)]
add support for BOM-determined-endian UCS2, UTF-16, and UTF-32 to iconv

previously, the charset names without endianness specified were always
interpreted as big endian. unicode specifies that UTF-16 and UTF-32
have BOM-determined endianness if BOM is present, and are otherwise
big endian. since commit 5b546faa67544af395d6407553762b37e9711157
added support for stateful encodings, it is now possible to implement
BOM support via the conversion descriptor state.

for conversions to these charsets, the output is always big endian and
does not have a BOM.

6 years agoadd cp866 (dos cyrillic) to iconv
Rich Felker [Tue, 19 Dec 2017 00:58:41 +0000 (19:58 -0500)]
add cp866 (dos cyrillic) to iconv

6 years agoupdate case mappings to unicode 10.0
Rich Felker [Tue, 19 Dec 2017 00:33:56 +0000 (19:33 -0500)]
update case mappings to unicode 10.0

the mapping tables and code are not automatically generated; they were
produced by comparing the output of towupper/towlower against the
mappings in the UCD, ignoring characters that were previously excluded
from case mappings or from alphabetic status (micro sign and circled
letters), and adding table entries or code for everything else
missing.

based very loosely on a patch by Reini Urban.

6 years agoupdate ctype tables to unicode 10.0
Rich Felker [Mon, 18 Dec 2017 23:05:23 +0000 (18:05 -0500)]
update ctype tables to unicode 10.0

6 years agoreformat ctype tables to be diff-friendly, match tool output
Rich Felker [Mon, 18 Dec 2017 23:01:42 +0000 (18:01 -0500)]
reformat ctype tables to be diff-friendly, match tool output

the new version of the code used to generate these tables forces a
newline every 256 entries, whereas at the time these files were
originally generated and committed, it only wrapped them at 80
columns. the new behavior ensures that localized changes to the
tables, if they are ever needed, will produce localized diffs.

commit d060edf6c569ba9df4b52d6bcd93edde812869c9 made the corresponding
changes to the iconv tables.

6 years agofix endian errors in netinet/icmp6.h due to failure to include endian.h
Rich Felker [Fri, 15 Dec 2017 17:58:33 +0000 (12:58 -0500)]
fix endian errors in netinet/icmp6.h due to failure to include endian.h

6 years agofix endian errors in arpa/nameser.h due to failure to include endian.h
Jo-Philipp Wich [Mon, 4 Dec 2017 11:13:06 +0000 (12:13 +0100)]
fix endian errors in arpa/nameser.h due to failure to include endian.h

6 years agoremove unused explicit dependency rules for crti/crtn
Nicholas Wilson [Thu, 7 Dec 2017 15:55:52 +0000 (15:55 +0000)]
remove unused explicit dependency rules for crti/crtn

notes by maintainer:

commit 2f853dd6b9a95d5b13ee8f9df762125e0588df5d added these rules
because the new system for handling arch-provided replacement files
introduced for out-of-tree builds did not apply to the crt tree.

commit 63bcda4d8f4074e9d92ae156afd0dced6e64eb65 later adapted the
makefile logic so that the crt and ldso trees go through the same
replacement logic as everything else, but failed to remove the
explicit rules that assumed the arch would always provide asm
replacements.

in addition to cleaning things up, removing these spurious rules
allows crti/crtn asm to be omitted by an arch (thereby using the empty
C files instead) if they are not needed.

6 years agouse the name UTC instead of GMT for UTC timezone
Natanael Copa [Thu, 7 Dec 2017 16:54:07 +0000 (17:54 +0100)]
use the name UTC instead of GMT for UTC timezone

notes by maintainer:

both C and POSIX use the term UTC to specify related functionality,
despite POSIX defining it as something more like UT1 or historical
(pre-UTC) GMT without leap seconds. neither specifies the associated
string for %Z. old choice of "GMT" violated principle of least
surprise for users and some applications/tests. use "UTC" instead.

6 years agofix sysconf for infinite rlimits
Natanael Copa [Thu, 7 Dec 2017 22:18:54 +0000 (23:18 +0100)]
fix sysconf for infinite rlimits

sysconf should return -1 for infinity, not LONG_MAX.

6 years agofix x32 unistd macros to report as ILP32 not LP64
Nicholas Wilson [Tue, 12 Dec 2017 10:27:23 +0000 (10:27 +0000)]
fix x32 unistd macros to report as ILP32 not LP64

6 years agofix data race in at_quick_exit
Rich Felker [Thu, 14 Dec 2017 23:54:54 +0000 (18:54 -0500)]
fix data race in at_quick_exit

aside from theoretical arbitrary results due to UB, this could
practically cause unbounded overflow of static array if hit, but
hitting it depends on having more than 32 calls to at_quick_exit and
having them sufficiently often.

6 years agoadd ibm1047 codepage (ebcdic representation of latin1) to iconv
Rich Felker [Tue, 12 Dec 2017 18:12:12 +0000 (13:12 -0500)]
add ibm1047 codepage (ebcdic representation of latin1) to iconv

6 years agoimplement strftime padding specifier extensions
Timo Teräs [Tue, 22 Nov 2016 08:29:08 +0000 (10:29 +0200)]
implement strftime padding specifier extensions

notes added by maintainer:

the '-' specifier allows default padding to be suppressed, and '_'
allows padding with spaces instead of the default (zeros).

these extensions seem to be included in several other implementations
including FreeBSD and derivatives, and Solaris. while portable
software should not depend on them, time format strings are often
exposed to the user for configurable time display. reportedly some
python programs also use and depend on them.

6 years agoadjust fopencookie structure tag for ABI-compat
Rich Felker [Wed, 6 Dec 2017 18:14:22 +0000 (13:14 -0500)]
adjust fopencookie structure tag for ABI-compat

stdio types use the struct tag names from glibc libio to match C++
ABI.

6 years agoimplement the fopencookie extension to stdio
William Pitcock [Tue, 5 Dec 2017 21:04:43 +0000 (16:04 -0500)]
implement the fopencookie extension to stdio

notes added by maintainer:

this function is a GNU extension. it was chosen over the similar BSD
function funopen because the latter depends on fpos_t being an
arithmetic type as part of its public API, conflicting with our
definition of fpos_t and with the intent that it be an opaque type. it
was accepted for inclusion because, despite not being widely used, it
is usually very difficult to extricate software using it from the
dependency on it.

calling pattern for the read and write callbacks is not likely to
match glibc or other implementations, but should work with any
reasonable callbacks. in particular the read function is never called
without at least one byte being needed to satisfy its caller, so that
spurious blocking is not introduced.

contracts for what callbacks called from inside libc/stdio can do are
always complicated, and at some point still need to be specified
explicitly. at the very least, the callbacks must return or block
indefinitely (they cannot perform nonlocal exits) and they should not
make calls to stdio using their own FILE as an argument.

7 years agomake fgetwc handling of encoding errors consistent with/without buffer
Rich Felker [Mon, 20 Nov 2017 21:25:54 +0000 (16:25 -0500)]
make fgetwc handling of encoding errors consistent with/without buffer

previously, fgetwc left all but the first byte of an illegal sequence
unread (available for subsequent calls) when reading out of the FILE
buffer, but dropped all bytes contibuting to the error when falling
back to reading a byte at a time. neither behavior was ideal. in the
buffered case, each malformed character produced one error per byte,
rather than one per character. in the unbuffered case, consuming the
last byte that caused the transition from "incomplete" to "invalid"
state potentially dropped (and produced additional spurious encoding
errors for) the next valid character.

to handle both cases uniformly without duplicate code, revise the
buffered case to only cover situations where a complete and valid
character is present in the buffer, and fall back to byte-at-a-time
for all other cases. this allows using mbtowc (stateless) instead of
mbrtowc, which may slightly improve performance too.

when an encoding error has been hit in the byte-at-a-time case, leave
the final byte that produced the error unread (via ungetc) except in
the case of single-byte errors (for UTF-8, bytes c0, c1, f5-ff, and
continuation bytes with no lead byte). single-byte errors are fully
consumed so as not to leave the caller in an infinite loop repeating
the same error.

none of these changes are distinguished from a conformance standpoint,
since the file position is unspecified after encoding errors. they are
intended merely as QoI/consistency improvements.

7 years agofix treatment by fgetws of encoding errors as eof
Rich Felker [Mon, 20 Nov 2017 19:23:49 +0000 (14:23 -0500)]
fix treatment by fgetws of encoding errors as eof

fgetwc does not set the stream's error indicator on encoding errors,
making ferror insufficient to distinguish between error and eof
conditions. feof is also insufficient, since it will return true if
the file ended with a partial character encoding error.

whether fgetwc should be setting the error indicator itself is a
question with conflicting answers. the POSIX text for the function
states it as a requirement, but the ISO C text seems to require that
it not. this may be revisited in the future based on the outcome of
Austin Group issue #1170.

7 years agofix fgetwc when decoding a character that crosses buffer boundary
Szabolcs Nagy [Sat, 18 Nov 2017 16:51:48 +0000 (17:51 +0100)]
fix fgetwc when decoding a character that crosses buffer boundary

Update the buffer position according to the bytes consumed into st when
decoding an incomplete character at the end of the buffer.

7 years agoadd reverse iconv mappings for JIS-based encodings
Rich Felker [Wed, 15 Nov 2017 04:47:05 +0000 (23:47 -0500)]
add reverse iconv mappings for JIS-based encodings

these encodings are still commonly used in messaging protocols and
such. the reverse mapping is implemented as a binary search of a list
of the jis 0208 characters in unicode order; the existing forward
table is used to perform the comparison in the search.

7 years agogeneralize iconv framework for 8-bit codepages
Rich Felker [Mon, 13 Nov 2017 23:34:27 +0000 (18:34 -0500)]
generalize iconv framework for 8-bit codepages

previously, 8-bit codepages could only remap the high 128 bytes; the
low range was assumed/forced to agree with ascii. interpretation of
codepage table headers has been changed so that it's possible to
represent mappings for up to 256 slots (fewer if the initial portion
of the map is elided because it coincides with unicode codepoints).
this requires consuming a bit more of the 10-bit space of characters
that can be represented in 8-bit codepages, but there's still a plenty
left. the size of the legacy_chars table is actually reduced now by
eliding the first 256 entries and considering them to map implicitly
via the identity map.

before these changes, there seem to have been minor bugs/omissions in
codepage table generation, so it's likely that some actual bug fixes
are silently included in this commit. round-trip testing of a few
codepages was performed on the new version of the code, but no
differential testing against the old version was done.

7 years agofix malloc state corruption when ldso rejects loading a second libc
Rich Felker [Mon, 13 Nov 2017 20:27:10 +0000 (15:27 -0500)]
fix malloc state corruption when ldso rejects loading a second libc

commit c49d3c8adadfa24235fcf4779bb722b1aa6f480b added logic to detect
attempts to load libc.so via another name and instead redirect to the
existing libc, rather than loading two and producing dangerously
inconsistent state. however, the check for and unmapping of the
duplicate libc happened after reclaim_gaps was already called,
donating the slack space around the writable segment to malloc.
subsequent unmapping of the library then invalidated malloc's free
lists.

fix the issue by moving the call to reclaim_gaps out of map_library
into load_library, after the duplicate libc check but before the first
call to calloc, so that the gaps can still be used to satisfy the
allocation of struct dso. this change also eliminates the need for an
ugly hack (temporarily setting runtime=1) to avoid reclaim_gaps when
loading the main program via map_library, which happens when ldso is
invoked as a command.

only programs/libraries erroneously containing a DT_NEEDED reference
to libc.so via an absolute pathname or symlink were affected by this
issue.

7 years agoreformat cjk iconv tables to be diff-friendly, match tool output
Rich Felker [Sat, 11 Nov 2017 06:32:30 +0000 (01:32 -0500)]
reformat cjk iconv tables to be diff-friendly, match tool output

the new version of the code used to generate these tables forces a
newline every 256 entries, whereas at the time these files were
originally generated and committed, it only wrapped them at 80
columns. the new behavior ensures that localized changes to the
tables, if they are ever needed, will produce localized diffs. other
tables including hkscs were already committed in the new format.

binary comparison of the generated object files was performed to
confirm that no spurious changes slipped in.

7 years agoprevent fork's errno from being clobbered by atfork handlers
Bobby Bingham [Sat, 11 Nov 2017 00:15:43 +0000 (18:15 -0600)]
prevent fork's errno from being clobbered by atfork handlers

If the syscall fails, errno must be set correctly for the caller.
There's no guarantee that the handlers registered with pthread_atfork
won't clobber errno, so we need to ensure it gets set after they are
called.

7 years agoadd iso-2022-jp support (decoding only) to iconv
Rich Felker [Fri, 10 Nov 2017 22:06:32 +0000 (17:06 -0500)]
add iso-2022-jp support (decoding only) to iconv

this implementation aims to match the baseline defined by rfc1468 (the
original mime charset definition) plus the halfwidth katakana
extension included in the whatwg definition of the charset. rejection
of si/so controls and newlines in doublebyte state are not currently
enforced. the jis x 0201 mode is currently interpreted as having the
yen sign and overline character in place of backslash and tilde; ascii
mode has the standard ascii characters in those slots.

7 years agoadd iconv framework for decoding stateful encodings
Rich Felker [Fri, 10 Nov 2017 20:06:42 +0000 (15:06 -0500)]
add iconv framework for decoding stateful encodings

assuming pointers obtained from malloc have some nonzero alignment,
repurpose the low bit of iconv_t as an indicator that the descriptor
is a stateless value representing the source and destination character
encodings.

7 years agosimplify/optimize iconv utf-8 case
Rich Felker [Fri, 10 Nov 2017 18:40:12 +0000 (13:40 -0500)]
simplify/optimize iconv utf-8 case

the special case where mbrtowc returns 0 but consumed 1 byte of input
does not need to be considered, because the short-circuit for low
bytes already covered that case.

7 years agohandle ascii range individually in each iconv case
Rich Felker [Fri, 10 Nov 2017 18:34:21 +0000 (13:34 -0500)]
handle ascii range individually in each iconv case

short-circuiting low bytes before the switch precluded support for
character encodings that don't coincide with ascii in this range. this
limitation affected iso-2022 encodings, which use the esc byte to
introduce a shift sequence, and things like ebcdic.

7 years agomove iconv_close to its own translation unit
Rich Felker [Fri, 10 Nov 2017 05:27:34 +0000 (00:27 -0500)]
move iconv_close to its own translation unit

this is in preparation to support stateful conversion descriptors,
which are necessarily allocated and thus must be freed in iconv_close.
putting it in a separate TU will avoid pulling in free if iconv_close
is not referenced.

7 years agorefactor iconv conversion descriptor encoding/decoding
Rich Felker [Fri, 10 Nov 2017 05:13:16 +0000 (00:13 -0500)]
refactor iconv conversion descriptor encoding/decoding

this change is made to avoid having assumptions about the encoding
spread out across the file, and to facilitate future change to a form
that can accommodate allocted, stateful descriptors when needed.

this commit should not produce any functional changes; with the
compiler tested the only change to code generation was minor
reordering of local variables on stack.

7 years agofix getaddrinfo error code for non-numeric service with AI_NUMERICSERV
A. Wilcox [Thu, 14 Sep 2017 20:53:21 +0000 (15:53 -0500)]
fix getaddrinfo error code for non-numeric service with AI_NUMERICSERV

If AI_NUMERICSERV is specified and a numeric service was not provided,
POSIX mandates getaddrinfo return EAI_NONAME. EAI_SERVICE is only for
services that cannot be used on the specified socket type.

7 years agofix mismatched type of __pthread_tsd_run_dtors weak definition
Rich Felker [Fri, 10 Nov 2017 00:56:26 +0000 (19:56 -0500)]
fix mismatched type of __pthread_tsd_run_dtors weak definition

commit a6054e3c94aa0491d7366e4b05ae0d73f661bfe2 changed this function
not to take an argument, but the weak definition used by timer_create
was not updated to match.

reported by Pascal Cuoq.

7 years agos390x: use generic ioctl.h
Szabolcs Nagy [Mon, 11 Sep 2017 22:45:45 +0000 (00:45 +0200)]
s390x: use generic ioctl.h

s390 can use the generic ioctls definitions other than FIOQSIZE (like arm).

this fixes some missing ioctls and two incorrect ones:
TIOCTTYGSTRUCT and TIOCM_MODEM_BITS seem to be defined on frv
target only in linux.

7 years agomicroblaze: add statx syscall from linux v4.13
Szabolcs Nagy [Tue, 12 Sep 2017 22:37:38 +0000 (22:37 +0000)]
microblaze: add statx syscall from linux v4.13

statx number is allocated for microblaze in linux commit
f5ef419630e85e80284cd0256cb5a13a66bbd6c5

7 years agoaarch64: add extra_context struct from linux v4.13
Szabolcs Nagy [Tue, 12 Sep 2017 22:32:11 +0000 (22:32 +0000)]
aarch64: add extra_context struct from linux v4.13

allows expanding the signal frame beyond the 4k reserved space.
new in linux commit 33f082614c3443d937f50fe936f284f62bbb4a1b

7 years agoadd new tcp.h socket options from linux v4.13
Szabolcs Nagy [Tue, 12 Sep 2017 22:14:24 +0000 (22:14 +0000)]
add new tcp.h socket options from linux v4.13

TCP_ULP is new in linux commit 734942cc4ea6478eed125af258da1bdbb4afe578
TCP_MD5SIG_EXT is new in 8917a777be3ba566377be05117f71b93a5fd909d

7 years agoadd new fcntl.h macros from linux v4.13
Szabolcs Nagy [Tue, 12 Sep 2017 22:04:20 +0000 (22:04 +0000)]
add new fcntl.h macros from linux v4.13

for getting/setting write lifetime hints fcntl commands were
added in linux commit c75b1d9421f80f4143e389d2d50ddfc8a28c8c35

added under _GNU_SOURCE || _BSD_SOURCE, since RWH_* life time
hints are not in the POSIX reserved namespace.

7 years agoioctl TIOCGPTPEER from linux v4.13
Szabolcs Nagy [Mon, 11 Sep 2017 22:38:05 +0000 (22:38 +0000)]
ioctl TIOCGPTPEER from linux v4.13

added for safe opening of peer end of pty in a mount namespace.
new in linux commit c6325179238f1d4683edbec53d8322575d76d7e2

7 years agoadd SO_ getsockopt options from linux v4.13
Szabolcs Nagy [Mon, 11 Sep 2017 20:50:40 +0000 (20:50 +0000)]
add SO_ getsockopt options from linux v4.13

SCM_TIMESTAMPING_PKTINFO is new in aad9c8c470f2a8321a99eb053630ce0e199558d6
SO_PEERGROUPS is new in 28b5ba2aa0f55d80adb2624564ed2b170c19519e

7 years agos390x: add syscall number for s390_guarded_storage from linux v4.12
Szabolcs Nagy [Mon, 11 Sep 2017 19:30:08 +0000 (19:30 +0000)]
s390x: add syscall number for s390_guarded_storage from linux v4.12

new syscall in linux commit 916cda1aa1b412d7cf2991c3af7479544942d121

7 years agoi386: add arch_prctl syscall number from linux v4.12
Szabolcs Nagy [Sun, 10 Sep 2017 11:12:29 +0000 (11:12 +0000)]
i386: add arch_prctl syscall number from linux v4.12

syscall for i386 compat mode on x86_64 for non-x86_64 prctls.
new in linux commit 79170fda313ed5be2394f87aa2a00d597f8ed4a1

7 years agoaarch64: add new HWCAP_* flags from linux v4.12
Szabolcs Nagy [Sat, 9 Sep 2017 09:13:27 +0000 (09:13 +0000)]
aarch64: add new HWCAP_* flags from linux v4.12

hwcap bits for armv8.3 extensions, added in linux commits
c8c3798d2369e4285da44b244638eafe446a8f8a
cb567e79fa504575cb97fb2f866d2040ed1c92e7
c651aae5a7732287c1c9bc974ece4ed798780544

7 years agoadd ARPHDR_VSOCKMON from linux v4.12
Szabolcs Nagy [Sun, 9 Jul 2017 18:51:36 +0000 (18:51 +0000)]
add ARPHDR_VSOCKMON from linux v4.12

new in linux commit 531b374834c891ae2abf800693074df35a7d1a36

7 years agoadd new SO_ socket options from linux v4.12
Szabolcs Nagy [Sun, 9 Jul 2017 18:39:21 +0000 (18:39 +0000)]
add new SO_ socket options from linux v4.12

SO_MEMINFO added in linux commit a2d133b1d465016d0d97560b11f54ba0ace56d3e
SO_INCOMING_NAPI_ID added in 6d4339028b350efbf87c61e6d9e113e5373545c9
SO_COOKIE added in 5daab9db7b65df87da26fd8cfa695fb9546a1ddb

7 years agoadd statx syscall numbers from linux v4.11
Szabolcs Nagy [Sun, 9 Jul 2017 19:22:31 +0000 (19:22 +0000)]
add statx syscall numbers from linux v4.11

statx was added in linux commit a528d35e8bfcc521d7cb70aaf03e1bd296c8493f
(there is no libc wrapper yet and microblaze and sh misses the number).

7 years agoadd TCP_NLA_* enums from linux v4.11
Szabolcs Nagy [Sat, 17 Jun 2017 21:50:03 +0000 (21:50 +0000)]
add TCP_NLA_* enums from linux v4.11

two new stats for SCM_TIMESTAMPING_OPT_STATS, added in linux commit
7e98102f489775d8c000884fca8a0d995ea688a9

7 years agoadd TCP_FASTOPEN_CONNECT tcp socket option from linux v4.11
Szabolcs Nagy [Sat, 17 Jun 2017 21:45:03 +0000 (21:45 +0000)]
add TCP_FASTOPEN_CONNECT tcp socket option from linux v4.11

new in linux commit 19f6d3f3c8422d65b5e3d2162e30ef07c6e21ea2

7 years agoadd ETH_P_IBOE from linux v4.11
Szabolcs Nagy [Sat, 17 Jun 2017 21:40:15 +0000 (21:40 +0000)]
add ETH_P_IBOE from linux v4.11

new in linux commit 69ae543969abeba48e04dd93277684c8c0895f3b

7 years agoupdate aarch64 hwcap.h for linux v4.11
Szabolcs Nagy [Sat, 17 Jun 2017 21:23:57 +0000 (21:23 +0000)]
update aarch64 hwcap.h for linux v4.11

new hwcap bits were added in kernel commits
77c97b4ee21290f5f083173d957843b615abbff2
f92f5ce01ee6a6a86cbfc4e3b0d18529c302b1ea

7 years agoadd kexec_file_load syscall number on powerpc from linux v4.10
Szabolcs Nagy [Mon, 6 Mar 2017 00:28:33 +0000 (00:28 +0000)]
add kexec_file_load syscall number on powerpc from linux v4.10

added in linux commit 80f60e509a03ff9ff2bdbf9cd1e935c6360b8bd9

7 years agoadd microblaze syscall numbers from linux v4.10
Szabolcs Nagy [Mon, 6 Mar 2017 00:18:37 +0000 (00:18 +0000)]
add microblaze syscall numbers from linux v4.10

missing syscalls got allocated on microblaze.

7 years agoadd TFD_TIMER_CANCEL_ON_SET that timerfd.h was missing
Szabolcs Nagy [Sun, 5 Mar 2017 23:54:52 +0000 (23:54 +0000)]
add TFD_TIMER_CANCEL_ON_SET that timerfd.h was missing

linux commit 575b1967e10a1f3038266244d2c7a3ca6b99fed8 moved timerfd
apis to a new uapi header which showed musl was missing this flag.

7 years agoadd ETH_MIN_MTU and ETH_MAX_MTU from linux v4.10
Szabolcs Nagy [Sun, 5 Mar 2017 23:21:30 +0000 (23:21 +0000)]
add ETH_MIN_MTU and ETH_MAX_MTU from linux v4.10

min max mtu size definitions mostly for drivers.
new in linux commits a52ad514fdf3b8a57ca4322c92d2d8d5c6182485 and
d894be57ca92c8a8819ab544d550809e8731137b

7 years agoadd IP_RECVFRAGSIZE and IPV6_RECVFRAGSIZE from linux v4.10
Szabolcs Nagy [Sun, 5 Mar 2017 22:58:13 +0000 (22:58 +0000)]
add IP_RECVFRAGSIZE and IPV6_RECVFRAGSIZE from linux v4.10

added in linux commit 70ecc24841326396a827deb55c3fefac582a729d

7 years agoadd SCM_TIMESTAMPING_OPT_STATS and related TCP_ enums from linux v4.10
Szabolcs Nagy [Sun, 5 Mar 2017 20:51:23 +0000 (20:51 +0000)]
add SCM_TIMESTAMPING_OPT_STATS and related TCP_ enums from linux v4.10

for tcp timestamp control messages, new in linux commit
1c885808e45601b2b6f68b30ac1d999e10b6f606
and export time measurements via tcp_info, added in linux commit
efd90174167530c67a54273fd5d8369c87f9bd32

7 years agoadjust posix_spawn dup2 action behavior to match future requirements
Rich Felker [Sun, 5 Nov 2017 22:26:48 +0000 (17:26 -0500)]
adjust posix_spawn dup2 action behavior to match future requirements

the resolution to Austin Group issue #411 defined new semantics for
the posix_spawn dup2 file action in the (previously useless) case
where src and dest fd are equal. future issues will require the dup2
file action to remove the close-on-exec flag. without this change,
passing fds to a child with posix_spawn while avoiding fd-leak races
in a multithreaded parent required a complex dance with temporary fds.

based on patch by Petr Skocik. changes were made to preserve the
80-column formatting of the function and to remove code that became
unreachable as a result of the new functionality.

7 years agorelease 1.1.18 v1.1.18
Rich Felker [Tue, 31 Oct 2017 19:13:58 +0000 (15:13 -0400)]
release 1.1.18

7 years agofix build regression on ARM for ISA levels less than v5
Rich Felker [Wed, 25 Oct 2017 15:54:16 +0000 (11:54 -0400)]
fix build regression on ARM for ISA levels less than v5

commit 06fbefd10046a0fae7e588b7c6d25fb51811b931 (first included in
release 1.1.17) introduced this regression.

patch by Adrian Bunk. it fixes the regression in all cases, but
spuriously prevents use of the clz instruction on very old compiler
versions that don't define __ARM_ARCH. this may be fixed in a more
general way at some point in the future. it also omits thumb1 logic
since building as thumb1 code is currently not supported.

7 years agofix regression in glob with literal . or .. path component
Rich Felker [Sat, 21 Oct 2017 16:17:49 +0000 (12:17 -0400)]
fix regression in glob with literal . or .. path component

commit 8c4be3e2209d2a1d3874b8bc2b474668fcbbbac6 was written to
preclude the GLOB_PERIOD extension from matching these directory
entries, but also precluded literal matches.

adjust the check that excludes . and .. to check whether the
GLOB_PERIOD flag is in effect, so that it cannot alter behavior in
cases governed by the standard, and also don't exclude . or .. in any
case where normal glob behavior (fnmatch's FNM_PERIOD flag) would have
included one or both of them (patterns such as ".*").

it's still not clear whether this is the preferred behavior for
GLOB_PERIOD, but at least it's clear that it can no longer break
applications which are not relying on quirks of a nonstandard feature.

7 years agoposix_spawn: use larger stack to cover worst-case in execvpe
Will Dietz [Thu, 14 Sep 2017 21:32:59 +0000 (16:32 -0500)]
posix_spawn: use larger stack to cover worst-case in execvpe

execvpe stack-allocates a buffer used to hold the full path
(combination of a PATH entry and the program name)
while searching through $PATH, so at least
NAME_MAX+PATH_MAX is needed.

The stack size can be made conditionally smaller
(the current 1024 appears appropriate)
should this larger size be burdensome in those situations.

7 years agorelease 1.1.17 v1.1.17
Rich Felker [Thu, 19 Oct 2017 19:39:01 +0000 (15:39 -0400)]
release 1.1.17

7 years agoin dns parsing callback, enforce MAXADDRS to preclude overflow
Rich Felker [Wed, 18 Oct 2017 18:50:03 +0000 (14:50 -0400)]
in dns parsing callback, enforce MAXADDRS to preclude overflow

MAXADDRS was chosen not to need enforcement, but the logic used to
compute it assumes the answers received match the RR types of the
queries. specifically, it assumes that only one replu contains A
record answers. if the replies to both the A and the AAAA query have
their answer sections filled with A records, MAXADDRS can be exceeded
and clobber the stack of the calling function.

this bug was found and reported by Felix Wilhelm.

7 years agofix incorrect base name offset from nftw when pathname ends in slash(es)
Rich Felker [Sat, 14 Oct 2017 03:08:21 +0000 (23:08 -0400)]
fix incorrect base name offset from nftw when pathname ends in slash(es)

the rightmost '/' character is not necessarily the delimiter before
the basename; it could be a spurious trailing character on the
directory name.

this change does not introduce any normalization of pathnames or
stripping of trailing slashes, contrary to at least glibc and perhaps
other implementations; it jusst prevents their presence from breaking
things. whether further changes should be made is an open question
that may depend on conformance and/or application compatibility
considerations.

based loosely on patch by Joakim Sindholt.

7 years agofix read-after-free type error in pthread_detach
Rich Felker [Sat, 14 Oct 2017 03:00:34 +0000 (23:00 -0400)]
fix read-after-free type error in pthread_detach

calling __unlock on t->exitlock is not valid because __unlock reads
the waiters count after making the atomic store that could allow
pthread_exit to continue and unmap the thread's stack and the object t
points to. for now, inline the __unlock logic with an unconditional
futex wake operation so that the waiters count is not needed.

once __lock/__unlock have been made safe for self-synchronized
destruction, we could switch back to using them.

7 years agomath: rewrite fma with mostly int arithmetics
Szabolcs Nagy [Sun, 17 Sep 2017 17:31:20 +0000 (17:31 +0000)]
math: rewrite fma with mostly int arithmetics

the freebsd fma code failed to raise underflow exception in some
cases in nearest rounding mode (affects fmal too) e.g.

  fma(-0x1p-1000, 0x1.000001p-74, 0x1p-1022)

and the inexact exception may be raised spuriously since the fenv
is not saved/restored around the exact multiplication algorithm
(affects x86 fma too).

another issue is that the underflow behaviour when the rounded result
is the minimal normal number is target dependent, ieee754 allows two
ways to raise underflow for inexact results: raise if the result before
rounding is in the subnormal range (e.g. aarch64, arm, powerpc) or if
the result after rounding with infinite exponent range is in the
subnormal range (e.g. x86, mips, sh).

to avoid all these issues the algorithm was rewritten with mostly int
arithmetics and float arithmetics is only used to get correct rounding
and raise exceptions according to the behaviour of the target without
any fenv.h dependency. it also unifies x86 and non-x86 fma.

fmaf is not affected, fmal need to be fixed too.

this algorithm depends on a_clz_64 and it required a few spurious
instructions to make sure underflow exception is raised in a particular
corner case. (normally FORCE_EVAL(tiny*tiny) would be used for this,
but on i386 gcc is broken if the expression is constant
https://gcc.gnu.org/bugzilla/show_bug.cgi?id=57245
and there is no easy portable fix for the macro.)

7 years agofor executing init array functions, use function type with prototype
Rich Felker [Fri, 13 Oct 2017 14:39:51 +0000 (10:39 -0400)]
for executing init array functions, use function type with prototype

this is for consistency with the way it's done in in the dynamic
linker, avoiding a deprecated C feature (non-prototype function
types), and improving code generation. GCC unnecessarily uses the
variadic calling convention (e.g. clearing rax on x86_64) when making
a call where the argument types are not known for compatibility with
wrong code which calls variadic functions this way. (C on the other
hand is clear that such calls have undefined behavior.)

7 years agofix access by setjmp and longjmp to __hwcap on arm built as thumb2
Rich Felker [Fri, 13 Oct 2017 14:23:48 +0000 (10:23 -0400)]
fix access by setjmp and longjmp to __hwcap on arm built as thumb2

this is a subtle issue with how the assembler/linker work. for the adr
pseudo-instruction used to find __hwcap, the assembler in thumb mode
generates a 16-bit thumb add instruction which can only represent
word-aligned addresses, despite not knowing the alignment of the
label. if the setjmp function is assigned a non-multiple-of-4 address
at link time, the load then loads from the wrong address (the last
instruction rather than the data containing the offset) and ends up
reading nonsense instead of the value of __hwcap. this in turn causes
the checks for floating-point/vector register sets (e.g. IWMMX) to
evaluate incorrectly, crashing when setjmp/longjmp try to save/restore
those registers.

fix based on bug report by Felix Hädicke.

7 years agofix use of memset without declaration in sched.h cpu set macros
Rich Felker [Thu, 28 Sep 2017 16:57:06 +0000 (12:57 -0400)]
fix use of memset without declaration in sched.h cpu set macros

patch by Jörg Krause.

7 years agopowerpc{64}: fix MAP_NORESERVE and MAP_LOCKED in mman.h
Szabolcs Nagy [Sun, 10 Sep 2017 11:34:54 +0000 (13:34 +0200)]
powerpc{64}: fix MAP_NORESERVE and MAP_LOCKED in mman.h

MAP_{NORESERVE,LOCKED} have different values on powerpc than in generic.

7 years agowork around incorrect EPERM from mmap syscall
Rich Felker [Thu, 7 Sep 2017 02:09:28 +0000 (22:09 -0400)]
work around incorrect EPERM from mmap syscall

under some conditions, the mmap syscall wrongly fails with EPERM
instead of ENOMEM when memory is exhausted; this is probably the
result of the kernel trying to fit the allocation somewhere that
crosses into the kernel range or below mmap_min_addr. in any case it's
a conformance bug, so work around it. for now, only handle the case of
anonymous mappings with no requested address; in other cases EPERM may
be a legitimate error.

this indirectly fixes the possibility of malloc failing with the wrong
errno value.

7 years agofix glob descent into . and .. with GLOB_PERIOD
Rich Felker [Thu, 7 Sep 2017 01:59:22 +0000 (21:59 -0400)]
fix glob descent into . and .. with GLOB_PERIOD

GLOB_PERIOD is a gnu extension, and GNU glob does not seem to honor it
except in the last path component. it's not clear whether this a bug
or intentional, but it seems reasonable that it should exclude the
special entries . and .. when walking.

changes based on report and analysis by Julien Ramseier.

7 years agodon't treat numeric port strings as servent records in getservby*()
Rich Felker [Thu, 7 Sep 2017 01:42:15 +0000 (21:42 -0400)]
don't treat numeric port strings as servent records in getservby*()

some applications use getservbyport to find port numbers that are not
assigned to a service; if getservbyport always succeeds with a numeric
string as the result, they fail to find any available ports.

POSIX doesn't seem to mandate the behavior one way or another. it
specifies an abstract service database, which an implementation could
define to include numeric port strings, but it makes more sense to
align behavior with traditional implementations.

based on patch by A. Wilcox. the original patch only changed
getservbyport[_r]. to maintain a consistent view of the "service
database", I have also modified getservbyname[_r] to exclude numeric
port strings.

7 years agofix signal masking race in pthread_create with priority attributes
Rich Felker [Thu, 7 Sep 2017 00:37:19 +0000 (20:37 -0400)]
fix signal masking race in pthread_create with priority attributes

if the parent thread was able to set the new thread's priority before
it reached the check for 'startlock', the new thread failed to restore
its signal mask and thus ran with all signals blocked.

concept for patch by Sergei, who reported the issue; unnecessary
changes were removed and comments added since the whole 'startlock'
thing is non-idiomatic and confusing. eventually it should be replaced
with use of idiomatic synchronization primitives.

7 years agomake syscall.h consistent with linux
Szabolcs Nagy [Sat, 18 Feb 2017 00:50:09 +0000 (00:50 +0000)]
make syscall.h consistent with linux

most of the found naming differences don't matter to musl, because
internally it unifies the syscall names that vary across targets,
but for external code the names should match the kernel uapi.

aarch64:
__NR_fstatat is called __NR_newfstatat in linux.
__NR_or1k_atomic got mistakenly copied from or1k.
arm:
__NR_arm_sync_file_range is an alias for __NR_sync_file_range2
__NR_fadvise64_64 is called __NR_arm_fadvise64_64 in linux,
the old non-arm name is kept too, it should not cause issues.
(powerpc has similar nonstandard fadvise and it uses the
normal name.)
i386:
__NR_madvise1 was removed from linux in commit
303395ac3bf3e2cb488435537d416bc840438fcb 2011-11-11
microblaze:
__NR_fadvise, __NR_fstatat, __NR_pread, __NR_pwrite
had different name in linux.
mips:
__NR_fadvise, __NR_fstatat, __NR_pread, __NR_pwrite, __NR_select
had different name in linux.
mipsn32:
__NR_fstatat is called __NR_newfstatat in linux.
or1k:
__NR__llseek is called __NR_llseek in linux.
the old name is kept too because that's the name musl uses
internally.
powerpc:
__NR_{get,set}res{gid,uid}32 was never present in powerpc linux.
__NR_timerfd was briefly defined in linux but then got renamed.

7 years agohandle whitespace before %% in scanf
Bartosz Brachaczek [Sun, 9 Jul 2017 21:00:18 +0000 (23:00 +0200)]
handle whitespace before %% in scanf

this is mandated by C and POSIX standards and is in accordance with
glibc behavior.

7 years agofix OOB reads in Xbyte_memmem
Alexander Monakov [Thu, 29 Jun 2017 21:35:33 +0000 (00:35 +0300)]
fix OOB reads in Xbyte_memmem

Reported by Leah Neukirchen.

7 years agofree allocations in clearenv
Alexander Monakov [Sun, 3 Sep 2017 19:12:21 +0000 (22:12 +0300)]
free allocations in clearenv

This aligns clearenv with the Linux man page by setting 'environ'
rather than '*environ' to NULL, and stops it from leaking entries
allocated by the libc.

7 years agooverhaul environment functions
Alexander Monakov [Sun, 3 Sep 2017 19:12:20 +0000 (22:12 +0300)]
overhaul environment functions

Rewrite environment access functions to slim down code, fix bugs and
avoid invoking undefined behavior.

* avoid using int-typed iterators where size_t would be correct;
* use strncmp instead of memcmp consistently;
* tighten prologues by invoking __strchrnul;
* handle NULL environ.

putenv:
* handle "=value" input via unsetenv too (will return -1/EINVAL);
* rewrite and simplify __putenv; fix the leak caused by failure to
  deallocate entry added by preceding setenv when called from putenv.

setenv:
* move management of libc-allocated entries to this translation unit,
  and use no-op weak symbols in putenv/unsetenv;

unsetenv:
* rewrite; this fixes UB caused by testing a free'd pointer against
  NULL on entry to subsequent loops.

Not changed:
Failure to extend allocation tracking array (previously __env_map, now
env_alloced) is ignored rather than causing to report -1/ENOMEM to the
caller; the worst-case consequence is leaking this allocation when it
is removed or replaced in a subsequent environment access.

Initially UB in unsetenv was reported by Alexander Cherepanov.
Using a weak alias to avoid pulling in malloc via unsetenv was
suggested by Rich Felker.

7 years agofix erroneous acceptance of f4 9x xx xx code sequences by utf-8 decoder
Rich Felker [Fri, 1 Sep 2017 21:05:40 +0000 (17:05 -0400)]
fix erroneous acceptance of f4 9x xx xx code sequences by utf-8 decoder

the DFA table controlling accepted ranges for the f4 prefix used an
incorrect upper bound of 0xa0 where it should have been 0x90, allowing
such sequences to be accepted and decoded as non-Unicode-scalar values
0x110000 through 0x11ffff.

7 years agofix erroneous stop before input limit in mbsnrtowcs and wcsnrtombs
Rich Felker [Thu, 31 Aug 2017 18:30:28 +0000 (14:30 -0400)]
fix erroneous stop before input limit in mbsnrtowcs and wcsnrtombs

the value computed as an output limit that bounds the amount of input
consumed below the input limit was incorrectly being used as the
actual amount of input consumed. instead, compute the actual amount of
input consumed as a difference of pointers before and after the
conversion.

patch by Mikhail Kremnyov.

7 years agoarm: add HWCAP_ARM_ hwcap macros
Szabolcs Nagy [Wed, 8 Feb 2017 00:31:56 +0000 (00:31 +0000)]
arm: add HWCAP_ARM_ hwcap macros

Glibc renamed the linux uapi HWCAP_* macros to HWCAP_ARM_*
so have both variants in case some code depends on it.
(The HWCAP2_ macros are not defined in glibc currently so those
only have the linux uapi variant.)

7 years agoadd a_clz_64 helper function
Szabolcs Nagy [Tue, 18 Apr 2017 22:20:54 +0000 (00:20 +0200)]
add a_clz_64 helper function

counts leading zero bits of a 64bit int, undefined on zero input.
(has nothing to do with atomics, added to atomic.h so target specific
helper functions are together.)

there is a logarithmic generic implementation and another in terms of
a 32bit a_clz_32 on targets where that's available.

7 years agos390x: add bits/hwcap.h
Szabolcs Nagy [Tue, 29 Aug 2017 17:46:46 +0000 (19:46 +0200)]
s390x: add bits/hwcap.h

aligned with linux arch/s390/include/asm/elf.h
(these macros should be exported into uapi, but they are not)

7 years agomove IPPORT_RESERVED from netdb.h to netinet/in.h
Rich Felker [Wed, 30 Aug 2017 00:50:48 +0000 (20:50 -0400)]
move IPPORT_RESERVED from netdb.h to netinet/in.h

it's in the reserved namespace for the latter, where it seems it was
historically defined, and some programs expect to find it there.

7 years agoadd powerpc64 and s390x to list of supported archs in INSTALL file
Rich Felker [Wed, 30 Aug 2017 00:48:02 +0000 (20:48 -0400)]
add powerpc64 and s390x to list of supported archs in INSTALL file

7 years agofix undefined behavior in memset due to missing sequence points
Rich Felker [Tue, 29 Aug 2017 23:53:50 +0000 (19:53 -0400)]
fix undefined behavior in memset due to missing sequence points

patch by Pascal Cuoq.

7 years ago__init_libc: add fallbacks for __progname setup
Alexander Monakov [Fri, 28 Jul 2017 14:46:49 +0000 (17:46 +0300)]
__init_libc: add fallbacks for __progname setup

It is possible for argv[0] to be a null pointer, but the __progname
variable is used to implement functions in src/legacy/err.c that do not
expect it to be null. It is also available to the user via the
program_invocation_name alias as a GNU extension, and the implementation
in Glibc initializes it to a pointer to empty string rather than NULL.

Since argv[0] is usually non-null and it's preferable to keep those
variables in BSS, implement the fallbacks in __init_libc, which also
allows to have an intermediate fallback to AT_EXECFN.

7 years agoadd SIOCGSTAMPNS socket ioctl macro to ioctl.h
Szabolcs Nagy [Sun, 13 Aug 2017 20:47:42 +0000 (22:47 +0200)]
add SIOCGSTAMPNS socket ioctl macro to ioctl.h

it is defined in linux asm/sockios.h since commit
ae40eb1ef30ab4120bd3c8b7e3da99ee53d27a23 (linux v2.6.22)
but was missing from musl by accident.

in musl the sockios macros are exposed in sys/ioctl.h together
with other ioctl requests instead of in sys/socket.h because of
namespace rules. (glibc has them in sys/socket.h under _GNU_SOURCE.)

7 years agofix mips ioctl macros to match linux asm/sockios.h
Szabolcs Nagy [Sun, 13 Aug 2017 20:46:38 +0000 (22:46 +0200)]
fix mips ioctl macros to match linux asm/sockios.h

7 years agofix unsynchronized access to FILE structure in fflush(0)
Rich Felker [Tue, 29 Aug 2017 23:39:03 +0000 (19:39 -0400)]
fix unsynchronized access to FILE structure in fflush(0)

commit c002668eb0352e619ea7064e4940b397b4a6e68d inadvertently moved
the check for unflushed write buffer outside of the scope of the
existing lock.

7 years agofix signed overflow in ftok
Daniel Sabogal [Sat, 12 Aug 2017 02:55:22 +0000 (22:55 -0400)]
fix signed overflow in ftok