lib-nixio / luci-base: Fix for reading csrf token prevents file upload

The call to http.formvalue in order to read the csrf token causes
_parse_input to be triggered *before* controllers and cbi maps have
been built.  This results in the failure of file uploads because
the file handler is not yet in place when _parse_input gets called,
and it is in _parse_input that POST data is parsed (including files).

To fix this we add the ability to write file fields to temporary
files (using mkstemp and unlink in nixio.file) and use this to
store file data until the filehandler is registered, with a
fallback to reading the file data into memory.

Once the filehandler callback gets registered we iterate
though all previously parsed (saved) files and copy the
data to the file handler, and then close the temporary
file (which finally removes because we unlinked after
creating the file, but didn't close the file so unlink
was deferred).

Signed-off-by: Daniel Dickinson <openwrt@daniel.thecshore.com>

validation: Add option ipv4only option to host and hostport datatypes

Some applications only support ipv4 so add ipv4only option
to host and hostport datatypes so that for thos applications
that when an IP address is specified only and ipv4 ip address
gets accepted.

modules/luci-base: Fix ipaddrport validator to support ipv6

The previous versiono of ipaddrport validator only worked for ipv4
due to disallowing colons (:) in ip address which obvious fails for
ipv6.  We now instead allow either ipv4 address or an ipv6 address of
the form [<ipv6address>]:port

applications: uhttpd: Add a uHTTPd configuration app

uHTTPd has a lot of useful options that ought to be configurable
without have to SSH in, so expose those options in a UI page.

luci-base: Make default for FileUpload 'safe'

Some files and pointers to files are not safe to remove without a replacement
file and config pointing to the file.  For instance for uhttpd application in
the works, removing the certificate or key config or files without having the
replacements in places renders the WeUI inaccessible.

The only other place where FileUpload is currently used is for wifi certificates
for which the 'safe' handling is also preferred.  Therefore make the default for
the FileUpload widget the safe handling and add a property self.unsafeupload that
allows for the old unsafe handling should it prove useful in some case.

Also allow to specify a file already on router instead of uploading a file.

Signed-off By: Daniel Dickinson <openwrt@daniel.thecshore.com>

luci-app-olsr: use public interface of luci.model.network.wifinet (#569)

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: rewrite luci.sys.net.conntrack()

The new function is twice as fast as the old implementation and properly
summarizes outgoing and incoming byte and packet counters.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

Merge pull request #567 from inTagger/ip-addr-view-update

luci-mod-admin-full: update IPv4/IPv6 list views

luci-mod-admin-full: update IPv4/IPv6 list views

For better view of 'Interface Overview' IPv4/IPv6 addresses for
interfaces should be displayed as lists, but not as comma separated
strings.

Signed-off-by: Alexander Logger <intagger@gmail.com>

i18n: sync translations

Sync translations.

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

Merge pull request #461 from marcel-sch/patch-1

package/community-profiles: add freifunk cottbus profile

Merge pull request #559 from Arnie97/add-openvpn-proto

luci-app-openvpn: Add udp6 and tcp6 to proto

luci-app-openvpn: Add udp6 and tcp6 to proto

Signed-off-by: Yifeng Zhang <arnie97@gmail.com>

Merge pull request #565 from yousong/l2tp-server

Allow host:port value for l2tp `server` option

luci-proto-ppp: l2tp: allow specifying port in "server" option

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-base: fix escaping lua string to js repr

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-base: add hostport and ipaddrport validation types

Add two new types 'hostport' and 'ipaddrport' to validate strings in the form
'sub.example.org:1234' and '0.0.0.0:80'. The 'hostport' accepts hostnames or
IP addresses followed by a colon and a port number while the 'ipaddrport' type
accepts numeric IP addresses only, followed by a colon and a port.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

Merge pull request #561 from cshore/pull-request-fstab-improvements

Pull request fstab improvements

luci-base: Add function for shell single-quote parameter escaping

When using os.execute or luci.sys.call the shell is called with the
command line which means that standard shell interpretation of strings
occurs.  To allow to use these commands more easily we add functions
for properly escaping single-quoted strings used on the command line

luci-mod-admin-full: fstab: Add ability to redo the detection of block devices

Adds a button that does block detect and write the new configuration
to /etc/config/fstab.

luci-mod-admin-full: fstab: Add ability to set global options like anonymous mounts

Previously the global configuration options were missing the the LuCI configuration,
however these options are useful, so make them available to the UI.

luci-mod-admin-full: Don't show jail bind mounts

The user is unlikely to care about the plethora of jail bind mounts
when using jails, so don't display them in this app.

luci-mod-admin-full: fstab: Add ability to unmount non-system mounts

Add an unmount button for non-system mounts which will unmount
the corresponding file system.

luci-app-openvpn: add route_nopull (#560)

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

Merge pull request #534 from yousong/add-luci-proto-pppossh

Add luci proto pppossh

luci-mod-admin-full: limit SSID to 32 characters (#558)

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: fix script regression after 152ba9ab228ad4ea4c1748f29fe4ffa5f8f74ac6

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: use board.json to infer switch netdev

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: switch to luci-lib-jsonc

Add dependency on luci-lib-jsonc and use it to
reimplement luci.util.serialize_json().

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: make mirror port settings depend on mirror enable

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

Merge pull request #554 from bittorf/better_neigh.sh

freifunk-common: neigh.sh - show hostnames

freifunk-common: neigh.sh - show hostnames

if nameservice-plugin is configured, we read
in all locally known hostnames and show them
in the output:

root@stuttgarter-core:~# neigh.sh
Local          Remote         vTime  LQ       NLQ      Cost Host
10.230.105.241 10.230.105.246 138851 1.000000 1.000000 1024 stuttgarter-rhnk.olsr
10.230.105.241 10.230.105.247 135717 1.000000 1.000000 1024 stuttgarter-emma.olsr
10.230.105.241 10.230.105.244 138309 1.000000 1.000000 1024 stuttgarter-sued.olsr
10.230.105.241 10.230.105.245 136001 1.000000 1.000000 1024 stuttgarter-west.olsr
10.230.105.241 10.230.105.242 134818 1.000000 1.000000 1024 stuttgarter-nord.olsr
10.230.105.241 10.230.105.243 137187 1.000000 1.000000 1024 stuttgarter-ost.olsr
10.230.105.241 10.230.105.250 139984 1.000000 1.000000 1024 stuttgarter-hof2.olsr
10.230.105.241 10.230.105.251 138294 1.000000 1.000000 1024 stuttgarter-stra2.olsr

Local               Remote              vTime  LQ       NLQ      Cost Host
2001:bf7:820:901::1 2001:bf7:820:950::1 139703 1.000000 1.000000 1024 stuttgarter-rhnk.olsr
2001:bf7:820:901::1 2001:bf7:820:960::1 139541 1.000000 1.000000 1024 stuttgarter-emma.olsr
2001:bf7:820:901::1 2001:bf7:820:990::1 140415 1.000000 1.000000 1024 stuttgarter-hof2.olsr
2001:bf7:820:901::1 fde6:24f1:a388::1   141338 1.000000 1.000000 1024

the filenames for the olsrd hosts-file is taken from uci
and falls back to sane defaults.

Signed-off-by: Bastian Bittorf <bittorf@bluebottle.com>

luci-mod-admin-full: revert accidential button type change in 20fdac1ac4a126ceebde13fb627a9f88bba0e2b3

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

update profile

contrib/package/freifunk-policyrouting: remove rc.d symlink

luci-mod-admin-full: allow empty mac in interface status

Also adjust for changed IP address format emitted by iface_status call.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: use :ipaddrs() and :ip6addrs() helper for iface_status

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: eliminate use of uci state vars in luci.model.network

Also implement :ipaddrs() and :ip6addrs() helper for network instances.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: prevent submit with interface delete button (#549)

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: fix uci documentation issue (#538)

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

Merge pull request #548 from chris5560/master

luci-app-ddns: rollup to 2.3.0 to reflect changes on ddns-scripts

luci-app-ddns: rollup to 2.3.0 to reflect changes on ddns-scripts

- support for new options "lookup_host", "param_enc" and "param_opt"
- rewritten ddns provider handling to only show/check needed options "domain", "username", etc.
- modified version check/handling incl. using new ipkg.compare_versions function
- modified map.title and map.description generation
- changed XHR.poll interval to 15 seconds on system status page
- using new value_parse function for testing and later implementation into cbi.lua
- some optimizations

Signed-off-by: Christian Schoenebeck <christian.schoenebeck@gmail.com>

Merge pull request #396 from fanthos/master

luci-app-qos: Add custom QOS classes to luci dropdown list

Merge pull request #535 from saik0/redirect-root-if-empty-signed

Redirect to root on empty path (signed off)

Merge pull request #545 from chris5560/master

luci-app-radicale: remove map.title hack

luci-app-radicale: remove map.title hack

remove map.title hack; no longer needed

Signed-off-by: Christian Schoenebeck <christian.schoenebeck@gmail.com>

Merge pull request #544 from chris5560/master

luci-app-privoxy: remove map.title hack

luci-app-privoxy: remove map.title hack

remove map.title hack; no longer needed

Signed-off-by: Christian Schoenebeck <christian.schoenebeck@gmail.com>

Merge pull request #542 from eamars/master

Fix a typo mistake in UI string (mount/fstab extroot advice)

fix a typo error in command script shown to users

Signed-off-by: Ran Bao <worksev@gmail.com>

luci-mod-admin-full: limit interface name length to 15 chars

Limit the name of a new interface to 15 characters.
Add a note about the maximum length and the automatic protocol/bridge
prefixes (br-, 6in4-, pppoe- etc.).

Reference to:
https://dev.openwrt.org/ticket/20380
https://github.com/openwrt/luci/issues/507

There is a 15 character limit to the "real" interface name,
enforced both in the firewall and dnsmasq. The real interface name
includes the possible prefix "br-", "6in4-" etc. Example of an error:
  interface name `br-lan_protected' must be shorter than IFNAMSIZ (15)

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

Redirect to root on empty path

* Prevents an empty Location header
* Useful in environments where build_url() could return an empty string (such as http server rewrites requests to /cgi-bin/luci)

Signed-off-by: Joel Pedraza <github@saik0.net>

luci-proto-ppp: add support for pppossh

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-base: add support for DynamicList with FileBrowser

Two new arguments url, defpath were added to cbi_dynlist_init() for
initializing the brower button.

An example of usage

    identity = section:taboption("general", DynamicList, "identity",
    translate("List of SSH key files for auth"))
    identity.datatype = "file"

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

luci-base: urlencode: encode all except unreserved characters.

As per http://tools.ietf.org/html/rfc3986#section-2.3

   Characters that are allowed in a URI but do not have a reserved
   purpose are called unreserved.  These include uppercase and lowercase
   letters, decimal digits, hyphen, period, underscore, and tilde.

      unreserved  = ALPHA / DIGIT / "-" / "." / "_" / "~"

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Merge pull request #532 from chris5560/master

documentation/CBI.md fixed markdown formating

documentation/CBI.md fixed markdown formating

CBI.md: fixed markdown formating
ModulesHowTo.md: fixed to make link inside CBI.md work.

Signed-off-by: Christian Schoenebeck <christian.schoenebeck@gmail.com>

Merge pull request #528 from nmav/no-vpn

ocserv: removed unnecessary option and add proxy arp option

Merge pull request #531 from chris5560/master

template cbi/value.htm implement documented property maxlength

template cbi/value.htm implement documented property maxlength

template cbi/value.htm implement already documented property maxlength

Signed-off-by: Christian Schoenebeck <christian.schoenebeck@gmail.com>

Merge pull request #529 from chris5560/master

cbi: Implement "readonly" property for "Value"

ocserv: added proxy arp option

Signed-off-by: Nikos Mavrogiannopoulos <nmav@gnutls.org>

luci-app-ocserv: removed unecessary option

Signed-off-by: Nikos Mavrogiannopoulos <nmav@gnutls.org>

cbi.lua: Implement "readonly" property for "Value"

cbi.lua: Implement "readonly" property for "Value"

Signed-off-by: Christian Schoenebeck <christian.schoenebeck@gmail.com>

template cbi/value.htm: add "readonly" property

template cbi/value.htm: add "readonly" property

Signed-off-by: Christian Schoenebeck <christian.schoenebeck@gmail.com>

Merge pull request #526 from chris5560/master

cbi.lua: Implement Flag.validate function

cbi.lua: Implement Flag.validate function

cbi.lua
- Implement Flag.validate function to be overwritable
- rewritten if clause for easier reading ;-)

Signed-off-by: Christian Schoenebeck <christian.schoenebeck@gmail.com>

luci-app-voice-core and -diag: mark broken

Mark luci-app-voice-core and luci-app-voice-diag @BROKEN as their only functionality
is to create menu structure to be filled by items from luci-app-diag-devinfo,
which is currently broken due to missing dependencies.

References:

Initial commit creating all three packages:
https://github.com/openwrt/luci/commit/820f11932f548182ebb32704e1df83b78e69b19e

Explanation why luci-app-diag-devinfo is currently broken:
https://github.com/openwrt/luci/commit/ec6ccf1cd3225b51b958b38c7439f1dea8c28457

If luci-app-diag-devinfo gets its dependencies fixed, these two voice packages
might be re-activated. Combining the three packages would increase clarity.

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

luci-app-firewall: limit zone name length to 11 characters

Change the maximum length of a firewall zone name from 14 to 11 characters.

Longer names break iptables rule generation (max. 29 chars are allowed).

XT_EXTENSION_MAXNAMELEN = 29
29 - sizeof("postrouting_") - sizeof("_rule") - sizeof("\0") = 11

References to:
https://github.com/openwrt/luci/issues/507
https://dev.openwrt.org/ticket/20380

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

Merge pull request #494 from ollie27/strings

fix string "UPNP" -> "UPnP"

fix string "UPNP" -> "UPnP"

Signed-off-by: Oliver Middleton <olliemail27@gmail.com>

Merge pull request #509 from neheb/master

resources/icons: Use gifsicle to save a few bytes.

luci-base: eliminiate use of uci state vars in luci.sys

Rewrite `luci.sys.wifi.getiwinfo()` to use the ubus wireless state instead of
depreacated uci state vars in order to map abstract network notation to
wireless ifnames.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

Add link to API reference

Move libubus-lua dependency to luci-base

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-app-diag-devinfo: mark broken due to dependencies

Mark luci-app-diag-devinfo @BROKEN as it has several failing dependencies:

Four dependencies from "oldpackages":
 httping, mac-to-devinfo, smap-to-devinfo, netdiscover-to-devinfo

One dependency from "abandoned":
 smap

(netdiscover is currently ok in trunk, but not in 15.05.)

Reference to Luci issue #523.

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

luci-app-statistics: Adjust ping graphs to show target hosts separately

Ping statistics plugin allows the user to define multiple ping targets.
The graphs have so far shown multiple hosts in a stacked way.
Adjust graphs to show the target hosts separately (overlay=true).

Clarify the plugin definition with some additional line spacing.

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

luci-app-statistics: improve scaling of the associated stations graph

Improve scaling of the associated stations graph on the wireless page.

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

Merge pull request #522 from LuttyYang/master

luci-theme-material: fix some style bugs

luci-theme-material: fix some style bugs

Signed-off-by: Lutty Yang <lutty@wcan.in>

Merge pull request #521 from LuttyYang/master

luci-theme-material: Synchronized to the LUCI version f9e590a

Revert "luci-theme-material: do not infer login state from url (#520)"

This reverts commit f9e590aa4741bf337029be3f374a33543cc3f37b
in order to enable a clean merge of the PR #521 from the theme author.

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

luci-theme-material: try find current position by using lua code

thanks for jow

Signed-off-by: Lutty Yang <lutty@wcan.in>

luci-theme-material: Synchronized to the LUCI version f9e590a

Signed-off-by: Lutty Yang <lutty@wcan.in>

luci-theme-material: do not infer login state from url (#520)

Checking for `;` in the url is no good indicator whether a user is logged in,
instead query the dispatcher and set a `logged-in` CSS class on the `<body>`
element if a session exists.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: fix invalid markup in packages.htm (#518)

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: restructure and fix backup, restore and sysuprade (#517)

Do not use standard post security checking for actions that require file upload
since reading the token value will trigger parsing of the http message body
before the file upload handler has been set, which causes LuCI to buffer the
entire request body in memory.

In order to simplify the code and logic flow, split action_flashops() into
separate handlers for reset, backup, restore and sysupgrade.

Let the backup restore and sysupgrade handlers use the new test_post_security()
method in luci.dispatcher to perform token checking *after* setting the upload
handler.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: dispatcher expose test_post_security()

Allows external code to perform POST and token checking manually.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: ensure that base url is emitted with trailing slash

Now that we don't have an url token anymore, '/cgi-bin/luci' becomes a valid
url while cookies are restricted to only '/cgi-bin/luci/' and below.

In order to ensure that the first request after login refers to a path
covered by the authentication cookie, change build_url() to always append
a trailing slash if we're referring to the base url.

This should fix the login problems mentioned in #516.

While we're touching the dispatcher, also remove remaining url token code.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: do not access dispatcher.context.urltoken in logout

The urltoken table is going to be removed.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: remove security token from urls

Now that sensitive urls require post requests and only accept them if a valid
security token is sent along the request, we can drop the global random url
token to improve LuCI usability.

The main improvement is the ability to use multiple tabs with the same login
session, but also deep linking to specific urls without the need for another
login becomes feasible, e.g. for documentation purposes.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-app-upnp: protect lease delete call with csrf token

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-app-splash: protect admin status call with csrf token

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-app-radicale: protect start/stop actions with csrf token

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-app-privoxy: protect start/stop actions with csrf token

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-app-ocserv: protect disconnect action with csrf token

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-app-ddns: protect start/stop actions with csrf token

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: protect iptables counter reset and restart with token

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-mod-admin-full: protect network post actions with csrf tokens

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

luci-base: filter invalid opkg status lines

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>