Ignore extended attributes when untarring packages.

The author of sshfs shoved a bunch of OSX metadata into his tarball, and this
caused bsdtar to exit with an error, despite successfully extracting the files.
In general, it seems unwise to respect external filesystem metadata in a
tarball you get from the internet.

Replaced egrep call, bumped to version 5.40.10

Makefile: fixed version, tweaked dist target

pkgmk: added '--format=gnutar' to bsdtar call in build_package() to deal with some locale issues

pkgmk: use curl as the default download program

pkgmk: set LC_ALL to C.UTF-8

adjust copyright year

Makefile: bump version

pkgmk: call signify with absolute path

Makefile: add new man-page pkgfile.5

pkgfile.5: new man-page, initial work by fun

pkgmk: add possibility to change the name of downloaded tarballs

readd bz2 support - don't commit while drunk

pkgadd: add lzip support (closes FS#1638)

It should complete the commit ae5df6094b41 ('pkgmk: dropped bzip2 support, added support for lzip').

Signed-off-by: Fun <just.the.real.fun@gmail.com>

faster strip_files() function

Tested with a port with 5500 output files, from which 53 candidates
for stripping. The timing was:
- 30  secs (old code)
- 0.2 secs (new code - current patch)
- 1.4 secs (new code with proper quoting - not commited)

Most of the time is spent in getting the output from the file program.

The old code started the file program for every file.

The new/present code starts N=$(nproc) processes in parallel with 10 input
files for each 'file' process. The output of the file program is feed
to an awk process which filters-out only the candidates for stripping.
This process runs in parallel too (but with one file per strip process).

The --no-buffer options is used because it sounds good (the strip should
start as soon as one of the file processes has a verdict for one of
their 10 files), but I didn't measure it.

The "xargs -r -L10 -P$N" command will miss the files with spaces.
For a file named "a b" it will spawn:
file "a" "b"
A slower version, with proper quoting, "xargs -r -L1 -P$N -I{} file ... '{}'",
will spawn:
file "a b"

* xargs will force -L1 if -I{} is used

Given that the file process doesn't return error codes for non-existing
files, and that there is a very low probability that we have ports with
filenames constaining spaces that are worth stripping them, I choose to
keep the faster (non perfect) version.

pkgutils 5.40.7

pkgmk: dropped bzip2 support, added support for lzip

pkgadd.conf: Don't overwrite rc.d/wlan on update

bump version

pkgmk: use --compression=none for wget by default.

bump version

Add JOBS to pkgmk.conf

pkgmk: fix the up-to-date option (avoid unnecesarry rebuilds)

build_needed() function returns true/yes if a source is missing,
even when the target/package exists and is up-to-date. This
behaviour triggers unnecesarry rebuilds.

Because only the remote sources can be missing and
we don't want to rebuild a port just because we've deleted
some of its remote sources, this patch changes that condition
from:
    ( the source is missing OR  is newer than the target/package )
to
    ( the source exists     AND is newer than the target/package )

pkgmk: dont export PKG, SRC FS#1367

bump version to 5.40.4

cleanup

added sepen's patch for pkgadd config-file

pkgadd: avoid fake installations if unpacking fails

This patch aborts the package installation and remove the package
from the database on any extraction error. This fixes FS#620.

I don't know why the extraction errors were ignored (even documented).
The initial commit already had this behaviour. Another odd thing
is that the install status of the package was commited to the database
before it was installed while there are exceptions used in pkg_install():
 - archive open error
 - empty archive
 - archive read error
Any of these errors will falsely mark the package as installed (maybe
not a big problem with upgrades).

To avoid breaking something (else), this fix kicks in
only with fresh installs (not upgrades).

Thanks Erich Eckner, for pointing out that the issue
is reproductible with a read-only destination. Otherwise,
I don't think I would have looked at this issue.

A test case is presented with the FS issue, just in case someone
who loves C++ enough to dig deeper or have more knowledge about
the history of this program would take a closer look.

pkgmk.in: Add 7z to unpack_source function

Libarchive(bsdtar) can extract 7-Zip archives since 3.0, so
add them as supported source

Ref:
https://github.com/libarchive/libarchive/wiki/LibarchiveFormats

pkgutils-5.40.3

pkgmk: update .md5sum if present (even when the port was signed)

bump Makefile version

pkgmk: ignore md5sums unless signatures are missing

pkgmk: Remove check for empty $source in check_signature(), patch by just_fun

pkgadd: fix deprecated warning, patch by tnut

pkgmk: Removed checking for  in make_signature()

this is an artifact from make_md5sum() and NOT needed for make_signature().
In fact, this check breaks make_signature() because now packages that don't
have a $source don't get any .signature at all, even though it can
(and should) create a sha256 for the footprint and Pkgfile.

Patch by Camille (onodera).

Fixed various style errors and some typos. Patch by Camille (onodera).

pkgmk: don't assume file will print a ',' with future releases

pkgmk: Actually strip executables and objects. Patch by Roman Oreshnikov

FS#1378

pkgmk.conf: include PKGMK_IGNORE_MD5SUM and PKGMK_IGNORE_SIGNATURE variables

signify related updates to pkgmk.8.in

updated copyright to 2017

pkgmk.in: fix typo in the help text

update copyright year

pkgmk: extract archives with tar.lz extension

Merge branch 'signed'

pkgmk.8: minor documentation adjustments

Makefile: bump version to 5.40

document new command-line switches in pkgmk.8

clean ups and -cs now checks the signature even if the binary package is already present

fix indentation even more

implement proper fallback with/without PKGMK_IGNORE_MD5SUM and PKGMK_IGNORE_SIGNATURE

fix indentation, remove --insecure and no-check-certificate from curl and wget options

strip -x from shebang

implement signature handling; yes indenting is broken

Makefile: change man-page location to /usr/share/man

bump version to 5.36

pkgmk.conf: add PKGMK_CURL_OPTS variable

Makefile: compress tarball with xz

pkgmk: add support for curl

See FS#1060, https://crux.nu/bugs/index.php?do=details&task_id=1060

New variables in /etc/pkgmk.conf:

PKGMK_DOWNLOAD_PROG="" (curl or wget)
PKGMK_CURL_OPTS="" (parameters for curl, when using curl)

bump version to 5.35.6

pkgadd.conf: allow update of /etc/ssl/cert.pem provided by core/ca-certificates

pkgadd.conf: add rules for hwdb of eudev

pkgmk.conf: added commented MAKEFLAGS option

Makefile: bump version to 5.35.4

update copyright year to 2013

pkgmk.conf: if PKGMK_ARCH is unset we default to 64

bump version to 5.35.3

pkgmk: add support for plain tar, FS#603

pkgmk, pkgmk.conf: updates for multilib

Bumped version to 5.35.2.

Switched to libarchive 3.x.

Bumped version to 5.35.1.

Documented PKGMK_IGNORE_NEW in pkgmk.conf.5.

Bumped version to 5.35.0.

Updated copyright notices to 2010.

Bug #221: added error codes.

Fixed documentation to not only talk about pkg.tar.gz but also bz2 and xz.

Bug #221: pkgmk optionally now only warns about new files in a footprint.

Bug #581: Users may choose from gz/bz2/xz for the compression mode now.

Be less strict about the package name suffix.

Note that we never made sure that the string in PKG_EXT
really is the final part of the filename.

Added support for bzip2- and xz-compressed packages.

Get libarchive LDFLAGS for static linking from pkg-config.

Added support for *.tbz2 and *.txz source entries in pkgmk.

Added support for *.rpm source entries in pkgmk.

Bumped version to 5.34.2.

Also accept *.tar.lzma source archives.

Bumped version to 5.34.1.

Preserve file permissions and ownership when extracting distfiles.

Bumped version to 5.34.0.

Bug #360: Check whether files are writable early.

Use bsdtar instead of GNU tar to extract all handled archive formats.

Only enable the tar and gzip modules when initialising libarchive.

This means you will only be able to run pkgadd/pkginfo on gzipped tarballs
but not on tarballs that were compressed with eg bzip2 or xz.

Bumped version to 5.33.0.

Bug #336: Only accept http/https/ftp/file protocols in sources.

Bug #347: wget options are configurable now.

pkgmk: add "extract only" functionality, previously suggested by Lucas Hazel and Danny Rawlins

Bug #287: Added a manpage for pkgmk.conf.

Based on a patch by Danny Rawlins <monster.romster@gmail.com>.

Bug #241: Don't check SSL certificates.

pkgmk's mechanism to check file integrity is .md5sum, so relying on
proper SSL certificates for https connections isn't critical. This fixes
transfers from https servers whose SSL certificates are self signed only.

Original patch by Jose V Beneyto <sepen@users.sourceforge.net>.

Bug #244: Relative paths are supported now in pkgadd -r.