python: remove stray edlib.LOG calls.

There debugging calls got left in..

Signed-off-by: NeilBrown <neil@brown.name>

handle text-fill in .md files better.

Enhance text-fill so that various style attributes can be on the pane
rather than on the character, and set pane attributes for markdown to
notice the starts of various paragraph types, particularly the various
list entries.

Signed-off-by: NeilBrown <neil@brown.name>

textfile: copy prefix from most recent line.

When wrapping just the last line of a para, copy the prefix from that
line to the next.  This improves stability for ad-hoc formatting.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: include local-time as an extra header

Determine timestamp in local time and add that as an extra header.
Also move thread-id to the end, so that all file names are together.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: fix transparent images in default color-space

When fg/bg are the defaults, pair_content() doesn't provide us with
useful information, so we have to assume "white"-ish.

Signed-off-by: NeilBrown <neil@brown.name>

search: avoid infinite look with inconsistent doc:step function.

If doc:step moves back further than we expect, search_backwards can loop
forever. So check for that possibility and abort.

Signed-off-by: NeilBrown <neil@brown.name>

Fix missed conversions from -2 to Efail.

When I changed from magic numbers to words, I missed this one.

Signed-off-by: NeilBrown <neil@brown.name>

email: support text display of some office docs.

 .doc  .docx  .odt

now get passed to lowriter for conversion to text.

Signed-off-by: NeilBrown <neil@brown.name>

search: speed up backwards search.

Rather stepping back one char at a time and attempting a match, step
back larger and larger numbers of chars, and search in that range.
Once we find, search forward for the last match.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: add an 'advance' flag to turn on anchored search.

If we want to find a match that *starts* before a given point but may
continue after that point, we cannot just stop when we reach the point,
but we must enable anchored-match when we do.

Introduce matching "anchor_at_end" flag in lib-search which used this
flag.
With anchor_at_end, the match must start by the end mark.
Without, it must be complete by the end mark.

Signed-off-by: NeilBrown <neil@brown.name>

lib-search: fix bug with matching a pattern that ends at point

Calling rxl_advance() is problematic as merging the two return code is
not trivial.
We really want all the flags that go before a given character to be
handled together.
So set a flag when we see the point, then set the RXL_POINT flag the
next time around.

Signed-off-by: NeilBrown <neil@brown.name>

rexel/c-mode/TODO: minor comment updates.

Various minor non-code updates

Signed-off-by: NeilBrown <neil@brown.name>

core: make it easy to disable timing when running under gdb.

Under gdb, things don't happen fast, so we need to be able to disable
the "pane_too_long()" test.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: store wctype values directly in rxl array

Rather than having a static mapping from a 2-byte value stored in the
rxl array to an 8-byte wctype_t, store the wctype_t directly in the rxl
array, using as many entries as needed.

Signed-off-by: NeilBrown <neil@brown.name>

TODO.md: clean up

Remove a bunch of 'done' things - including some that weren't even
marked as done.
And fix typos etc.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: fix handling of sets for planes > 0

I wasn't including the plane number in the set size, or extracting and
using it.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: support unicode beyond 0x7ffff

The comment said we have to create a set for unicode beyond 15 bits, but
the code doesn't.
Instead reserve 17 code value to identify a unicode plane, and the next
'short' is combined to create a full unicode codepoint.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: properly initialise ->link array

->link[x][0] wasn't being initialised.  I wonder how this ever works.
valgrind wonders why I never asked it before.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: move in a separate 'priorities' file.

For some reason I made a separate list of priorites a while ago.  Here
are the remaining one.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: rename RXL_ANCHORED and RXL_BACKTRACK to RXLF_*

The RXL_ prefix is used for flags to both rxl_prepare() and
rxl_advance(), which might be confusing.
So change the prepare flags to RXLF_ - RXL flag.

Signed-off-by: NeilBrown <neil@brown.name>

text: normalize marks before passing to content callback

The mark that we pass to the content call-back must be normalised - or
bad things happen.

Signed-off-by: NeilBrown <neil@brown.name>

doc-text: text_check_consistent fixes

1/ Don't alter the document while checking - the "normalize" call must
  be on a local variable
2/ check for non-normalized marks when checking marks.

Signed-off-by: NeilBrown <neil@brown.name>

tests: always specify EDLIB_RECORD with EDLIB_REPLAY

'tests view' was behaving differently to other tests.  It seems to be
because EDLIB_RECORD was missing.  So let's add it.

Signed-off-by: NeilBrown <neil@brown.name>

Avoid showing shell output when it requested an edit window

If a shell command is run which creates an edit window using lib-server,
we don't really want to show the output until the command completes.

Signed-off-by: NeilBrown <neil@brown.name>

emacs: if shell command produces no output - say so.

If a shell command exits quickly with no output, emacs mode currently
writes and empty string (the output) to the message line, which isn't a
lot of help.
Instead, write a message that the command did complete - and report any
exit code.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: simplify how 'new' tag is cleared

When the search view is explicitly closed with 'q', all new
threads/messages that have been listed get the 'new' tag cleared.
Any implicit close no longer does that.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: add lax-searching for quotes.

In lax mode, all three ASCII quotes now much the same.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: handle display of alternatives that are multipart.

An alternative can be multipart, e.g. multipart/related.
In that case it won't be the last segment of the path which
says "alternative".  We have to look earlier.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: Hide all of multiline tag

Previously we were not hiding the newline in a multiline tag, so it
would appear as blank lines.

Extend markup:not_eol to ignore eol when rendering forward as well as
when moving backward, and use it in w3m to completely hide things.

Signed-off-by: NeilBrown <neil@brown.name>

email: ensure text parts always provide characters.

If a base64 part does not declare a charset, we don't provide one, so no
chars are available, only bytes.
This is fine for PDF which wants bytes, but bad for html.
So check for text and require some charset.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: reassert attrs at start of line properly

The current code might reassert attrs inside the next tag.  We need to
find tags with no reference to line breaks, then look at newlines
between tags.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: hide all of a multi-line tag

If a tag contains line breaks, we need to reassert the "hide" attribute
on each line.

Signed-off-by: NeilBrown <neil@brown.name>

markup: fix normalisation of priorities.

When I clipped priority to 0:65535, I didn't do it at all for
as_clear(), and not completely for as_add().

Signed-off-by: NeilBrown <neil@brown.name>

w3m: only mark up html entities between tag.

html entities inside tags need to be invisible, so we don't want to mark
them at all.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: support ALL html entities

WE now have a list of all HTML entities.
Also fix handling of &#NNN; where NNN is decimal.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch/w3m: add more html entities

Also ensure they get displayed...

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: avoid inconsistent value of thread_end

thread_end points to the start of the next thread after thread_start.
Changes to the document can insert another thread in between which
causes strange display.
So always recalc thread_next when the doc changes.

Signed-off-by: NeilBrown <neil@brown.name>

TODO - remove everything that is marked as done.

ta-done

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: display low-res images

Each character cell can be 2 pixel.  This allows low-res image display.

Signed-off-by: NeilBrown <neil@brown.name>

render: disable background images for text displays

If scale:M isn't set, then we cannot usefully do background images, so
don't even try.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: manage color pair separately from attributes.

When we combine the color pair in to the attributes we are limited to
255 pairs.  However we can pass it in separately and get many
more.

Signed-off-by: NeilBrown <neil@brown.name>

make: restore "replaceable" status for default search term

I find that I like the "replaceable" status... maybe it isn't so bad now
that the cursor is at the front.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: allow html even when we have plain text.

Now that I have w3m doing a decent job of html display, use it in
preference to text/plain and see what I think.

Signed-off-by: NeilBrown <neil@brown.name>

Use w3m to decode HTML in email messages

Use "w3m -halfdump" and parse out the remaining markup
to give bold and links etc.

Signed-off-by: NeilBrown <neil@brown.name>

ensure html decoding works over base64

b64 doesn't provide chars, just bytes.... Maybe it should get
a utf-8 overlay!!

Signed-off-by: NeilBrown <neil@brown.name>

markup: allow text to be inserted into rendering

If str2 is given to the map-attr callback, it is inserted.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: allow urls to be extracted from part of a multipath

The url might be tagged in just one part - so allow for that.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch message-view: improve url attributes.

Rather than storing the URL as an attribute of the first char of the
URL, store it as an attribute of the pane, indexed by a tag. This tag
is stored in the render:url attribute instead of a length.
This avoid the need to search backwards for the char with the url
attribute, we can access it directly instead.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: fix spelling of upscale

A recent patch broke it...

Signed-off-by: NeilBrown <neil@brown.name>

markup: implement "hide" attribute

text with attribute "hide" is not rendered at all.

Signed-off-by: NeilBrown <neil@brown.name>

markup: make "priority" unsigned.

"priority" is now an unsigned short and the behaviour of integers
outside that range is sensible and documented.

Signed-off-by: NeilBrown <neil@brown.name>

email: cause images to behave as 3 lines with 3 char positions each.

This allows the cursor to move around the image without jumping the
whole image all at once.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: initial support for multi-line renders.

An image will soon appear as multiple lines so that the cursor can
appear at locations within it.

Moving down always goes to start of line.  Moving up goes to top of
image.
These aren't ideal, but better than nothing for now.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: don't set reposition needlessly.

If render_prev finds a new first mark we need to set reposition, but if
it is the same first mark as already existed, we don't.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: minor clean up.

1/ Ensure call_render_line_prev() *always* frees m
   if it doesn't return it.

2/ Use gotos to make code easier to follow when render_lines_move_line
   tried to find the target x column.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: allow <image> to have map: attribute.

A "map" helps place the cursor within an image.  The map provides both a
number of rows and columns, and a collection of the characters in the
rendering which can be used to communicate where the cursor is.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: fold more core into render_image()

setting line height and cursor pos now happens inside render_image().

Signed-off-by: NeilBrown <neil@brown.name>

lib-markup: allow eol chars to be skipped.

When rendering, lib-markup can be told to use some other function for
line via the markup:func attribute.  This can easily included eol chars
in the range being rendered.

However when moving backwards with doc:render-line-prev there is not
currently a way to skip over some eol chars.

So introduce a mark:not_eol text attributes which can be applied to eol
characters to cause lib-markup to ignore them.

Signed-off-by: NeilBrown <neil@brown.name>

Remove any suggestion that num2 is significant for doc:render-line

render-line does doesn't use num2, only 'num'.

Signed-off-by: NeilBrown <neil@brown.name>

Draw:image: allow a cursor to be displayed

A cursor is (expected to be) a rectangular outline around a cell of the
image when considered as a matrix of a given number of rows and columns.

Signed-off-by: NeilBrown <neil@brown.name>

Change numeric args to Draw:image

'num' now combine both the "Stretch" flag and the various alignment
flags.
This leaves num2 open for other purposes.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: always cache the measured size of the image

Knowing the size of the image can be generally useful so keep track of
it.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: only search 10,000 chars for urls

Searching 50,000 takes too long - particularly over base64.
So drop down to 10,000 to avoid triggering the 15-second timeout.

Signed-off-by: NeilBrown <neil@brown.name>

Add a TODO for w3m

Want w3m for html email..

Signed-off-by: NeilBrown <neil@brown.name>

python: silence a warning

smatch doesn't know 'a' cannot be NULL, so tell it.

Signed-off-by: NeilBrown <neil@brown.name>

lang-python: update initialisation.

Py_SetProgramName and PySys_SetArgv are deprecated, so use
PyConfig to avoid warnings.
Also enable "isolated" initialisation to see if it is a bad idea or not.

Signed-off-by: NeilBrown <neil@brown.name>

Abort more quickly when time is up.

After 15 seconds in one command we want to abort to avoid
infinite loops.  However doc:content calls don't get
caught currently because the call to the handler
doesn't go through key_handle().
So add a light-weight test in the call.

Signed-off-by: NeilBrown <neil@brown.name>

multipart: Set ref mark to NULL when freeing it

We usually store a new value in ref.m after freeing this one, but it
possible for that to fail.
So for safety, set to NULL rather than leaving an invalid mark pointer.

Signed-off-by: NeilBrown <neil@brown.name>

email/notmuch: attend or a disposition of "attachment"

Keep track of content disposition and if it claims "attachment" then:

 1/ don't highlight URLs etc
 2/ don't make visible by default - even when plain text

Signed-off-by: NeilBrown <neil@brown.name>

Make: change how default_arg in added.

We currently make the default arg 'replacable' so that typing any text
replaces it.  This is sometimes useful, but sometime awkward.
1/ It is clumsy to edit the arg - you need to abort the 'replaceable'
   state first
2/ it doesn't help with added option e.g. to grep.

So don't make it 'replaceable' but instead place the cursor before the
text.  Then it is easy to insert options or edit the text, and replacing
it is as simple as ctrl-K.

Signed-off-by: NeilBrown <neil@brown.name>

Always normalise paths returned by find-file.

The "~" prefix is useful when entering a file name, but it need to be
removed before the name is used.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: change wrapping of subjects

If the subject in the message summary needs to be wrapped, wrap it ALL
onto the next line.  This makes long subjects easier to read.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: show all filenames in extended headers

As a message can be found in multiple files, and as notmuch knows them
all, add the complete list to the extended headers.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch/email: allow extra headers to be shown.

When viewing an email, it can be useful to be some extra headers without
having to look through the complete raw headers.

There is also information that notmuch knows which doesn't exist in the
headers.

So add an "extras" button which causes both doc-email and notmuch to add
extra headers that might be interesting.
 Message-ID
 In-Reply-To
 References
 Filename
 Thread-ID

Signed-off-by: NeilBrown <neil@brown.name>

make: allow a config item to say "all direct below".

make:$MODE config can now be found in a dir with a trailing '/'.
e.g. /home/kernels/

This means that it applies to all subdirs.  So "make" etc will be run in
/home/kernels/foo, not in /home/kernels/

Signed-off-by: NeilBrown <neil@brown.name>

email: add "Reply-to" to standard headers

I probably should make this list of headers configurable.

Signed-off-by: NeilBrown <neil@brown.name>

python: handle bad utf-8 in string conversion.

If a string contains bad utf-8, treat it as 8bit ascii.

Also handle failure from python_string() correctly.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: don't leave un-waited processes.

If a timeout expires, kill the process and wait for it.  Don't just
leave it there.

Signed-off-by: NeilBrown <neil@brown.name>

config: add some make defaults for my /home/kernels dir

I really should move this config file into $HOME/.config ...

Signed-off-by: NeilBrown <neil@brown.name>

linefilter: restore damage for doc:replace

When a change is made we need to reassess if anything is left.
But for view:changed we don't seem to need the damage.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: when toggling visibility, ensure to move point.

When a Mouse-Activate message arrives, the mark is not the point, so
moving it to the previous part is pointless.  Find the mark and move it.

Also do this whenever visibility changes at all.

Signed-off-by: NeilBrown <neil@brown.name>

email: introduce doc:email-step-part

doc:email-step-part is like doc:step-part provided by multipath, but it
limits the stepping to visible parts.

Using this for notmuch email viewer when changing the visibilty of a part.

Signed-off-by: NeilBrown <neil@brown.name>

emacs: don't create empty selection when clicking.

When not selection words or line, and when the pointer didn't move,
there cannot be a selection, so don't leave the selection enabled.
Otherwise it can suddenly appear sometimes.

Signed-off-by: NeilBrown <neil@brown.name>

multipath: don't step back before the first visible part.

When considering visibility, never step before the first visible part.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: allow a wrap-margin

The location of the first wrap-margin tag is remembered, and any
subsequent line wrap is wrapped to that offset.

This is used to wrap subjects for notmuch message summaries.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: messages in visible thread should not disappear.

While a thread is visible, background refresh should not cause messages
to disappear - e.g. if I archive one and then a refresh happens.
They should only disappear when I re-visit the thread, or when I
explicitly request a refresh with '='.

So keep track of that explicit request, and when not present but the
query is open, preserve all 'True' matched values.

Signed-off-by: NeilBrown <neil@brown.name>

python: avoid buffer overflow in LOG()

Due to using and unsigned int, some the tests where were bad.

Signed-off-by: NeilBrown <neil@brown.name>

complete: allow an attribute to be requested.

Rendering a fill line is slower than just getting an attribute.
So getting the (new) format:plain attribute is preferred there
it makes sense.

So allow render-complete to be given an attr to use, and do that for
file completion.

Signed-off-by: NeilBrown <neil@brown.name>

render-format: support format:plain attribute.

"format:plain" allows a caller to get the content of a line without any
markup and so without all the overhead of checking for markup.

Signed-off-by: NeilBrown <neil@brown.name>

linefilter: don't cause so much damage

Setting damage-view requires the whole doc to be reassessed, which is
slow for large directories.

It isn't clear why this is needed, so remove it for now.

Signed-off-by: NeilBrown <neil@brown.name>

complete: return all of chosen line

We currently only return the remainder of the chosen line from the
cursor.  So if the cursor has been moved to the right, the result is
wrong.

Need to move to start of line.

Signed-off-by: NeilBrown <neil@brown.name>

qprint: don't count flushed lws is reported content size

The content callback reports how many bytes/chars were used.
The lws flushed has already been reported. So don't report it again.

This corrupts a qp file when there is a space before an '='.

Signed-off-by: NeilBrown <neil@brown.name>

Update some copyright dates.

I wonder if these dates really mean anything..

Signed-off-by: NeilBrown <neil@brown.name>

render-format: remove focus arg from next_line()

next_line() doesn't use focus, so don't require it.

Signed-off-by: NeilBrown <neil@brown.name>

render-complete: fix memory leak.

We allocated this but never freed it.

Signed-off-by: NeilBrown <neil@brown.name>

compose-mail: support forwarding emails as attachments

The command 'z' or 'F' with a prefix arg will forward as an attachment.

Signed-off-by: NeilBrown <neil@brown.name>

Allow a line boundary to be reported by the document.

Rendering renders up to a line boundary.  Usually a newline, but the doc
can say where it is.  This allows multi-part to put a boundary between
parts, in case a part contains garbage.

This removes some blank lines in email messages -  nice.

Signed-off-by: NeilBrown <neil@brown.name>

email-view: be more selective of alternates.

Rather and selecting the first among alternates, select the last that we
understand, but avoid html unless there is no alternative.
This is more standards-compliant, and allows text/calendar to be easily
seen.

Signed-off-by: NeilBrown <neil@brown.name>

mail-view: move text markup away from visibility setting.

Marking up text is quite separate from setting visibility.  So move
these pieces of code apart.

Also move the 'dup' of the start mark into the code that needs it.

Signed-off-by: NeilBrown <neil@brown.name>

email: add parsing of calendars

Basinc info is extracted from calendar.  Importantly, the time is
displayed in the local timezone.

Signed-off-by: NeilBrown <neil@brown.name>