rexel: remove abort() calls not in #ifdef DEBUG

if DEBUG is set, it is OK to abort.  If not, don't.

Signed-off-by: NeilBrown <neil@brown.name>

Mark various 'static' values as 'const'.

Anything that can be const now it.

 git grep -nH 'static[^(]*[=;]' | grep -v const | grep -v 'struct map'

can help find things that should be const, or maybe should put moved to
the 'editor' pane.

Signed-off-by: NeilBrown <neil@brown.name>

TODO.md: various revisions.

Remove things that are done
Choose things to do next
give more detail for mergeview changes

Signed-off-by: NeilBrown <neil@brown.name>

autospell: use pane_too_long() to limit background work.

Rather than an arbitrary count limit, use pane_too_long() to limit how
much work is done in the background.

But keep the low limit when TESTING so the test has something
interesting too see.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: use pane_too_long() to break up line count

Rather than arbitrary numbers of lines to be counted before we take a
break and check for user activity, use pane_too_long() to decide when to
drop a mark, and when to take a break.

Also reduce the default and minimum timeout to 100ms which should help
interactivity a bit.

Signed-off-by: NeilBrown <neil@brown.name>

Use event:on-idle for short-timeout background tasks.

Background tasks like linecount, spell check, and make parsing now use
the background queue of event:on-idle

Signed-off-by: NeilBrown <neil@brown.name>

Drop the on_idle- multicall.

event:on-idle is doing all on-idle stuff, so we don't need the on_idle-
multicall any more.

Signed-off-by: NeilBrown <neil@brown.name>

editor: use event:on-idle to delayed-free the store.

Now there is nothing for editor_clean_up to do, so discard that.

Signed-off-by: NeilBrown <neil@brown.name>

editor: use event:on-idle to free marks.

Delayed-free of marks now happens with event:on-idle

Signed-off-by: NeilBrown <neil@brown.name>

editor: move delayed free of panes to event:on-idle

Schedule an on-idle event when we queue the first pane to free, and use
it to free them all.

Signed-off-by: NeilBrown <neil@brown.name>

discard editor-on-idle in favour of event:on-idle.

editor-on-idle calls now use event:on-idle.  Priority 1 for closing
panes, priority 0 for other things.

Signed-off-by: NeilBrown <neil@brown.name>

Call pane_refresh() from event:on-idle

pane_refresh is now integral to core-pane - external code cannot call it.

When the root pane is first damaged, we schedule the refresh to happen
on-idle at priority 1 - before any background task.

Signed-off-by: NeilBrown <neil@brown.name>

event: add on-idle support

The event: library now supports event:on-idle.

There are 3 priorities.

2 - fast immediate action, typically freeing memory that might be been
    in use during previous action
1 - slow immediate action, typically pane_refresh()
0 - slow background action, only one of these is performed per loop

Signed-off-by: NeilBrown <neil@brown.name>

libevent: split out run_list()

I'll want more places that run a list of events, so split out this
functionality.

Signed-off-by: NeilBrown <neil@brown.name>

libevent: split event_list

Rather than keeping poll events on the same list as events handled by
libevent, split the list in two.
This means we don't need POLL_FD to identify the poll events.
That, combined with the use of event_get_fd() means we don't need to
store the fd in the event struct.  Just the 'num' is sufficient.

Signed-off-by: NeilBrown <neil@brown.name>

libevent: minor fixes.

1/ event_del can be called unconditionally.  It is a no-op if it has
already been called.
2/ missing event_free calls.

Signed-off-by: NeilBrown <neil@brown.name>

libevent: don't store mseconds separate from num.

When mseconds is used it is alway identical to num.
So just use num.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: when moving among messages, set focus to query pane.

Leaving the focus in the message pane feels clumsy.  So let's try always
moving back to the query pane.

Signed-off-by: NeilBrown <neil@brown.name>

emacs: add CX-< and CX-> to scroll left or right.

The first CX-< switch from wrapping to no-wrapping.  Then it shifts 8
units at a time, unless a number is given.

Signed-off-by: NeilBrown <neil@brown.name>

lib-url: only follow link one it has been shown in message-line

The first time a url is activated, only display it and don't follow it.
The second time it can be followed.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: add "Activate" support.

When render-lines gets "Activate" it looks up the attrs at the mark and
if there is an active-tag, it calls "Activate:tag".

This makes email:select unnecessary.

lib-url uses Activate to respond to K:Enter

Signed-off-by: NeilBrown <neil@brown.name>

Change "Mouse-Activate:" to simply "Activate:"

I want to activate buttons with the keyboard, so change the command to
drop the "Mouse-" prefix.

Signed-off-by: NeilBrown <neil@brown.name>

Introduce lib-url

lib-url isolates the url-handling: finding in a document, adding
markup,a and responding to that markup to highlight and activate.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: when async needs a full count - do it.

If async linecount is asked to find a mark, and we don't have a full
line count, then we aren't going to find the mark (because async
handlers forget about it).
So be honest up front and just forget about it.  This ensure
consistency.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: make it possible to disable

Make it possible to disable linecount ...  because sometime it is too
slow.

Also make it easier to tune the timing.
And slow it down a bit because it sometimes impacts usability.

Signed-off-by: NeilBrown <neil@brown.name>

doc-email: ensure doc:get-boundary skips invisible parts

A boundary must be at the start of a VISIBLE part to be useful.

Signed-off-by: NeilBrown <neil@brown.name>

markup: do boundary checks *before* getting a char.

If we do the boundary check after, we drop a character.

Signed-off-by: NeilBrown <neil@brown.name>

Change rules for mark passed to doc:content

The 'start' mark passed to doc:content must not now be changed.
Some handlers did change it, others didn't.
Several callers didn't want it changed (so passed dup), a few didn't
care.

Due to the extra chars that can be passed, it might be awkward to return
a precise mark, and the caller might not care.
So leave it up to the callback to report any marks needed, and always
dup the mark before moving it.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: enable for make-viewer

I don't remember exactly why it was a problem to line-count make-viewer,
possible because make out for the kernel could get very big.
But as linecount is faster and better, re-enable it.

Signed-off-by: NeilBrown <neil@brown.name>

tests: 02-grep failure should not be fatal.

02-grep has been flakey for a while and now it never succeeds.
Fix it a bit so it sometimes passes, and make it non-fatal until I can
fix the problem.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: use extra-text in doc:content

When a doc:content callback is given extra text, use that to expedite
linecount.
This makes it even faster, and justifies doing more work per iteration
for async counting.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: use doc:content to scan more quickly.

Rather than calling doc:char repeatedly, use doc:content.  It is faster.

Signed-off-by: NeilBrown <neil@brown.name>

doc: fix doc_default_content

We were ignoring ->mark2 (endpoint) and sending a CHAR_RET() rather than
a char.

Signed-off-by: NeilBrown <neil@brown.name>

render-format: fix off-by-one in doc:content

When an end mark was given we didn't collect the last character.

Signed-off-by: NeilBrown <neil@brown.name>

format: handle line-count properly for format2

There is along standing bug that the linecount appears to be elevated in
a formatted view anywhere but at the start of the line.
Also word counts don't work properly.

Now that we can attach line counting to a view, this can be fixed.

Also: allow view-based linecount to be disabled by parent.  It is
notably slower and for notmuch search view it is too slow.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: enable async line-counts

When requested, linecounts progress about 300 lines at a time with only
the first 1000 done sync.  The rest happen on a timer.

Don't test the async line count though - it is too hard to match the timing.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: intro option of sync/async counting.

lib-view doesn't need a completely up-to-date number.  Other callers do.
So add a flag to support this.
CountLines will always be async when no mark is given.
When a mark is given, only async if num==1
CountLinesAsync is always async.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: fix need_recalc()

I was testing the wrong thing - or freeing the wrong thing.

If a range is small - clear the first mark and discard the second.  Then
from the first to whatever comes next will be recalculated.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: ensure counts are uptodate for goto-line

We need fully up-to-date counts for goto.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: optimise when no counting needed.

If a mark wasn't passed, and the pane count is up to date, there is no
need to do anything, so optimise it all away.

Signed-off-by: NeilBrown <neil@brown.name>

doc-email: support linecount

doc-email-view now intercepts linecount requests and ensures they happen
against the view, rather against the raw document.

Signed-off-by: NeilBrown <neil@brown.name>

doc-email: be more subtle with default visibility.

We don't want large (base64) attachments to be visible by default, nor
do we want transformations to appear too early.
So mark all spacers, the orig-headers, and the orig first part as
visible, and everything else invisible.

This will, for example, stop LineCount from counting too much of it if
it happens to start before final visibility is configured

Signed-off-by: NeilBrown <neil@brown.name>

linecount: ensure we start a visible beginning of document

The document we are counting might be a 'view' and the early lines might
be clipped off.  So use doc:set-ref to move to the beginning as visible
from the focus.
Also simplify the code as two conditions each have exactly the same result.

Signed-off-by: NeilBrown <neil@brown.name>

Always call CountLines on the focus

A view might hide some lines, and might intercept CountLines so exclude
those lines from the count.
As a line count is a particular view on the file, it should be
consistent with other views.
So always use the current focus when calling CountLines.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: improve notify:replaced handling

If the region being replaced is large, me might need to discard marks
that are in it.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: simplify count_calculate()

There is no need to make a special case of m being after end, because m
is always at the start of the file.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: remove 'start' arg from count_calculate()

We always pass NULL for the 'srart' to count_calculate().  So remove all
code that only runs if start != NULL, and remove 'start'.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: don't pass mark to doc:CountLines at startup

When we create line CountLines pane, we jut want to initialise the line
count.  So don't pass in ->mark.  It is meaningless and is ignored.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: ignore Notify:Clip

We cannot possible get a Notify:Clip message, so don't try to handle it.

Notify:Clip comes from a child, and we don't have any.
The only commands we can get are ones we have explicitly requested from
the doc.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: use a more natural means of registering Notify:Close

Rather than overloading doc:Countlines, use the normal doc:request:
to register for Notify:Close.

Signed-off-by: NeilBrown <neil@brown.name>

line-count: limit ranges based on words and chars as well as lines.

Increase the gap between markers from 50 to 100 - just because.
Also limit to 1000 words or 10,000 chars, just in case there are
some very big lines.

Signed-off-by: NeilBrown <neil@brown.name>

python: change how modules are loaded into the interpreter

Each edlib module is now a separate python module.
They must all "import edlib" and can find the editor pane in
"edlib.editor"
They must also import any modules they use.

Signed-off-by: NeilBrown <neil@brown.name>

python: discard python-load

The "python-load" command has never been used, and might not work.
Discard it until I have a reason to resurrect it.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: don't block in nc_external_viewer

Rather than blocking the whole editor while waiting for use to
copy/paste for plain-text screen, set a flag to say that the display is
suspended, and resume on next key stroke collected in the normal way.

Also timeout after 30 seconds.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: reply to first VISIBLE text part

Instead of choosing first text part, choose first visible text part for
interpolating into reply.

Signed-off-by: NeilBrown <neil@brown.name>

input: remove unnecessary 'safe' annotations.

Marking local vars as 'safe' makes no sense.

Signed-off-by: NeilBrown <neil@brown.name>

emacs-search: guard against ->target closing too.

If ->target closes, we should get closed first.  But we shouldn't really
depend on that, so explicitly catch the close notification and handle it.

Signed-off-by: NeilBrown <neil@brown.name>

emacs-search: get notification when panes close.

If we hold a reference to a pane, we must get Notify:Close notifications
from it, and clear the pointer if that happens.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: improve handling of "%d quoted lines" marker

Clicking on the marker now stays on the line.  As few other bits aren't
quite perfect yet.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: don't accidentally make back-refs with impossible capnum.

If we try to make a backref with an impossible CAPture NUMber, it will
look like an invalid opcode, and rexel will abort() (which it
shouldn't...).  So make sure it doesn't happen.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: wait for thread_p

I wasn't waiting for this subprocess to exit.  It would sometimes hang
around as a zombie.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: convert html entities in URL.

I didn't realise that w3m put html entities in the URL - e.g. &amp;

Signed-off-by: NeilBrown <neil@brown.name>

TODO: small updates to v1.0 goal.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: revise priorities.

Discard priorities that aren't that important, and sort others into
small, medium, and large.

'Trivial' can be things that aren't mentioned elsewhere, should be
trivial, and should done first.  If not done first, copy to proper home.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: merge bugs into priorities.

All "Bugs" are now just "priorities", and exist both in that list, and
in the list for the relevant module.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: all current-priorities must be in correct section too

"current priorities" are now copied from where-ever.  Nothing should be
there that isn't somewhere else.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: move the [1] stuff.

Instead of using [1] for high-priority suggestions, just copy them into
the 'Current priorities' section.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: remove anything marked [X]

That which is done, is done.

Signed-off-by: NeilBrown <neil@brown.name>

Wait for processes we fork.

Keep track of the xdg-open processes we fork, and wait for them as
appropriate.

Also make sure we catch the correct TimeoutExpired except when a notmuch
search takes too long, so we can kill and wait for the process.

Signed-off-by: NeilBrown <neil@brown.name>

pdf,doc: mark urls.

Copy the url-marking code from notmuch as use it to mark urls in
converted pdf and doc.
I don't know that this is a good idea.. Let's see if I find it useful.

Signed-off-by: NeilBrown <neil@brown.name>

multipart: don't assume sub-panes never disappear.

If a part-pane sends a Notify:Close we REALLY mustn't touch it again.
So we must set the pointer to NULL.  Even though we start closing down,
something bad could happen.

I had a crash where the attempt to send "doc:closed" to all panes
crashed on one that had already been closed.

So remove the 'safe' marking, handle the fall-out, and set .pane to NULL
when told to.

Signed-off-by: NeilBrown <neil@brown.name>

tests: filter out duplicate "Display" lines.

The 02-grep often duplicates some Display lines, apparently at random.
I don't know why and it doesn't show a display bug.
So filter them out to avoid unnecessary test failure.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: Introduce word-wrap.

If word-wrap is set, make all spaces wrap-points, except at the start of
the line.
Enable this in email reading, and in mark-down.

Signed-off-by: NeilBrown <neil@brown.name>

Change rules for doc:render-line with mark2

When doc:render-line is called with mark2, this doesn't interrupt the
rendering, but simply reports (via ->num in the callback) the offset
where mark2 was found.

Now ->num is either negative, or the number of chars to process.
NO_NUMERIC is no longer relevant and is not tested for.

I think this is simpler as ->num and ->mark2 are not independent.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: fix cursor pos after early wrap.

If a line wraps before he end, due to an early wrap marker, the cursor
will appear where it would have been if the line had been truncated
rather then wrapped.

We need to detect when a "flush" stopped because if found a wrap marker,
and to adjust the cursor pos in that case.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: ensure attr lists always start/end with ','

Also make sure they *only* contains ",," at a location to pop back too.

Some of the code already put ',' at start, and most put ',' at end, and
some code depended on this more than others.
Make it more uniform.

Signed-off-by: NeilBrown <neil@brown.name>

mark: separate mark:moving from mark:arrived

The mark:moving notification was originally for when a specific mark
moved at all.
For b64 I extended it to also notify when *any* mark moved to a specific
mark.
This can cause illegal nested notification if a mark:moving handler
tries to move a (non-specific) mark.  That is bad.

So separate the two: Add mark:arrived for when a mark is moved to a
flagged marks.

Also make sure all new marks aren't flagged.  I invert the sense of the
flag and call it "MARK_FLAG_WATCHED".  This will be clear by default,
and only set once the (renamed) mark_watch() is called.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: filter out markup when extracting text

Add a doc:content overlay on w3m docs which strip out markup and convert
html &entities;

Signed-off-by: NeilBrown <neil@brown.name>

python: handle unterminated strings from doc-text

doc-text sends an unterminated string to the callback for doc:content.
Python doesn't handle this well.

So create a kludge:  If the key ends " unterminated", then use ->num2 as
a max length of ->str

Signed-off-by: NeilBrown <neil@brown.name>

compose-email: don't intercept doc:char

We only intercept doc:char to make the headers intangible.
Instead, catch mark:moving and keep point away from these.

Signed-off-by: NeilBrown <neil@brown.name>

markup: quote '<' when they are interpolated from attr

when map-attr provides a string to be interpolated, quote any '<' char
correctly.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: use mark:moving to avoid getting stuck in quoted lines

Currently the 'point' can get stuck in hidden quoted-line and 'up'
movements get lost.
Use mark:moving (which is always sent on 'point') to see when this
happens, and to escape.

Signed-off-by: NeilBrown <neil@brown.name>

display-xcb - silence "may be uninitialised warning"

gcc cannot tell that x and y are only used if 'src', and they are
initialised if 'src' is set.  So help it out.

Signed-off-by: NeilBrown <neil@brown.name>

pdf-to-text convert to delayed/async conversion

pdf-to-text now happens asynchronously on demand

Signed-off-by: NeilBrown <neil@brown.name>

w3m-to-text: convert to delayed/async processing.

If allowed, don't convert to text until requested.

Signed-off-by: NeilBrown <neil@brown.name>

doc-to-text: don't wait for conversion to complete.

If permitted by called, don't start the conversion to text until a
notification arrives.

This requires getting multipart to forward doc:replaced notifications.

Signed-off-by: NeilBrown <neil@brown.name>

doc-email: send a notification when a 'transformed' pane is made visible.

We don't really want to process attachments until asked.  So allow the
transform tool to be notified when it is time.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: ensure reply and similar clear unread and new

Now that "new" is being cleared less aggressively, make sure we clear it
when we reply to a message.

Signed-off-by: NeilBrown <neil@brown.name>

Move my personal configuration out of the git tree.

Have config.py load $HOME/.config/edlib/config.py, and move the config
that is specific to me into there.

Signed-off-by: NeilBrown <neil@brown.name>

introduce doc:append:...

doc:append: is similar to doc:set:, but the given value is appended to
the attr if it exists.
The value should start with a separator character, and this is removed
if it is the first item to be appended.

Use this to simplify setting of "view-default"

Signed-off-by: NeilBrown <neil@brown.name>

textfill: default fill:end-re to fill:start-re

The regexp for start and end of para are usually the same, so if end-re
isn't given, use the same as start-re.

Use this to simplify md config, and enhance it a bit.

Signed-off-by: NeilBrown <neil@brown.name>

text-fill: revert recent change when getting attributes.

Now the doc-attributes default to getting a pane-attribute, we don't
need the fall-back code in text-fill

Signed-off-by: NeilBrown <neil@brown.name>

doc: add default doc:get-attr which returns pane attribute.

Sometimes we want an attribute which can vary with location in the document,
but offen i satisfied with a document-wide value.
fill:start-re is a good example.

Provide a default doc:get-attr, which will be called if no attr can be
found at the specific location.  This returns a pane attribute is
possible.

Also ensure all current doc:get-attr function fall through if they
cannot find a value.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: add K-X to show the extra headers

Rather than requiring a mouse-click, use K-X to show the extra headers.

Signed-off-by: NeilBrown <neil@brown.name>

Update some copyright dates.

.. because ... why not?

Signed-off-by: NeilBrown <neil@brown.name>

C code - remove stray LOG() calls.

I don't think I want any of these.

Signed-off-by: NeilBrown <neil@brown.name>

python: remove stray edlib.LOG calls.

There debugging calls got left in..

Signed-off-by: NeilBrown <neil@brown.name>

handle text-fill in .md files better.

Enhance text-fill so that various style attributes can be on the pane
rather than on the character, and set pane attributes for markdown to
notice the starts of various paragraph types, particularly the various
list entries.

Signed-off-by: NeilBrown <neil@brown.name>

textfile: copy prefix from most recent line.

When wrapping just the last line of a para, copy the prefix from that
line to the next.  This improves stability for ad-hoc formatting.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: include local-time as an extra header

Determine timestamp in local time and add that as an extra header.
Also move thread-id to the end, so that all file names are together.

Signed-off-by: NeilBrown <neil@brown.name>