Tehisintellekti ohutus, mõistlikkus või sõbralikkus, kuidas keegi nimetada tahab. Üks põhiideid on implitsiitne mittepööratavate tegevuste vältimine v.a eksplitsiitselt lubatud juhtudel. Eesmärgisüsteemi osas operantsed (eelistatud väärtuseni viivad) eesmärgid, mitte maksimiseerivad eesmärgid. Seega eesmärgisüsteemil kaks osa: õigused + seadistuspunktid. Lisaks riskide hindamise ja mõtlemise piiranguid puudutavad küsimused.
Osa faile olen tõstnud ka siia wikisse ning nende tekstitäiendused on juba ainult siin.
PDF-failid ja nende märgistatud ja kommenteeritud versioonid on ainult seal ülaloleval aadressil.
http://roland.pri.ee/wiki/doctor_why_how - Kuidas teha
Üks oluline probleem aga jääb - see on tehisintellekti enesepettuse probleem, mis muutub raskeks seoses tähelepanuga. See paistab mulle hoopis kõrgema taseme probleem kui lihtsalt need mõtlemise vead, mis tulenevad info ebapiisavusest.
---
Sarnasel teemal ja kattuva ideega on üks päris põhjalik artikkel. Viide artiklile ja minu arutelu on siin:
---
Natuke veel taustainfot ja viide minu doktoritöö idee algallika Adam Eppendahli kodulehele:
On 5/31/07, Chuck Esterbrook <
chuck.esterbrook@gmail.com> wrote:
> On 5/29/07, Richard Loosemore <
rpwl@lightlink.com> wrote:
> > Instead, what you do is build the motivational system in such a way that
> > it must always operate from a massive base of thousands of small
> > constraints. A system that is constrained in a thousand different
> > directions simply cannot fail in a way that one constrain by a single
> > supergoal is almost guaranteed to fail.
>
> Richard, these ideas (including your Oct 2006 post) are interesting.
> No angst or boredom here.
>
> But my next question is: How does one go about building the "massive
> base of thousands of small constraints"? Does each constraint need to
> affect the system in a slightly different manner? If so, are these
> hand coded, generated, ...?
See the "Reversibility" section.
Using reversibility the "goals" or "needs" of AI are more tightly
constrained with permissions. Constraints need no handcoding, only
permissions do, somewhat similarly to goals.
As I see it, it is more appropriate to implement using control theory
(or operant learning and behaviour in models of natural thinking) than
using reinforcement learning.
Its somewhat unrefined, but it looks like something orthogonal to
usual approach to goal systems.
---
If your Singularity will not start, you may be able to start it in safe mode.
- thursday, may 24. 2007, Broca @ #sl4 @ irc.lucifer.com / irc.sl4.org
