Hackathon: Agency Foundations, 8.–10.9.
Fixed Point
English
Jan Provazník
Agentnost je schopnost efektivně konat v prostředí (světě) za účelem dosažení svých cílů. Čím vyšší má AI agentnost, tím více bude vybírat akce, které maximalizují šance na dosažení jeho cílů. Agentnost je v kontrastu s bezmyšlenkovitým prováděním naučených algoritmů bez ohledu na efektivitu.
AutoGPT (skript měnící ChatGPT v agenta) se velmi rychle stal nejpopulárnějším softwarovým projektem na platformě GitHub a spousta společností momentálně zkoumá, jak použít agenty postavené na základě velkých jazykových modelů (LLM) k řešení různých problémů. Potíž je, že nemáme dostatečně dobré teorie agentnosti a jejich bezpečnosti ve vztahu k lidským hodnotám.
☝️ Navzdory mnoha pokrokům ve vědě stále nerozumíme, jak biologie, vývoj a kultura spolupracují na vytváření lidských hodnot, cílů a akcí směřujících k těmto cílům. Komplexní teorie agentnosti by vysvětlila, jak tyto faktory spolu souvisí – a zejména – jak podporovat a chránit individuální a kolektivní schopnost být efektivními agenty ve světě.
🔬 Výzkum pilířů agentnosti [Agency foundations research] (https://www.agencyfoundations.ai) se zabývá konceptuálními problémy kolem toho, jak AI systémy v sobě reprezentují agenty a agentnost a jakými způsoby mohou lidé ztrácet agentnost v interakcích s AI.
💪 Pokud chcete agentnosti AI systému lépe porozumět a zapojit se do důležitého výzkumu, který může významně ovlivnit bezpečnost AI, přijďte na výzkumný hackathon! 8.-10.9. 2023 se potkáme na adrese Koperníkova 6 v Praze.
🏆 Soutěžit budeme ve čtyřech kategoriích s mezinárodními týmy. V každé kategorii je se soutěží o $2 500 USD. Tým z Prahy jeden z posledních hackathonů vyhrál.
Kategorie jsou:
(1) mechanistic interpretability;
(2) RL/IRL;
(3) game theory;
(4) conceptual/governance.
Více o každé kategorii a o hackathonu se dozvíte zde.
K osobní účasti na pražském hackathonu se prosím přihlašte zde.
Tématu také věnujeme jeden týden v kurzu bezpečnosti AI, který startuje letos na podzim.
🇬🇧 🇬🇧 🇬🇧
Ever wondered how human agency, i.e. the capacity to (causally) control the world, will interact with increasingly powerful AI and future AGI systems which may also want to control the world? Do you question whether AGIs trained to focus on truthfulness or that are „intent aligned“ are sufficiently safe? Us too, come join our hackathon!