Srpnový newsletter 2024

Milí členové a příznivci efektivního altruismu v Česku,

Naši stážisti dokončují svou práci a my se připravujeme na podzimní akce. A že to bude opět nabité. Již příští týden se bude odehrávat odvážný pokus zjistit, zda myšlenky z našeho ekosystému rezonují s mladšími generacemi. Pokud ještě studujete nebo máte ve svém okolí čtivého přemýšlivého studenta či studentku, doporučte jim studentské setkání „Také přemýšlíte o..?“, kde se bude formovat iniciativa mladší racionalisticky a evidenčně založené generace. Může to být i jejich parta. 

Na druhou půlku září pak chystáme po velkém úspěchu další World-Café konferenci, tentokrát na témata spjatá se strukturálními a dalšími problémy technologií a automatizace. U facilitovaných stolů můžete probrat do hloubky možnou klamavost AI, jaké mechanismy mohou vést ke snížení nebo zvýšení důvěry a koordinace ve společnosti, nebo třeba co v různých oborech znamená mít kontrolu.

30.9. oslavíme jako každý rok spolkové narozeniny. Narozeniny jsou příležitost se neformálně potkat a vyměnit si novinky. V tomto týdnu opouštíme FixedPoint v Koperníkově a pravděpodobně nenalezneme do října nové prostory, tak prosím sledujte ohlášení místa v událostech v kalendáři, na Facebooku, našem webu, LinkedInu, atd.

Pokud hledáte práci, chcete si udělat přehled v důležitých tématech nebo rozšířit svou síť kontaktů o zajímavé lidi se společnými zájmy, je tento týden poslední možnost se přihlásit na EAGxBerlin. Můžete mě kontaktovat, pokud byste měli zájem o sdílené Airbnb s ostatními členy výpravy z Čech.

Hana Kalivodová

[email protected] | Calendly

Pozvánky na akce

• EA Hike: Senohraby, 1. 9. v 10:35, sraz na Hlavním nádraží v Praze
• Také přemýšlíte o..? (Čaj a diskuze pro studenty), 6. 9. od 17:00, Skautský institut v Praze, Staroměstské náměstí 4/1
• Měsíční meetup: K čemu používáme AI v každodenním životě?, 19. 9. od 18:00, místo bude upřesněno (Praha).
• World-Café konference: Kontrola, manipulace, koordinace, 24. 9. od 17:30, místo bude upřesněno, předpokládáme širší centrum Prahy.
• Narozeniny Efektivního altruismu Česko, 30. 9. od 18:00, místo bude upřesněno (Praha).
• Už jen do 4. 9. jsou otevřeny přihlášky na EAGxBerlin.

Michal Keda považuje za zajímavé

🎁 Efektivní darování

Video (16 min) od Ali Abdaala popisuje Giving Pledge, tedy výzvu, abychom pravidelně darovali peníze na efektivní charity. Ve videu vysvětluje základni EA principy, ale popisuje i proč osobně mu to dává smysl. Přijde mi to jako dobrý úvod, který je možná v osobní videoformě stravitelnější než některé neosobní materiály na stejné téma.

 ⚠️ Existenční rizika

Toby Ord, autor knihy Nad propastí, která vyšla před pěti lety a stala se jedním z hlavních materiálů v diskuzi o existenčních rizicích, prezentoval aktualizace ke svým postojům od dob jejího vydání. Konsenzus ohledně globální změny klimatu se zpřesnil a lze dávat ještě menší pravděpodobnost extrémním dopadům, které by měly potenciál vyhubit lidstvo. Ohledně hrozby nukleární války přináší horší zprávy. Mezinárodní tenze se v posledních letech spíše zvýšila, a aktuálně dokonce probíhá vojenský konflikt na území jaderné velmoci. Hrozí riziko zvyšování počtu jaderných zbraní a zároveň instutice, které se historicky podílely na jejich omezovaní, jsou ještě více upozoďovány. Jeho aktualizaci ohledně biorizik a AI si můžete přečíst v članku nebo kouknout na přednášku.

Lidé z 80,000 Hours vytvořili profil pro riziko nukleárního konfliktu. Jak jsem psal výše, problém se zdá být zvětšující se a zároveň zanedbávanější. Zároveň různé dotazníky a forecasteři dávají desítky procent šanci, že toto století bude jaderný konflikt, případně plnohodnotná jaderná válka, která může mít dopad až na miliardy lidí. Nejhorším aspektem se nezdá být nutně přímé ztráty na životech či radiace, ale hladomor způsobený nukleární zimou. Nicméně je třeba říct, že jak předpovědi pravděpodobnosti konfliktu, tak studie popisující jeho případné dopady, jsou nejisté a spíše méně robustní.
Pokud přemýšlíte, na jaký problém může mít vaše práce největší pozitiví dopad, v žěbříčku 80,000 Hours je tato oblast aktuálně zařazena na třetí místo po hrozbách umělé inteligence a extrémní pandemie.

☑️ Reality check

Report o konci Center for Effective Aid popisuje, jak se opakovaně nedaří zákonodárce přesvědčit, aby jejich země dotovala zahraniční rozvojové projekty. CEAP se snažil komunikovat se zákonodárci, a přestože se dokázali dostat do jednacích místností a mluvit s vysoko postavenými představitelemi, reálné dopady nebyly žádné. Rozhodli se proto tuto iniciativu ukončit.
Nikoho nepřekvapí, že zahraniční pomoc není považována za něco, co přinese voliče. Zajímavější postřeh může být, že levicoví představitelé neměli rádi rámování pomoci jazykem efektivity a nizkých nákladů, čemuž pravicovější politici sice rozuměli, ale o to víc jim bylo jedno řešit chudé země daleko.

Poetické okénko

Většinou doporučuji texty, občas videa a ještě méně podcasty. Poezie tu ještě nebyla. A pravděpodobně už nebude, tak jí dejte šanci 🙂

PROGRAMY A WORKSHOPY

• Talos Fellowship je 8týdenní online program zaměřený na politiku EU v oblasti AI, po kterém následuje 7denní summit v Bruselu a 4-6měsíční stáž v evropském think tanku. Stipendium zahrnuje individuální koučink a finanční podporu pro rozjezd kariéry v oblasti technologické politiky. DEADLINE 14.10. 
  • Talos Network je organizace zaměřená na rozvoj talentů pro kariéru v oblasti politiky AI v Evropě s cílem snížit rizika spojená s pokročilou AI.
• Impact Accelerator je bezplatný, 6týdenní program pro zkušené profesionály zaměřené na dopad, kteří nepracují v roli s vysokým dopadem. Cílem je poskytnout nástroje k dosažení smysluplného dopadu. DEADLINE 5.9.
• BlueDot impact opět nabízí biosecurity course. Naše lokalizovaná verze má také otevřenou registraci a startuje v říjnu. DEADLINE 15. 9.
• Gergő Gáspár z EA Hungary napsal článek na EA foru o iniciativě zaměřené na vytvoření centra pro bezpečnost AI v Bruselu, s cílem podpořit výzkum a politickou práci. Pokud máte relevantní odborné znalosti a zájem se zapojit, jste zváni k podání přihlášky a podpoře tohoto projektu.
• AI Safety Incubation Program – tento program je navržen tak, aby urychlil růst začínajících i zkušených zakladatelů*ek a organizací v rané fázi a pomohl jim pokročit v oblasti bezpečnosti AI. Program je otevřen jak pro neziskové, tak ziskové společnosti. DEADLINE 3. 9.
• High Impact Professionals otevírá přihlášky na bezplatný šestitýdenní Impact Accelerator Program, který pomáhá zkušeným profesionálům*kám zaměřeným na dopad získat potřebné nástroje a znalosti k dosažení významného vlivu a podniknout ihned konkrétní kroky. DEADLINE 5. 9.
• Ambitious Impact (dříve Charity Entrepreneurship) právě otevřel přihlášky na několik programů, které mohou zásadně ovlivnit vaši kariéru:
  • Charity Entrepreneurship Incubation Program vás připraví na založení neziskové organizace s vysokým dopadem.
  • Founding to Give Program vás naučí, jak založit ziskový podnik s cílem darovat velké sumy peněz na charitu. 
  • Research Training Program pomáhá rozvíjet výzkumné dovednosti pro dosažení pozitivního dopadu.
• Effective Altruism Virtual Programs budou pořádat další kolo virtuálních programů po dobu 8 týdnů, od 30. září do 24. listopadu. Úvodní program Efektivního altruismu je v podstatě totožný s naším vlastním kurzem, na který se můžete přihlásit zde. Nicméně In-Depth EA Program, který se zabývá složitějšími otázkami, je skvělá příležitost jak si prohloubit znalosti o efektivním altruismu a seznámit se se světem komunitou. DEADLINE 8. 9.
• ML4Good Europe nabízí bezplatný 10denní bootcamp v březnu 2025 zaměřený na deep learning a bezpečnost AI. Program zahrnuje peer-coding, odborné přednášky, recenze literatury a praktické projekty.  DEADLINE 1. 9.
• Úřad OSN pro otázky odzbrojení v Ženevě nabízí neplacenou stáž zaměřenou na aktivity spojené s odzbrojením. Stážista bude pomáhat s přípravou oficiálních dokumentů, vedením záznamů a podporou různých konvencí, jako je Konference o odzbrojení a Úmluva o biologických zbraních. Stáž je na vstupní úrovni DEADLINE 27.9.

Stále otevřené příležitosti z minulých newsletterů

• Existential Risk Observatory nabízí Research internship – „How to pause AI“.
• CHAI nabízí Research Fellowship.
• Rethink Wellbeing otevírá přihlášky do svého programu, jehož cílem je zvýšit vaši psychickou odolnost a produktivitu spolu s komunitou podobně smýšlejících lidí. Probíhá od začátku léta.
• Mid-Career Biodefense Bootcamp Fellowship s předními odborníky biosecurity a policy v této oblasti. Remote + 3denní workshop ve Washingtonu.
• Foresight Institute’s AI Safety Grant Program je otevřen pro přihlášky v oblastech neurotechnologických přístupů k bezpečnosti AI; bezpečnosti, kryptografii a doplňkových přístupů pro informační bezpečnost a bezpečných a prospěšných multipolárních scénářů AI. – DEADLINE 30. 9.
• Justin Shovelain hledá výzkumníka v oblasti strategie a implementace AI governance. Podle popisu se jedná o vstupní pozici v oboru AI safety. Minimálně byste měli znát obsah semináře o AI safety; Tallinn, Estonsko.
• The Future of Life Foundation – Project Lead/Founder – Windfall Trust
• Charity Entrepreneurship nabízí pozici Director of OutreachAI safety
• Future of Life Institute nabízí následující pozice, kromě toho má také otevřený formulář na Rolling Applications:
  • AI Compute Security & Governance Technical Program Manager
  • Multilateral Governance Lead
  • Video Producer 
  • Content Writer and Researcher 

• Constellation nabízí několik operations pozic v Berkeley, Kalifornii
  • Program Manager
• Meta nabízí pozici Postdoctoral Researcher FAIR (PhD), AI Security 
• Le Centre pour la Sécurité de l’IA (CeSIA) (nezisková organizace se sídlem v Paříži, která si klade za cíl podporovat odpovědný rozvoj umělé inteligence prostřednictvím advokacie, výzkumu a vývoje a podpory aktérů v ekosystému umělé inteligence)  nabízí dvě pozice v Paříži:
  • Research Engineer, Technical Project Manager, Benchmarks for the Evaluation of LLM Safeguards
  • Head of Policy
• AI safety Institute v rámci britského ministerstva pro vědu nabízí pozice v oblasti AI safety
  • Research Scientist / Research Engineer – General Application
  • Evals Technical Programme Manager & Strategy Lead
  • Cyber Security Researcher 
  • Research Scientist – Safety Cases
  • Research Scientist / Research Engineer – Narrow AI Tools for Bio-Chem
  • Research Scientist / Research Engineer – Cyber Misuse 
  • Research Scientist / Research Engineer – Safeguards, Controls, & Mitigations
  • Research Scientist / Research Engineer – Autonomous Systems
  • Senior Prompt Engineer
  • Senior Software Engineer

• Future matters nabízí pozici Strategy Consultant in AI safety and biosecurity
• Elicit nabízí pozici Machine Learning Engineer
• Centre for the Governance of AI nabízí následující pozice:
  • Research Fellow
  • Research Scholar (General)
  • Také mají otevřený formulář Expression of interest na pozici Research Assistant.
  • Executive Assistant to the Director
• FAR AI – operations, komunikace, inženýrství, výzkumný pracovník a další pozice (remote/Berkeley, průběžné přihlašování), také mají otevřený formulář Expression of interest na pozici Research Engineer.
  • Business Operations Manager
  • Coworking Space Manager
  • Head of Events (Safe AI Forum)
  • Executive Assistant
  • Head of Programs (Events and Communications)
  • Technical Communications Specialist (Expression of Interest)
  • Head of Engineering
  • Research Engineer (Expression of Interest)
  • Research Scientist
  • Technical Lead
• Anthropic hledá výzkumníky na pozice v AI safety. Pozice jsou převážně v USA, ale nabízejí i několik remote pozic nebo pozice v Londýně.
• Charity Entrepreneurship – Director of Outreach (průběžné přihlášky)
• METR (dříve ARC Evals) hledá náročné úkoly pro agenty LLM. Jsou vítány příspěvky s nápadem na úkol, specifikaci a implementaci (s odměnou ve výši 20 $, 200 $ a 2000–4000 $, respektive až 4000 $). V případě předložení zajímavých úkolů můžou nabídnout plný úvazek. Nedávno byl na toto téma hackathon, kterého se zúčastnilo i několik lidí z ČR a dotáhli svůj nápad až k implementaci. 
• Atla – Alignment Research Engineer, Londýn
• Sage hledá člověka na programování a design “visual explainers“ pokroku a rizik umělé inteligence. 

Biosecuriy

• BlueDot Impact nabízí pozici Biosecurity Teaching Fellow, který bude facilitovat jejich Biosecurity semináře. Deadline 15. 9.
• Zde je databáze pracovních pozic na začátku kariéry pro budování dovedností souvisejících s biologickou bezpečností.
• Convergent Research hledá Head of Sequencing/Senior Scientist. Convergent Research se zabývá výzkumem v pandemické připravenosti, lokace je New York. 

Forecasting

• Futurersearch – organizace kombinující forecasting a AI – nabízí tyto pozice: Full-Stack Software Engineer, Research Engineer a Research Scientist. 
• Forecasting Research Institute nabízí několik pozic z různých oblastí.
  • Part-Time Research Assistant
  • Part-Time Content Editor
  • Data Analyst
  • Research Analyst

Animal welfare

• V databázi Tälist můžete najít pracovní pozice v oblasti alternativních proteinů.

Ostatní

• METR (dříve ARC Evals) nabízí několik pozic:
  • Head of Operations
  • Machine Learning Research Engineer/Scientist
  • Senior Machine Learning Research Engineer/Scientist
  • Task Bounty
  • Také mají otevřený formulář Expression of interest.
• Epoch AI nabízí nové pozice ve výzkumu:
• • Question Writer, Math Benchmark
  • Také mají otevřený formulář Expression of interest.

• GiveWell nabízí pozice: Head of Fundraising Operations and Analytics, Manager, Talent Acquisition, Senior Accountant
• Don Efficace nabízí pozici Research Program Manager
• The Nuclear Threat Initiative nabízí pozice:
• Program Officer/Senior Program Officer, Nuclear Materials Security (NMS)
• Senior Program Officer/Director, Global Biological Policy and Programs (NTI | bio), Focus: Biotech Governance
• Sage hledá člověka na navrhování, budování, rozvíjení a hodnocení jejich forecastingových nástrojů.
• Centre for Effective Altruism nabízí pozici Head of Operations, Deadline 16.9.

Open Philanthropy poptává grantové přihlášky v následujících oblastech:

• The University Organizer Fellowship
• Career development and transition funding
• Projects to grow our capacity for reducing global catastrophic risks
• Course development grants
• The translation of web content related to AI safety, global catastrophic risks, effective altruism and adjacent topics

Dobrovolnické pozice

• AI Safety Quest hledá dobrovolníka na pozici manažera programu Navigation Call, který povede jejich klíčovou iniciativu zaměřenou na zlepšení zákaznické zkušenosti, rozvoj týmu dobrovolníků a optimalizaci procesů. Tato dobrovolnická pozice na dálku na dálku je ideální pro někoho s výbornými organizačními a komunikačními dovednostmi. DEADLINE 26.9.
• AISafety.com hledá remote dobrovolníky na podporu různých projektů zaměřených na bezpečnost AI. Pozice jsou otevřeny pro všechny úrovně dovedností
• AI Standars Lab nabízí možnost zapojení s minimálním časovým závazkem (2–5 hodin týdně) prostřednictvím recenze a komentování existujících příspěvků ke standardům, na jejichž vývoji laboratoř pracuje. 
• Dobrovolnická pozice podpory výzkumu – Reducing the risk of Great Power War
• Allfed, organizace zabývajicí se zvyšováním připravenosti na globální katastrofy nabízí dobrovolnické pozice. Z Česka pro ně dobrovolničilo již několik lidí, pro více informací můžete napsat na [email protected]. 

Konference EAG

• EA Global: Boston 2024 (1.–3. 11. 2024) (deadline 20.10.)
• EAGxIndia (19-20.10 2024)
• EAGxAustralasia (22-24.11. 2024)

Jiné konference

Care Conference 2024 (animal welfare), Varšava, 12–15. 9.