AI божевілля

Раніше ми думали, що в майбутньому роботи прибиратимуть вулиці, а людина займатиметься творчістю. А тепер майбутнє настало, але в ньому роботи займаються творчістю, а людина прибирає вулиці. Це буде незвичайний текст для мене. Зазвичай я пишу про якісь технічні аспекти Business Central, віддаю перевагу використанню мови програмування та технічного аналізу. Ця стаття ж буде більш загальною роздумом і моїм баченням AI в цілому.

Ідея про AI зовсім не нова, письменники-фантасти вже кілька сотень років пишуть про розумні машини та штучний інтелект. А перші працюючі нейронні мережі з'явилися аж у 1950-1960-х роках! Але чому тема стала такою гіповою в останні роки? Насправді велика заслуга в цьому належить OpenAI. Їхня робота та випуск ChatGPT у 2022 році у загальний доступ створили нову хвилю інтересу з боку людства. Звичайно, і до того ця тема періодично була на слуху, візьміть хоча б символічну подію для AI — впевнену перемогу AlphaGo над Lee Sedol у 2016 році. Або те, що AlexNet у 2012 році показала кращий результат у розпізнаванні зображень. Водночас тема AI повна спекуляцій, мовляв, дуже скоро нас усіх замінить AI і так далі. Оптимісти чекають появи AGI протягом п'яти років, а песимісти чекають, коли їх замінить машина на робочому місці.

Але ось що мене дійсно вражає — це інфляція уявлень про те, що ж насправді таке AI. Кожен новий практичний успіх у цій області відсуває межу нашого невігластва і підвищує наші очікування. Нам уже важче називати AI те, що ми використовуємо повсякденно. Для цього навіть існує термін «ефект AI». До того ж критики генеративних моделей стверджують, що це нічим не відрізняється від T9 auto complete, мовляв, з технології нічого не вийде. Так, звичайно, моделі підбирають наступні слова з певною ймовірністю, але роблять це на основі тисяч зв'язків і відносин між словами і об'єктами, закладеними в модель під час навчання. Це насправді схоже на те, як це робить людський мозок. Тому такі аргументи не є обґрунтованими.

Ніхто вже не може заперечувати реальність: Copilot, ChatGPT, Deep Blue, AlphaGo, Gemini, DALL-E, Midjourney, Sora та інші видимі та невидимі нам моделі AI вже увійшли в наше життя. На жаль, такий стрімкий розвиток у останні кілька років залишає широкий простір для спекуляцій, навмисних та не дуже.

Отже, чи скоро у нас заберуть роботу, нас замінять, нас викинуть, і все це зроблять системи AI? Я впевнений, що цього не станеться ще дуже довгий час, і ось мої роздуми чому я так вважаю.

Є одна річ, яку люди роблять дуже погано — це прогнозування майбутнього. Причому часто прогнози роблять мудрі та поважні представники людства, які володіють передовими знаннями тих епох, у яких вони знаходяться. Але все одно вони постійно помиляються, щоразу лише доводячи, що світ занадто випадковий для будь-яких прогнозів. А випадковості надто важко даються людському розуму для сприйняття. Звичайно ж, тут одразу приходить на думку математика, яка непогано справляється з імовірностями, але передбачити складні імовірності все ще не може через нескінченну кількість вхідних параметрів та кількості залежних одна від одної випадковостей, розмазаних по шкалі часу. Найкращі вчені досі не можуть вирішити найпростішу задачу про трьох тіл, що вже говорити про щось складніше. На приклад, ось кілька цікавих невиконаних прогнозів від експертів та фахівців

Нічого не нагадує?

Зовсім не хочу сумніватися у компетентності експертів, навпаки, хочу відзначити, що ці люди — абсолютні авторитети, і іноді їхні цитати просто виривають із контексту, наче ігноруючи всі інші роздуми. Частково такі слова навмисно виголошуються, щоб підігріти інтерес. Але так і працює людська любов до хайпу і сенсацій. Беруть найскандальніші та шокуючі думки, щоб транслювати чергову сенсацію: скоро програмісти будуть не потрібні! На жаль, громадськість воліє не заглиблюватися в питання, новини резонують одна з одною і лише збільшують цунамі безумства навколо AI.

Насправді ні в кого немає жодного розуміння, що буде далі. І справа навіть не в випадковостях (хоча вони також важливі). Все від нерозуміння того, як насправді працює AI і інтелект. Чому, наприклад, генеративні AI підбирають ті чи інші слова, як і чому ваги приймають ті чи інші значення. Немає ніяких гарантій, що при наступному кратному збільшенні розмірів LLM якість зросте пропорційно. Можливо, ми вже наблизились до певного плато, і якість буде зростати незначно. Наприклад, буде цікаво спостерігати за результатами нової dense LLAMA з 405B параметрів від Meta. Примітно, що її тренували на 15T токенів і найважливіше на 10M людських анотацій, здається, це найбільше число серед відомих, використовуваних для тренування LLM. Вона поки що в тренуванні.

Існує також проблема якісних даних. Як відомо, LLM вимагають великої кількості даних для навчання, і вони ще далеко не вичерпали запас даних. Але проблема в тому, що дані мають різну корисність, і кількість дійсно якісних даних обмежена.
Ще більш критичною проблемою є енергоспоживання. На даний момент навчання таких великих нейромереж вимагає просто величезної кількості електроенергії. При цьому ця проблема вже зараз впливає на розвиток AI, і рішення поки що не знайдено.

Це те, що стосується проблем розвитку AI, які всі разом вказують на те, що сповільнення розвитку дуже ймовірне, причому в найближчий час. Але навіть коли основні проблеми будуть вирішені, це не означає, що людей замінить AI, принаймні не одразу. Насправді частина професій просто трансформується в нові, раніше кучер керував упряжкою з кіньми, а тепер він шофер автомашини. Такі трансформації вже відбувалися багато разів на протязі людської історії. На зміну застарілим професіям приходять нові. Це нормальний і закономірний процес прогресу.

Візьмемо, до прикладу, професію software engineer, не так давно певні Cognition AI заявили, що їхня модель Devin AI це вже повноцінний full-stack developer. І навіть випустили відео, на якому про це розповів їхній CEO. Але насправді все не зовсім так, як описано, якщо спробувати їхній Devin AI, то ви знайдете, що він значно поступається тому ж chatGPT. Навіть більше, аналіз відео показує, що вони самі знають про проблему і навмисно мовчать про реальний рівень.

В принципі професія розробника програмного забезпечення вже давно є метою і без AI. Впевнений, що досвідчені розробники чують про це з заздрісною періодичністю. То Visual Basic спростить розробку до рівня школяра, то з low-code і no-code буквально кожна домогосподарка зможе створити продукт без розробників. Технології та системи множаться, а потреба в розробниках лише зростає! Мені здається, що професія розробника буде однією з останніх, які коли-небудь замінять. Адже навіть написання коду не є найважчою чи найбільшою частиною роботи. Основна проблема розробки — це трансформація бажань замовника в працюючий продукт, причому часто замовник сам не розуміє, чого хоче. Ми, розробники, саме займаємося тим, що формалізуємо функціональні вимоги за допомогою мов програмування.

Я все частіше натикаюся в інтернеті на код, сгенерований за допомогою генеративних моделей, в основному це поради запитуючим на таких ресурсах, як StackOverflow, LinkedIn, Twitter та інші. Часто цей код з запашком, іноді він просто помилковий. І це не проблема генеративних AI, це помилка людей, які бездумно копіюють "рішення", не вникаючи в проблему. В інтернеті і так мало корисного і якісного контенту. Таке враження, що через бездумне використання AI марний контент витіснить ті крихти, що залишились. Це стосується не тільки коду. Звичайно, поганого контенту і так повно, візьміть хоча б повне засилля низькоякісних текстів маркетологів на вебсайтах. Але це не означає, що комусь стане краще, якщо такого контенту стане більше. До речі, генеративні AI вже легко можуть створити тонну таких бездушних текстів на клік пальцем.

Отже, перше — це усвідомлення, що AI вже тут, і з цим потрібно рахуватися. Вам слід вирішити для себе: ви учасник чи спостерігач? Найкраще спокійно сприймати технологію як інструмент, певний помічник. Наприклад, генеративні AI можуть допомогти з рутинною роботою, виправити файл, написати регулярний вираз, підбити підсумки, підказати відповідь на запитання і так далі. Але результат обов'язково потрібно валідувати самостійно, системи можуть помилятися та галюцинувати.

Далі не зайвим буде розібратися в термінології, що таке AI, нейронні мережі, машинне навчання, генеративні AI, AGI, LLM.

Також важливо слідкувати за прогресом у сфері AI, щоб скласти більш повне уявлення про те, що відбувається та на якому рівні зараз знаходяться технології. Для цього я рекомендую читати та дивитися лідерів у галузі AI, вивчати блоги OpenAI, Microsoft, Meta, Google.

Окремо хочу відзначити https://chat.lmsys.org/?leaderboard — це місце, де різні генеративні текстові моделі змагаються одна з одною. За допомогою сліпого методу люди обирають найкращі відповіді, і на основі цього будується рейтинг моделей. Крім того, ви можете безкоштовно спробувати будь-яку модель прямо тут. Наприклад, чи чули ви про Claude 3 Opus від Anthropic? Це дійсно потужна модель, яка вже на рівні останніх релізів GPT-4 і, можливо, навіть краща у деяких завданнях! Загалом, lmsys — цінний ресурс для ознайомлення.