Конференция "Прочее" » AlphaZero - как работает??
 
  • Mastic © (05.01.19 11:08) [0]
    Есть кто-нибудь, кто сможет на пальцах объяснить принцип работы AlphaZero, которая вынесла даже Стокфиш?? Как я понял, там используются обучающиеся нейронные сети и не используется классический Шенноновский метод создания дерева перебора вариантов с минимаксом.
  • xayam © (05.01.19 11:16) [1]
    https://habr.com/post/343590/

    используется метод поиска монте-карло
    https://habr.com/post/282522/
  • ВладОшин © (05.01.19 17:23) [2]
    Стокфиш, на сколько знаю, последний раз играл версией 8.
    Потом, достаточно сомнительно, что АльфаЗиро нашла все начала, которые в Рыбке заложены как библиотека дебютов.

    Это ни в коем случае не сомнения, что Гугл сотворил сильнейшего игрока. Почему бы и нет, вполне мог. Но есть сомнения.

    Во-первых, почему не с 10й версией играла, во-вторых дебюты. Шипов говорил, что некоторые идеи прямо вот-вот, последние разработки теории.
    Т.е. допустим, что Альфа играет сильнее. Он сам додумал всю библиотеку?! Если бы он это сделал, имхо, он бы не проиграл ни разу. А он проигрывал, 6 поражений, 839 ничьих
  • xayam © (05.01.19 17:58) [3]

    > Во-первых, почему не с 10й версией играла

    насколько я понял новая версия играла то ли с 9 то ли с 10-й версией.
  • xayam © (05.01.19 18:00) [4]
    кстати у меня антивирус находит вирус на офиц.сайте стокфиша для 10-й версии
  • ВладОшин © (05.01.19 19:19) [5]
    не, в декабре матч из 1000 партий против 8й версии был
    Шипов еще говорил, что 10-ка некоторые моменты Альфы разгадала, когда он давал подумать ей
  • xayam © (05.01.19 19:32) [6]
    https://www.chess.com/ru/news/view/novaia-versiia-alphazero-razgromila-stockfish-v-matche-iz-1-000-partii
    "В дополнительных матчах новая AlphaZero победила "последнюю разрабатываемую версию" Stockfish почти с тем же результатом, что и в матче со Stockfish 8. В окончательной версии статьи указано, что AlphaZero играла против последней разрабатываемой версии Stockfish на 13 января 2018, то есть, Stockfish 9."

    вот написано что было сыграно сколько то партий с 9-ой версией с тем же результатом почти, правда без подробностей
  • ВладОшин © (05.01.19 20:09) [7]
    и там же

    Партия 2 с анализом Stockfish 10:
    Stockfish 8 vs. AlphaZero

    Че пишут..
  • xayam © (05.01.19 20:18) [8]

    > Че пишут..

    ну выходит с 9-й играл, а результата конкретного нет в виде партий не опубликовано,
    хотя известно что альфа выиграла и по времени еще тоже выигрывает
    при десятикратной разнице - значит и 10-ку обыграет скорей всего обыграет -
    разница "в классе" слишком большая
  • ВладОшин © (05.01.19 21:13) [9]
    6 дек. 2018 - разгромила Stockfish8

    AlphaZero играла против последней разрабатываемой версии Stockfish на 13 января 2018, то есть, Stockfish 9

    - > 13 января 2018 - Stockfish 9

    Что-то мне подсказывает, что январь идет перед декабрем.
    т.е. разгромив в январе 9ку, в декабре стала играть с 8кой?

    Сдается мне, что писатель статьи путается в показаниях. На кол, собаку!
  • xayam © (05.01.19 21:16) [10]

    > Сдается мне, что писатель статьи путается в показаниях

    не принципиально, главное играла и с ней
  • ВладОшин © (05.01.19 23:15) [11]
    смотря как смотря )
    Нейросеть это, конечно, гуд. Но без банального перебора и дебютов - о-оочень сомневаюсь что обошлось.
    Еще раз, уточню: Не сомневаюсь, что AZ побил бы 8,9 и даже 10. Очень может быть. Почему бы и нет.
    Но заявить, что перебор и дебюты не юзаются .. ну.. не знаю.
  • xayam © (06.01.19 00:36) [12]

    > что перебор и дебюты не юзаются

    почему? перебор есть и алгоритм Monte-Carlo Tree Search они вроде как декларируют.
    А дебюты выводятся нейросетью самообучением с нуля.
    Почему это невозможно?
  • ВладОшин © (06.01.19 01:21) [13]
    Ну раз перебор есть, то ладно )
    Не внимательно читал, значит

    Дебюты.. черт его знает, на самом деле. Может и можно вывести. Я только сомневаюсь, что они будут похожи на "человеческие". Но, в принципе, они и не показали базу дебютов AZ, которую он сам вывел (якобы)

    Одно из сомнений породил тот факт, что компьютер довольно часто ломал знаменитые задачи на мат в 4 и более ходов. Опровергал их, находил защиту.
    По идее, он должен опровергнуть и дебют. На каком-нибудь 7-8-9 ходе наказать противника своей "новинкой". Ну, если он сам это все вывел, такое должно быть у него.
  • xayam © (06.01.19 02:43) [14]

    > По идее, он должен опровергнуть и дебют

    не ну согласись в дебюте у людей сотни лет игр и всем понятные схемы
    быстрейшего развития и атаки уже понятны любому кмс,
    одной из "новинок" альфазеро на грани дебюта-миттельшпиля стала
    активация чернопольного слона белых на диагонали а1-h8  и одновременная жертва пешки g2 с открытием вертикали g для ладьи и долговременным давлением на пункт g7
    Эта тема во многих играх со стокфишем проскальзывает...
  • xayam © (06.01.19 04:14) [15]

    > одной из "новинок" альфазеро

    еще он любит задвигать крайние пешки в совокупности с фигурным давлением по центру,
    плюс очень любит "делать" белопольного слона черных "плохим", всячески ограничивая
    собственными пешками
  • ВладОшин © (06.01.19 10:12) [16]

    > любит задвигать крайние пешки

    ага, смотрел )
  • xayam © (07.01.19 17:02) [17]

    > ага, смотрел )

    думаю если пересмотреть все партии альфазеро можно еще что-то найти -
    так что новинки есть и стратегические в том числе
  • ВладОшин © (07.01.19 18:25) [18]

    > новинки есть и стратегические в том числе

    Прям на 5-6-7 ходе не видал. Конечно, видал только те, которые Шипов показывал. Может и есть новинки, конечно.
    Там предлагают скачать архив, вроде.. Но, боюсь, нашей квалификации не хватит оценить )
    С др. стороны, думаю, что кто-то скачивал, смотрел.. Но не видал отзывов о новинках
  • xayam © (07.01.19 18:29) [19]
    имхо большинство новинок в миттельшпиле и игра в дебюте на ограничение,
    так сказать сначала зажимает - потом добивание с огоньком :)
  • ВладОшин © (07.01.19 18:44) [20]
    Когда объясняют - да ). Становится понятно, как ловко зажимает )
  • xayam © (07.01.19 19:23) [21]

    > Становится понятно, как ловко зажимает

    может через сто лет появиться программа которая нынешние в одном потоке будет
    черными побеждать без особого напряга, вот тогда мы будем говорить ловко :)
    Движки за последние годы сильно эволюционировали, но это не означает конец -
    скорей только начало чего-то бОльшего. Существование такой программы как альфазеро
    это только подтверждает. К тому же уже сейчас есть нейросеть для "обычного железа" -
    http://lczero.org/ и она тоже не слабо прогрессирует. А что будет через 10 лет? 50? 100?

    Я думаю человек на пороге создания искусственной жизни - не меньше.
    Я не знаю как насчет души у этой всей машинерии, но факт остается фактом -
    программы развиваются и пока конечно не дошли до полностью автономного саморазвития,
    но все предпосылки к этому имеются... Я боюсь за то, что разработчик такой программы в
    конечном счете ошибётся в постановке цели для машины и тогда возможны нехорошие
    сценарии или более того такой разработчик сможет запрограммировать так что, цели
    будут выбираться динамически и абстрактно, тогда уже такую программу можно будет
    назвать разумной, а это проблема... Проблема отношений между искусственным и естественным.
    На эту тему у человечество огромное количество фантастических книг, чаще с апокалиптическим
    сюжетом. И на этом будет учиться машина? Человек сейчас мало что может дать своему ребенку,
    тому приходится все постигать на собственном опыте. А что человек может дать машине?
    В большинстве только негативную информацию, коей на просторах интернета достаточно.
    Другой вопрос что целью должно стать поиск чего-то положительного, но сие сложно
    запрограммировать динамической постановкой целей, если вообще такая задача будет стоять...
  • ВладОшин © (07.01.19 19:47) [22]

    > xayam ©   (07.01.19 19:23) [21]


    не.. как-то ты мрачен ))
    Изобретатель топора примерно так же, наверное, был. Можно хату срубить, а можно и соседу по черепушке двинуть.
    Смотря в чьи руки попадет..
  • ВладОшин © (07.01.19 19:59) [23]
    Кстати, надо глянуть прогноз производительности железа. Гугл легко может позволить себе Альфу, никаких сомнений. Но, вроде, это экстенсивный путь. Они там нагородили кучу серверов, конечно, у них все будет ok..
    А вот такое, что бы под столом стояло и было сравнимой мощности?
    Пока, на сколько опять же помню, достигнут предел (практически). Ждем революцию )
  • xayam © (07.01.19 20:02) [24]

    > Смотря в чьи руки попадет..

    проблема в том что в данном случае у нас разумный (читай неконтролируемый) топор
  • ВладОшин © (07.01.19 20:11) [25]
    ну.. у  этого умника есть розетка )
  • xayam © (07.01.19 20:20) [26]

    > ну.. у  этого умника есть розетка )

    ключевое слово - ПОКА есть :)
  • xayam © (07.01.19 20:22) [27]
    тем более проблемой может стать не сама розетка,
    а то что она охраняема самим ИИ и его
    сподвижниками :)
  • xayam © (07.01.19 20:25) [28]

    > xayam ©   (07.01.19 20:20) [26]
    > > ну.. у  этого умника есть розетка )
    > ключевое слово - ПОКА есть :)

    или более того розеток может быть миллион и отключение всех
    будет равносильна отказу от электричества для всего человечества :)
  • ВладОшин © (07.01.19 21:12) [29]
    SkyNet? )
    Далеко нам до этого, все же. Не разделяю оптимизма про ИИ. Создадут максимум эксперта в одном направлении. Картинки распознавать, в шахматы играть.
    Ну да, или планировать ядерные удары максимальной эффективности

    могут соединить несколько направлений.

    Но вот что бы прям вот такой разум, который бы начал розетки защищать и Т-800 печатать для поиска и убийства Била Гейтса 2.0 - не, для такого мы еще долго не будем готовы, имхо
    хотя.. для некоторых Т-800 надо вызвать, 100%% ))
  • xayam © (07.01.19 22:35) [30]

    > SkyNet? )

    а что не веришь? Но всё к этому идёт...
    Не знаю сколько на это понадобиться лет, но если вектор развития сохранится,
    то я оцениваю максимально - 100 лет и если человечество к тому времени
    не погибнет во вспышке ядерного взрыва, то будет и такая проблема как дополнение к
    остальным...
  • ВладОшин © (07.01.19 23:20) [31]
    Опасность есть. Но больше, думаю, опасность в ошибке в коде, чем, что ИИ САМ решит поработить всех.
    Т.е. скорее кто-то посадит AV и он запустит все ракеты, чем он осознанно запустит все ракеты. Еще и потому, что человечество было бы идиотами, если бы отдало под контроль ИИ все, без возможности остановить в любой момент через какой-нить бэкдор
  • xayam © (08.01.19 00:57) [32]

    > если бы отдало под контроль ИИ все, без возможности остановить
    > в любой момент через какой-нить бэкдор

    думаю в случае реального ИИ бэкдор нереален, поскольку ИИ имел бы свои исходники
    и переписал все без бэкдоров...
  • ВладОшин © (08.01.19 01:11) [33]

    > xayam ©   (08.01.19 00:57) [32]

    Защелку ему тогда, как на дискетке )
    Пока пимку не отодвинешь, фиг тебе а не запись. И все это в ядре. И граната привязана к пимпке, что бы не сдвинуть )
  • xayam © (08.01.19 01:55) [34]
    а копии делать тоже запретить? Где-то записывать должно быть разрешено,
    иначе как творить :)
  • ВладОшин © (09.01.19 07:44) [35]
    На отдельный носитель творить будет. А ядро для модификации для самого ИИ закрыто
  • ВладОшин © (09.01.19 08:23) [36]
    Зацени )
    Только что получилось сыграть на личесс )) (https://lichess.org)

    https://cloud.mail.ru/public/N7kQ/qxZFNY25W
    мат в 4 хода
  • xayam © (09.01.19 11:01) [37]

    > мат в 4 хода

    это называется  - спертый мат

    > На отдельный носитель творить будет

    а если это будет программа? Можно будет запустить с носителя?
  • ВладОшин © (09.01.19 12:57) [38]
    Ну конечно
    Как раньше дискеты работали, 3.5 которые
    http://www.delphiplus.org/images/dvip02/dvip02-131.png
    все читается, а писать нельзя пока защелку не сдвинешь. Вот ядро будет на таком носителе, а остальное на другом - там пусть переписывает
  • xayam © (09.01.19 16:36) [39]

    > Как раньше дискеты работали

    да, но всегда можно перенести на другой носитель пишущий и такого ограничения не будет
  • Sha © (09.01.19 17:33) [40]
    оно возьмет контроль над роботом, который передвинет защелку )
  • ВладОшин © (09.01.19 22:44) [41]

    > xayam ©  

    кстати, про обман или действительно ИИ )

    Недавно статейка попалась, как нейронка из фотки со спутника и карты улиц  строила 3d вид этих улиц
    Так эта коза построила такие мелочи, что ее проверили тут же.
    И выяснилось, что она (или программист?) пользовались доп.данными ) Что-то там тихо ей рисовали, незаметно, заранее.
    Потому что она там в одном месте столб нарисовала. А на корте его нет, и со спутника не видать, что это столб. В общем, спалилась на мелочи.
    Вот что-то мне подсказывает, что Альфе тоже немного помогли )
  • ВладОшин © (09.01.19 22:48) [42]

    > оно возьмет контроль над роботом, который передвинет защелку
    > )


    Все ходы записаны!
    >> граната привязана к пимпке

    т.е. растяжка стоит.
    Отключить нельзя, граната выведена во внутрь. Как ядро переписывать.. хм.. придумал! -  Никак! )
  • Sha © (10.01.19 09:28) [43]
    > ВладОшин ©   (09.01.19 22:48) [42]

    оно возьмет контроль над пылесосом,
    которым удаляют пыль в системном блоке,
    он обезвредит гранату и передвинет защелку

    или аккуратно распилит корпус

    или дырочку просверлит

    или или
  • xayam © (10.01.19 12:08) [44]

    > Sha

    хотел услышать твое мнение об этом -
    http://pda.delphimaster.net/?id=1546676061&n=3
  • Sha © (10.01.19 13:14) [45]
    твоя вторая гипотеза равносильна проблеме Гольдбаха, так что извиняй
  • xayam © (10.01.19 15:21) [46]

    > Sha ©   (10.01.19 13:14) [45]
    > твоя вторая гипотеза равносильна проблеме Гольдбаха, так
    > что извиняй

    то что равносильна я и сам понимаю.
    А почему график такой возрастающий?
  • Sha © (10.01.19 18:06) [47]
    чисто умозрительно: чем больше K, тем больше у него вариантов оказаться точно посередине между двумя простыми
  • xayam © (10.01.19 20:47) [48]

    > чисто умозрительно

    вопрос как это доказать?
    я думаю ответ никто не знает конечно :)
  • Sha © (10.01.19 21:37) [49]
    никто не знает, как доказать, что есть хотя бы 1 вариант )
  • xayam © (11.01.19 18:24) [50]

    > никто не знает, как доказать, что есть хотя бы 1 вариант
    > )

    ну если доказать что есть асимптота снизу существует, то хотя один вариант существует :)
  • manaka © (11.01.19 19:13) [51]

    > xayam ©   (10.01.19 12:08) [44]


    xayam ©   (08.01.19 02:03) [16]
    вот "остается" доказать что нижняя граница стремиться к какой-то возрастающей ассимптоте и считай гипотеза доказана.


    Как все просто на самом деле! А матерые математики всего мира чешут репу годами )))
  • Mystic © (17.01.19 14:39) [52]
    BTW, на TCEC LeelaZero (open source реализация по идеям AlphaZero) тоже обыгрывает Stockfish 8:
    https://tcec.chessdom.com/
  • xayam © (19.01.19 20:27) [53]

    > Mystic ©   (17.01.19 14:39) [52]

    думаешь уже stockfish 10 обыграет?
  • xayam © (19.01.19 20:34) [54]
    по очкам пока отстает
 
Конференция "Прочее" » AlphaZero - как работает??
Есть новые Нет новых   [96152   +69][b:0.001][p:0.004]