• «Количественная фосфопротеомика выявляет широко распространенную занятость сайта полного фосфорилирования во время митоза.»
  Olsen JV, Vermeulen M., Santamaria A., Kumar C., Miller ML, Jensen LJ, Gnad F., Cox J., Jensen TS, Nigg EA, Brunak S. , Mann M.
  Sci. Signal. 3: RA3-RA3 (2010) [PubMed] [Europe PMC] [Резюме]

  Цитируется для: АЦЕТИЛИРОВАНИЕ [БОЛЬШОЙ МАСШТАБ АНАЛИЗ] В SER-2, ФОСФОРИЛИРОВАНИЕ [БОЛЬШОЙ МАСШТАБ АНАЛИЗ] В SER-2; SER-14; SER-95; SER-97; SER-99; THR-103; THR-201 И THR-203, ОТРЫВ МЕТИОНИНА ИНИЦИАТОРА [БОЛЬШОЙ МАСШТАБНЫЙ АНАЛИЗ], ИДЕНТИФИКАЦИЯ МАССОВОЙ СПЕКТРОМЕТРИЕЙ [БОЛЬШОЙ МАСШТАБНЫЙ АНАЛИЗ].

Выполните следующие команды на своей виртуальной машине Compute Engine:

1. Выполните следующую команду, чтобы создать Cloud TPU.

   (vm) $ ctpu up --project = $ {PROJECT_ID} \
     --tpu-only \
     --tpu-size = v3-8 \
     --zone = europe-west4-a \
     --tf-версия = 2.4.1 \
     --name = трансформатор-учебник
    

   Описание командных флагов

   проект

   Идентификатор вашего проекта GCP

   только ТПУ

   Создать только облачный TPU.По умолчанию ctpu до команда создает виртуальную машину и облачный TPU.

   размер ТПУ

   Задает тип Cloud TPU, например v3-8.

   зона

   Зона, в которой вы планируете создать свой Cloud TPU. Это должно быть той же зоной, которую вы использовали для виртуальной машины Compute Engine. Для Например, europe-west4-a .

   tf-версия

   Версия Tensorflow ctpu устанавливается на виртуальную машину.

   наименование

   Имя создаваемого облачного TPU.

   Для получения дополнительной информации об утилите CTPU см. Справочник по CTPU.

   Появится указанная вами конфигурация. Введите и для подтверждения. или n для отмены.

   Вы увидите сообщение: Операция выполнена успешно; не ssh-ing к ВМ Compute Engine из-за флага --tpu-only . Поскольку вы ранее завершили распространение ключа SSH, вы можете проигнорировать это сообщение.

2. Задайте переменную имени Cloud TPU. Это будет либо ваше имя указан с параметром --name до ctpu до или по умолчанию, ваше имя пользователя:

   (vm) $ export TPU_NAME = руководство-трансформатор
    

3. Запустить сценарий обучения:

   (vm) $ python3 transformer_main. py \
       --tpu = $ {TPU_NAME} \
       --model_dir = $ {MODEL_DIR} \
       --data_dir = $ {GCS_DATA_DIR} \
       --vocab_file = $ {GCS_DATA_DIR} /vocab.ende.32768 \
       --bleu_source = $ {GCS_DATA_DIR} / newstest2014.ru \
       --bleu_ref = $ {GCS_DATA_DIR} /newstest2014.de \
       --batch_size = 6144 \
       --train_steps = 2000 \
       --static_batch = true \
       --use_ctl = true \
       --param_set = большой \
       --max_length = 64 \
       --decode_batch_size = 32 \
       --decode_max_length = 97 \
       --padded_decode = true \
       --distribution_strategy = ТПУ 

   Описание командных флагов

   тпу

   Имя облачного TPU. Это устанавливается путем указания переменная среды ( TPU_NAME ).

   каталог_модели

   Каталог, в котором хранятся контрольные точки и сводки во время модельное обучение. Если папка отсутствует, программа ее создает. При использовании Cloud TPU, model_dir должен быть путем к облачному хранилищу (`gs: // …`). Вы можете повторно использовать существующий папка для загрузки данных текущей контрольной точки и для хранения дополнительных контрольных точек, если предыдущие контрольные точки были созданы с использованием Облачный TPU того же размера и версии TensorFlow.

   каталог_данных

   Путь обучающего ввода в облачном хранилище. Он установлен на набор данных fake_imagenet в этом примере.

   файл словаря

   Файл, содержащий словарь для перевода.

   bleu_source

   Файл, содержащий исходные предложения для перевода.

   bleu_ref

   Файл, содержащий ссылку на предложения перевода.

   train_steps

   Количество шагов для обучения модели. За один шаг обрабатывается одна партия данных. Это включает как прямое, так и обратное распространение.

   размер партии

   Размер обучающего пакета.

   static_batch

   Указывает, имеют ли пакеты в наборе данных статические формы.

   use_ctl

   Указывает, выполняется ли сценарий с настраиваемым циклом обучения.

   param_set

   Набор параметров для использования при создании и обучении модели. В параметры определяют форму ввода, конфигурацию модели и другие настройки.

   макс_длина

   Максимальная длина примера в наборе данных.

   decode_batch_size

   Глобальный размер пакета, используемый для авторегрессионного декодирования Transformer. в облаке TPU.

   decode_max_length

   Максимальная длина последовательности данных декодирования / оценки.Это используется автоматическое регрессивное декодирование Transformer на Cloud TPU для минимизации количество необходимых данных.

   padded_decode

   Указывает, выполняется ли авторегрессивное декодирование с входными данными. дополнен до decode_max_length. Tor TPU / XLA-GPU работает, этот флаг должен быть установленным из-за требования статической формы.

   distribution_strategy

   Для обучения модели ResNet на Cloud TPU установите distribution_strategy к тпу .

По умолчанию модель будет оцениваться через каждые 2000 шагов. Чтобы тренируйтесь до схождения, измените train_steps на 200000. Вы можете увеличить количество шагов обучения или укажите, как часто проводить оценки, установив эти параметры:

• --train_steps : Устанавливает общее количество шагов тренировки для выполнения.
• --steps_between_evals : количество шагов обучения, выполняемых между оценками.

Обучение и оценка занимает около 7 минут на v3-8 Облако ТПУ.По завершении обучения и оценки появится сообщение выглядит примерно так:

ИНФОРМАЦИЯ: tensorflow: Запись в файл / tmp / tmpf2gn8vpa
I1125 21: 22: 30.734232 140328028010240 translate.py:182] Запись в файл / tmp / tmpf2gn8vpa
I1125 21: 22: 42.785628 140328028010240 transformer_main.py:121] Оценка Bleu (без корпуса): 0,011251545358
I1125 21: 22: 42. 786558 140328028010240 transformer_main.py:122] Оценка Bleu (в корпусе): 0,011239054048
 

Вычислить показатель BLEU во время оценки модели

Используйте эти флаги для вычисления BLEU, когда модель оценивает:

• --bleu_source : путь к файлу, содержащему текст для перевода.
• --bleu_ref : путь к файлу, содержащему справочный перевод.

Отсюда вы можете завершить это руководство и очистить ваши ресурсы GCP, или вы можете дополнительно изучить запуск модели на Облако TPU Pod.

Масштабирование модели с помощью Cloud TPU Pods

Вы можете быстрее получать результаты, масштабируя модель с помощью модулей Cloud TPU. В Полностью поддерживаемая модель Transformer может работать со следующими модулями Pod:

1. В Cloud Shell запустите ctpu delete с флагом только для tpu и флаг --zone , который вы использовали, когда вы настраиваете Cloud TPU. Это удалит только ваш Cloud TPU.

    (vm) $ ctpu delete --project = $ {PROJECT_ID} 
    --tpu-only 
    --zone = europe-west4-a
     

2. Запустите команду ctpu up , используя параметр tpu-size , чтобы указать Фрагмент стручка, который вы хотите использовать. Например, следующая команда использует v2-32 Срез стручка.

   (vm) $ ctpu up --project = $ {PROJECT_ID} \
     --tpu-only \
     --tpu-size = v2-32 \
     --zone = europe-west4-a \
     --tf-версия = 2.4.1 \
     --name = transformer-tutorial 

   Описание командных флагов

   проект

   Идентификатор вашего проекта GCP

   только ТПУ

   Создать только облачный TPU.По умолчанию ctpu до команда создает виртуальную машину и облачный TPU.

   размер ТПУ

   Задает тип Cloud TPU, например v3-8.

   зона

   Зона, в которой вы планируете создать свой Cloud TPU. Это должно быть та же зона, которую вы использовали для виртуальной машины Compute Engine. Например, европа-запад4-а .

   tf-версия

   Версия Tensorflow ctpu устанавливается на виртуальную машину.

   наименование

   Имя создаваемого облачного TPU.

   Для получения дополнительной информации об утилите CTPU см. Справочник по CTPU.

   Примечание. Если вы не подключены к экземпляру Compute Engine, подключитесь выполнив следующую команду:

   gcloud compute ssh transformer-tutorial --zone = europe-west4-a
    

3. Экспорт имени TPU:

   (vm) $ export TPU_NAME = руководство-трансформатор
    

4. Экспорт переменной каталога модели:

   (vm) $ export MODEL_DIR = $ {STORAGE_BUCKET} / трансформатор / модель _ $ {PARAM_SET} _pod
    

5. Перейти из каталога в каталог обучения:

   (vm) $ cd / usr / share / models / official / nlp / transformer
    

   Примечание: Если вы используете TensorFlow 2. 1, используйте путь: / usr / share / models / official / transformer / v2

6. Запуск сценария обучения Pod:

   (vm) $ python3 transformer_main.py \
        --tpu = $ {TPU_NAME} \
        --model_dir = $ {MODEL_DIR} \
        --data_dir = $ {GCS_DATA_DIR} \
        --vocab_file = $ {GCS_DATA_DIR} /vocab.ende.32768 \
        --bleu_source = $ {GCS_DATA_DIR} /newstest2014.en \
        --bleu_ref = $ {GCS_DATA_DIR} /newstest2014.de \
        --batch_size = 24576 \
        --train_steps = 2000 \
        --static_batch = true \
        --use_ctl = true \
        --param_set = большой \
        --max_length = 64 \
        --decode_batch_size = 32 \
        --decode_max_length = 97 \
        --padded_decode = true \
        --steps_between_evals = 2000 \
        --distribution_strategy = tpu
    

   Описание командных флагов

   тпу

   Имя облачного TPU. Это устанавливается путем указания переменная среды ( TPU_NAME ).

   каталог_модели

   Каталог, в котором хранятся контрольные точки и сводки во время модельное обучение. Если папка отсутствует, программа ее создает. При использовании Cloud TPU, model_dir должен быть путем к облачному хранилищу (`gs: // …`). Вы можете повторно использовать существующий папка для загрузки данных текущей контрольной точки и для хранения дополнительных контрольные точки, если предыдущие контрольные точки были созданы с использованием TPU того же размера и версии TensorFlow.

   каталог_данных

   Путь обучающего ввода в облачном хранилище. Он установлен на набор данных fake_imagenet в этом примере.

   файл словаря

   Файл, содержащий словарь для перевода.

   bleu_source

   Файл, содержащий исходные предложения для перевода.

   bleu_ref

   Файл, содержащий ссылку на предложения перевода.

   размер партии

   Размер обучающего пакета.

   train_steps

   Количество шагов для обучения модели. За один шаг обрабатывается одна партия данных. Это включает как прямое, так и обратное распространение.

   static_batch

   Указывает, имеют ли пакеты в наборе данных статические формы.

   use_ctl

   Указывает, выполняется ли сценарий с настраиваемым циклом обучения.

   param_set

   Набор параметров для использования при создании и обучении модели. В параметры определяют форму ввода, конфигурацию модели и другие настройки.

   макс_длина

   Максимальная длина примера в наборе данных.

   decode_batch_size

   Глобальный размер пакета, используемый для авторегрессионного декодирования Transformer. в облаке TPU.

   decode_max_length

   Максимальная длина последовательности данных декодирования / оценки.Это используется автоматическое регрессивное декодирование Transformer на Cloud TPU для минимизации количество необходимых данных.

   padded_decode

   Указывает, выполняется ли авторегрессивное декодирование с входными данными. дополнен до decode_max_length. Tor TPU / XLA-GPU работает, этот флаг должен быть установленным из-за требования статической формы.

   steps_between_evals

   Число шагов обучения, выполняемых между оценками.

   distribution_strategy

   Для обучения модели ResNet на TPU установите distribution_strategy к тпу .

Этот обучающий сценарий обучает 2000 шагов и запускает оценку каждые 2000 шагов. Это обучение и оценка занимает около 8 минут на v2-32. Облако TPU Pod.

Чтобы обучить конвергенции, измените train_steps на 200000. Вы можно увеличить количество шагов обучения или указать, как часто нужно запускать оценок путем установки этих параметров:

• --train_steps : Устанавливает общее количество шагов тренировки для выполнения.
• --steps_between_evals : количество шагов обучения, выполняемых между оценками.

После завершения обучения и оценки появится сообщение, подобное следующему появляется: