ストックマーク株式会社（編）：BERT による自然言語処理入門

概要

副題は Transformers を使った実践プログラミング

いろいろな名前

Bert といえば私にとってはセサミストリートのアーニーとバートのバートのことだ。本書では ELMo も紹介されていて、 これはセサミストリートのエルモのことかと思った。となれば次にモデルは ERNIE しかない。

誤植

p.48 本文上から 6 行目明日はマシーンラーニングの勉強をしよう。は《明日はマシンラーニングの勉強をしよう。》 だろう。

やってみて気づいたこと

以下はやってみて気づいたことを記す。p.69 で # 6-3 のライブラリ読み込みを試みた。

# 6-3
import random
import glob
from tqdm import tqdm

import torch
from torch.utils.data import DataLoader
from transformers import BertJapaneseTokenizer, BertForSequenceClassification
import pytorch_lightning as pl

# 日本語の事前学習モデル
MODEL_NAME = 'cl-tohoku/bert-base-japanese-whole-word-masking'

すると次のエラーが出た。

---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-3-ecdd6716fa1d> in <module>
      6 import torch
      7 from torch.utils.data import DataLoader
----> 8 from transformers import BertJapaneseTokenizer, BertForSequenceClassification
      9 import pytorch_lightning as pl
     10 

ModuleNotFoundError: No module named 'transformers'
（後略）

なぜだろう。しかたがないのでサポートページを見てみると、#6-2 のコードで、本書と差異を発見した。 本書は次のコードだ

# 6-2
!pip install transformers==4.5.0 fugashi==1.1.0 ipadic==1.0.0 pytorch-lightning==1.2.7

一方、本書の Preface にある GitHub レポジトリにあるコードは次の通りだ。

# 6-2
!pip install transformers==4.18.0 fugashi==1.1.0 ipadic==1.0.0 pytorch-lightning==1.6.1

レポジトリにあるバージョンで外部ライブラリをインストールしなおし、再度# 6-3 のライブラリを読み込んだところ、 正常に終了した。

書誌情報

まりんきょ学問所 ＞ コンピュータの部屋 ＞ コンピュータの本 ＞ ニューロコンピューティング・人工知能 ＞ ストックマーク株式会社（編）：BERT による自然言語処理入門