广告行业中那些趣事系列8：详解BERT中分类器源码

 1 """
 2 将数据处理模块得到的数据转化成TFRecord文件
 3 input:
 4     examples:数据格式为[(guid,text_a,text_b,label),(guid,text_a,text_b,label),....]
 5     label_list：标签列表
 6     max_seq_length：允许的句子最大长度 
 7     tokenizer：分词器
 8     output_file：TFRecord文件存储路径
 9 output:持久化到TFRecord格式文件
10 """
11 def file_based_convert_examples_to_features(
12         examples, 
13         label_list, 
14         max_seq_length, 
15         tokenizer, output_file):

 1 """
 2 将预处理数据加工成模型需要的特征
 3 input:
 4     ex_index：数据条数索引
 5     example：数据格式为[(guid,text_a,text_b,label),(guid,text_a,text_b,label),....]
 6     label_list：标签列表
 7     max_seq_length：允许的句子最大长度，这里如果输入句子长度不足则补0
 8     tokenizer：分词器
 9 output:  feature = InputFeatures(
10   input_ids=input_ids：token embedding：表示词向量，第一个词是CLS，分隔词有SEP，是单词本身
11   input_mask=input_mask：position embedding：为了令transformer感知词与词之间的位置关系
12   segment_ids=segment_ids：segment embedding：text_a与text_b的句子关系
13   label_id=label_id：标签
14   is_real_example=True)
15 """
16 def convert_single_example(ex_index, example, 
17                 label_list, max_seq_length,tokenizer):
18     ....
19     feature = InputFeatures(
20         input_ids=input_ids,
21         input_mask=input_mask,
22         segment_ids=segment_ids,
23         label_id=label_id,
24         is_real_example=True)
25     return feature

 1 """
 2 自定义模型估计器(model_fn_builder)
 3 input:bert_config：bert相关的配置
 4       num_labels：标签的数量
 5       init_checkpoint：预训练模型
 6       learning_rate：学习率
 7       num_train_steps：模型训练轮数 = (训练集总数/batch_size)*epochs
 8       num_warmup_steps：线性地增加学习率，num_warmup_steps = num_train_steps * warmup_proportion 
 9       use_tpu：是否使用TPU
10 output:构建好的模型
11 """
12 def model_fn_builder(bert_config, num_labels, init_checkpoint, learning_rate,
13                      num_train_steps, num_warmup_steps, use_tpu,
14                      use_one_hot_embeddings):
15     """Returns `model_fn` closure for TPUEstimator."""
16     ......
17     return model_fn

 1 """
 2 创建模型，主要完成两件事：第一件事是调用modeling.py中国的BertModel类创建模型；
 3 第二件事事计算交叉熵损失loss。交叉熵的值越小，两个概率分布就越接近。
 4 """
 5 def create_model(bert_config, is_training, input_ids, input_mask, segment_ids,
 6                  labels, num_labels, use_one_hot_embeddings):
 7     """Creates a classification model."""
 8     # 建立一个BERT分类模型(create_model)
 9     model = modeling.BertModel(
10         config=bert_config,
11         is_training=is_training,
12         input_ids=input_ids,
13         input_mask=input_mask,
14         token_type_ids=segment_ids,
15         use_one_hot_embeddings=use_one_hot_embeddings)
16     ......
17     return (loss, per_example_loss, logits, probabilities)

 1 """
 2 模型标准输入
 3 从TFRecord格式文件中读取特征并转化成TensorFlow标准的数据输入格式
 4 input:input_file:
 5     input_file=train_file：输入文件，可以是训练集、验证集和预测集
 6     seq_length=FLAGS.max_seq_length：句子最大长度
 7     is_training=True：是否训练标志
 8     drop_remainder=True：表示在少于batch_size元素的情况下是否应删除最后一批 ; 默认是不删除。
 9 output:TensorFlow标准的格式输入
10 """
11 def file_based_input_fn_builder(input_file, seq_length, is_training,
12                                 drop_remainder):
13   name_to_features = {
14         "input_ids": tf.FixedLenFeature([seq_length], tf.int64),
15         "input_mask": tf.FixedLenFeature([seq_length], tf.int64),
16         "segment_ids": tf.FixedLenFeature([seq_length], tf.int64),
17         "label_ids": tf.FixedLenFeature([], tf.int64),
18         "is_real_example": tf.FixedLenFeature([], tf.int64),
19     }
20   ......
21   return input_fn

 1 """
 2 Estimator对象包装由model_fn指定的模型
 3 input：给定输入和其他一些参数
 4     use_tpu：是否使用TPU
 5     model_fn：前面构建好的模型
 6     config：模型运行相关的配置
 7     train_batch_size：训练batch大小
 8     eval_batch_size：验证batch大小
 9     predict_batch_size：预测batch大小
10 output：需要进行训练、计算,或预测的操作
11 """
12 estimator = tf.contrib.tpu.TPUEstimator(
13     use_tpu=FLAGS.use_tpu,
14     model_fn=model_fn,
15     config=run_config,
16     train_batch_size=FLAGS.train_batch_size,
17     eval_batch_size=FLAGS.eval_batch_size,
18     predict_batch_size=FLAGS.predict_batch_size)

1 if FLAGS.do_train:
2     train_input_fn = file_based_input_fn_builder(
3         input_file=train_file,
4         seq_length=FLAGS.max_seq_length,
5         is_training=True,
6         drop_remainder=True)
7     ....
8     estimator.train(input_fn=train_input_fn, max_steps=num_train_steps)

1 if FLAGS.do_eval:
2     eval_input_fn = file_based_input_fn_builder(
3             input_file=eval_file,
4             seq_length=FLAGS.max_seq_length,
5             is_training=False,
6             drop_remainder=eval_drop_remainder)
7     ....
8     result = estimator.evaluate(input_fn=eval_input_fn, steps=eval_steps, checkpoint_path=filename)

1 if FLAGS.do_predict:
2     predict_input_fn = file_based_input_fn_builder(
3             input_file=predict_file,
4             seq_length=FLAGS.max_seq_length,
5             is_training=False,
6             drop_remainder=predict_drop_remainder)
7     ....
8     result = estimator.predict(input_fn=predict_input_fn)

1 import tensorflow as tf
2 # 日志的显示等级
3 tf.logging.set_verbosity(tf.logging.INFO) 
4 # 打印提示日志
5 tf.logging.info("***** Runningtraining *****")
6 # 打印传参日志
7 tf.logging.info("  Num examples = %d", len(train_examples))

1 import tensorflow as tf
2 flags = tf.flags
3 FLAGS = flags.FLAGS
4 flags.DEFINE_string(
5    "data_dir", None,
6    "The input data dir. Should contain the .tsv files (or other datafiles) "
7 "for thetask.")
8 # 设置哪些参数是必须要传入的
9 flags.mark_flag_as_required("data_dir")