for i, var in enumerate(model.trainable_variables): print(model.trainable_variables[i].name)
gradients = tape.gradient(loss, trainable_variables) # Whether to aggregate gradients outside of optimizer. This requires support # of the optimizer and doesn't work with ParameterServerStrategy and # CentralStroageStrategy. aggregate_grads_outside_optimizer = ( optimizer._HAS_AGGREGATE_GRAD and # pylint: disable=protected-access not isinstance(strategy.extended, parameter_server_strategy.ParameterServerStrategyExtended)) if aggregate_grads_outside_optimizer: # We aggregate gradients before unscaling them, in case a subclass of # LossScaleOptimizer all-reduces in fp16. All-reducing in fp16 can only be # done on scaled gradients, not unscaled gradients, for numeric stability. gradients = optimizer._aggregate_gradients(zip(gradients, # pylint: disable=protected-access trainable_variables)) if isinstance(optimizer, lso.LossScaleOptimizer): gradients = optimizer.get_unscaled_gradients(gradients) gradients = optimizer._clip_gradients(gradients) # pylint: disable=protected-access if trainable_variables: if aggregate_grads_outside_optimizer: optimizer.apply_gradients( zip(gradients, trainable_variables), experimental_aggregate_gradients=False) else: optimizer.apply_gradients(zip(gradients, trainable_variables))
目前，TensorFlow 的情况是这样的：如果第一个参数中的所有输入来自其他 Keras 层，则当前层进入「functional api construction」模式。但是，你的第一个位置参数输入中包含 None，因此，无法触发「functional api construction」模式。 这导致该层与外部功能模型产生内联（inlined），而不是正确地被纳入外部模型。你可以更改层 API，排除掉输入中的 Nones，这样就可以解决该问题。
功能 API 的主要 cleanup/refactoring 已经大部分完成，以使功能 API 触发机制更加清晰（即使输入中出现任意符号值），并解决其他的一些 issue。但是，该功能将在TensorFlow 2.4 版本中出现。
Git issue 显示 23 天前就有TensorFlow 开发者承认了这个 bug 的存在，并将该 issue 指定给另一位开发者，而被指定者并没有查看这个 issue。 这就像一家食品公司 23 天就发现自己的产品中存在大肠杆菌，但是这么多天过去了他们啥都没干。 我见过很多对TensorFlow 的抱怨，但是之前从未听到过这样的事情。
作为谷歌曾经的拥趸，现在我对它的所有产品感到厌倦。所有事情都半途而废，看不到完成的可能性，也看不到对用户的关注。 TensorFlow 真是糟糕透了。开发团队意识到 PyTorch 正在抢夺他们的用户，但他们仍和以往一样半途而废，没有将资源或 Keras 置于优先级较高的位置，因为他们内部并不使用。文档也很糟糕，是因为任何有自尊心的工程师都不想为写优秀的文档费心吗？
然而，竞争对手 PyTorch 的文档可读性就很强，PyTorch 官方甚至还提供了限时免费的权威官方教程书籍。 或许有一天谷歌也会出现一位像萨提亚 · 纳德拉那样的人物，改变谷歌的内部文化，更加关注用户和产品。而现在，谷歌只是停留在广告业务带来的收益上吃老底，这使得他们忽略了自己在几乎其他所有业务上的无能。
本文网址：
