tensorflow 相关的软件列表

Tensorflow 多线程与多进程数据加载实例
Python

Tensorflow 多线程与多进程数据加载实例

2020-03-09 标签:tensorflow,多线程,多进,数据,加载,实例,项目,遇到,需要,处理,超级,大量的,无法,载入,内存,问题,就不,说了

在项目中遇到需要处理超级大量的数据集,无法载入内存的问题就不用说了,单线程分批读取和处理(虽然这个处理也只是特别简单的首尾相连的操作)也会使瓶颈出现在CPU性能上,所以研究了一下多线程和多进程的数据读取和预处理,都是通过调用dataset api实现1. 多线程数据读取第一种方法是可以直接从csv里

TensorFlow实现指数衰减学习率的方法
Python

TensorFlow实现指数衰减学习率的方法

2020-03-09 标签:tensorflow,实现,指数,衰减,学习,方法,tf,train,exponential,decay,函数,通过,使用,较大,快速,得到,比较

在TensorFlow中,tf.train.exponential_decay函数实现了指数衰减学习率,通过这个函数,可以先使用较大的学习率来快速得到一个比较优的解,然后随着迭代的继续逐步减小学习率,使得模型在训练后期更加稳定。tf.train.exponential_decay(learning_

关于Tensorflow使用CPU报错的解决方式
Python

关于Tensorflow使用CPU报错的解决方式

2020-03-09 标签:关于,tensorflow,使用,cpu,报错,解决,方式,如下,所示,简单明了,希望,帮助,到你,operation,explicitly,assigned,device,gpu,available

如下所示,简单明了,希望能帮助到你解决:Operation was explicitly assigned to /device:GPU:0 but available devices are [ /job:localhost/replica:0/task:0/cpu:0 ].tf.app.Flag

解决Tensorflow 内存泄露问题
Python

解决Tensorflow 内存泄露问题

2020-03-09 标签:解决,tensorflow,内存,泄露,问题,使用,进行,编程,经常,遇到,操作,不当,带来,这里有,帮助,debug,问题所在,方法,https

使用tensorflow进行编程时,经常遇到操作不当,带来的内存泄露问题,这里有一个可以帮助debug问题所在方法:https://stackoverflow.com/questions/51175837/tensorflow-runs-out-of-memory-while-computing-h

利用Tensorflow的队列多线程读取数据方式
Python

利用Tensorflow的队列多线程读取数据方式

2020-03-09 标签:利用,tensorflow,队列,多线程,读取,数据,方式,三种,输入,feed,dict,送入,n,umpy,数组,文件,中直

在tensorflow中,有三种方式输入数据1. 利用feed_dict送入numpy数组2. 利用队列从文件中直接读取数据3. 预加载数据其中第一种方式很常用,在tensorflow的MNIST训练源码中可以看到,通过feed_dict={},可以将任意数据送入tensor中。第二种方式相比于第一

TensorFlow自定义损失函数来预测商品销售量
Python

TensorFlow自定义损失函数来预测商品销售量

2020-03-09 标签:tensorflow,自定义,损失,函数,预测,商品销售,商品,销量,多了,真实,商家,的是,生产商,成本,少了,则是,利润

在预测商品销量时,如果预测多了(预测值比真实销量大),商家损失的是生产商品的成本;而如果预测少了(预测值比真实销量小),损失的则是商品的利润。因为一般商品的成本和商品的利润不会严格相等,比如如果一个商品的成本是1元,但是利润是10元,那么少预测一个就少挣10元;而多预测一个才少挣1元,所以如果神经网

tensorflow mnist 数据加载实现并画图效果
Python

tensorflow mnist 数据加载实现并画图效果

2020-03-06 标签:tensorflow,mnist,数据,加载,实现,画图,效果,关于,采用,数据流,data,flow,graphs,用于,数值,计算,开源

关于 TensorFlowTensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。它灵活的架构让你可以在多种平台上展开计算,例如台

tensorflow之并行读入数据详解
Python

tensorflow之并行读入数据详解

2020-03-06 标签:tensorflow,并行,读入,数据,详解,最近,研究,方式,现在,将自,理解,整理,如下,比较,仅供参考,主要

最近研究了一下并行读入数据的方式,现在将自己的理解整理如下,理解比较浅,仅供参考。并行读入数据主要分1. 创建文件名列表2. 创建文件名队列3. 创建Reader和Decoder4. 创建样例列表5. 创建批列表(读取时可要可不要,一般情况下样例列表可以执行读取数据操作,但是在实际训练的时候往往需要

tensorflow 自定义损失函数示例代码
Python

tensorflow 自定义损失函数示例代码

2020-03-06 标签:tensorflow,自定义,损失,函数,示例,代码,背景,一般,回归,用的,mse,但要,实际,遇到,情况,而有,改变,现在,想要,做一个

这个自定义损失函数的背景:(一般回归用的损失函数是MSE, 但要看实际遇到的情况而有所改变)我们现在想要做一个回归,来预估某个商品的销量,现在我们知道,一件商品的成本是1元,售价是10元。如果我们用均方差来算的话,如果预估多一个,则损失一块钱,预估少一个,则损失9元钱(少赚的)。显然,我宁愿预估多了

TensorFlow学习之分布式的TensorFlow运行环境
Python

TensorFlow学习之分布式的TensorFlow运行环境

2020-03-06 标签:tensorflow,学习,之分,运行,环境,当我,大型,数据,上面,进行,深度,训练,往往,需要,大量的,资源,还要

当我们在大型的数据集上面进行深度学习的训练时,往往需要大量的运行资源,而且还要花费大量时间才能完成训练。1.分布式TensorFlow的角色与原理在分布式的TensorFlow中的角色分配如下:PS:作为分布式训练的服务端,等待各个终端(supervisors)来连接。worker:在TensorF