奇亿平台-奇亿注册|奇亿官方代理网站首页

【奇亿平台网址】不到1000行代码,GitHub 1400星,天才黑客开源深度学习框架tinygrad

机械之心报道

[转载出处:www.pp00.com]

当今社会幸存的不加班的 IT 及程序员们有何秘密武器

有何,幸存,秘密武器,程序员,当今社会【奇亿代理怎么注册】【奇亿娱乐网址注册】

机械之心编纂部

,

比来,天才黑客 George Hotz 开源了一个小型深度进修框架 tinygrad,兼具 PyTorch 和 micrograd 的功能。
tinygrad 的代码数量不到 1000 行,今朝该项目获得了 GitHub 1400 星。

,[好文分享:www.pp00.com]

,在深度进修时代,谷歌、Facebook、百度等科技巨头开源了多款框架来匡助斥地者更轻松地进修、构建和练习分歧类型的神经收集。而这些大公司也破费了很大的精神来维护 TensorFlow、PyTorch 如许宏大的深度进修框架。,
,除了这类主流框架之外,斥地者们也会开源一些小而精的框架或许库。好比本年 4 月份,特斯拉人工智能部门主管 Andrej Karpathy 开源了其编写的微型 autograd 引擎 micrograd,该引擎还用 50 行代码实现了一个类 PyTorch api 的神经收集库。今朝,micrograd 项目的 GitHub star 量达到 1200 星。,
,不久前,天才黑客 George Hotz(乔治 · 霍兹)开源了一个小型 Autograd Tensor 库 tinygrad,它介于 PyTorch 和 micrograd 之间,可以知足做深度进修的大部门要求。上线不到一个月,该项目在 GitHub 上已经获得 1400 星。,
,
,项目地址:https://github.com/geohot/tinygrad,
,凭据 GitHub 内容,下文对 tinygrad 的安装与使用做了简要介绍。感乐趣的同窗也可经由 George Hotz 的 YouTube 视频进行进修。,
,
,视频地址:https://www.youtube.com/channel/UCwgKmJM4ZJQRJ-U5NjvR2dg,
,tinygrad 的安装与使用,
,「tinygrad 或者不是最好的深度进修框架,但它的确是深度进修框架。」,
,George 在项目中包管,tinygrad 代码量会永远小于 1000 行。,
,安装
,
,tinygrad 的安装过程非常简洁,只需使用以下号令:,
,

pip3 install tinygrad --upgrade

,

,示例
,
,安装好 tinygrad 之后,就能够进行示例运行,代码如下:,
,

from tinygrad.tensor import Tensorx = Tensor.eye(3)y = Tensor([[2.0,0,-2.0]])z = y.matmul(x).sum()z.backward()print(x.grad) # dz/dxprint(y.grad)  # dz/dy

,
,使用 torch 的代码如下:,
,

import torchx = torch.eye(3, requires_grad=True)y = torch.tensor([[2.0,0,-2.0]], requires_grad=True)z = y.matmul(x).sum()z.backward()print(x.grad) # dz/dxprint(y.grad) # dz/dy

,,
,知足对神经收集的需求
,
,一个不错的 autograd 张量库能够知足你对神经收集 90%的需求。从 tinygrad.optim 添加优化器(SGD、RMSprop、Adam),再编写一些 minibatching 样板代码,就能够实现你的需求。,
,示例如下:,
,

from tinygrad.tensor import Tensorimport tinygrad.optim as optimfrom tinygrad.utils import layer_init_uniform
class TinyBobNet: def __init__(self): self.l1 = Tensor(layer_init_uniform(784, 128)) self.l2 = Tensor(layer_init_uniform(128, 10))
def forward(self, x): return x.dot(self.l1).relu().dot(self.l2).logsoftmax()
model = TinyBobNet()optim = optim.SGD([model.l1, model.l2], lr=0.001)
# ... and complete like pytorch, with (x,y) data
out = model.forward(x)loss = out.mul(y).mean()loss.backward()optim.step()

,,
,支撑 GPU
,
,tinygrad 经由 PyOpenCL 支撑 GPU。但后向流传临时无法支撑所有 ops。,
,

from tinygrad.tensor import Tensor(Tensor.ones(4,4).cuda() + Tensor.ones(4,4).cuda()).cpu()

,,
,ImageNet 揣摩
,
,「麻雀虽小,五脏俱全。」tinygrad 还可以支撑 full EfficientNet,输入一张图像,即可获得其类别。,
,

ipython3 examples/efficientnet.py https://upload.wikimedia.org/wikipedia/commons/4/41/Chicken.jpg

,
,若是你安装了 webcam 和 cv2,则能够使用以下代码:,
,

ipython3 examples/efficientnet.py webcam

,
,注重:若是你想加快运行,设置 GPU=1。,
,测试
,
,运行以下代码可执行测试:,
,

python -m pytest

,
,此外,乔治 · 霍兹还规划添加说话模型、检测模型,进一步削减代码量、提拔速度等。,
,
,天才黑客乔治 · 霍兹,
,
,该项目的建立者是有名黑客乔治 · 霍兹,别号 Geohot。,
,他于 1989 年出生在美国新泽西州,曾就读于罗切斯特理工学院生物工程专业和卡内基梅隆大学较量机科学系。,
,然而,乔治 · 霍兹在本身的 LinkedIn 主页上教育履历描述里是这么写的:,
,
,在罗切斯特理工学院就读时代,他的社团运动是「在宿舍黑 iPhone」…… ,
,这是他有名的黑客履历之一。2007 年,17 岁的乔治 · 霍兹成功破解 iPhone 手机,使手机不再局限于 AT&T 收集,而是支撑其他 GSM 收集。2009 年,他斥地出一款针对 iOS 3.1.2 的逃狱软件 blackra1n。2010 年,乔治 · 霍兹公布不再进行逃狱软件的斥地。,
,然而,他的黑客动作并未住手。,
,2009 年起,乔治 · 霍兹起头破解 PlayStation 3(PS3)。2010 岁首,他公布获得了 PS3 系统内存的读写权限和处理器的高级掌握权。2011 年 3 月,乔治 · 霍兹被索尼告状,后息争。,
,此外,乔治 · 霍兹还破解过三星手机等产物。,
,就工作履历而言,他曾在谷歌、Facebook、SpaceX 工作过。今朝,他在本身创立的主动驾驶公司 comma.ai 任职。,
,2015 年,乔治 · 霍兹创立了人工智能创业公司 comma.ai,旨在基于机械进修算法构建主动驾驶手艺。乔治 · 霍兹斥地出主动驾驶套件 Comma One,只需 1000 美元,用户就能将传统汽车升级成主动驾驶版本。不外,后来这一规划被作废。,
,2020 年,在 CES 大会上,comma.ai 展出了其最新产物——辅助驾驶设备 Comma Two,售价 999 美元。,
,comma.ai 公司还开源了辅助驾驶系统 openpilot,拜见:https://github.com/commaai/openpilot。,
,参考链接:https://zh.wikipedia.org/wiki/%E4%B9%94%E6%B2%BB%C2%B7%E9%9C%8D%E5%85%B9,https://en.m.wikipedia.org/wiki/George_Hotz,
,
,

NeurIPS 2020线上分享:面向鲁棒深度进修的匹敌分布式练习
论文:《Adversarial Distributional Training for Robust Deep Learning》。

本篇论文中,研究者提出了一种名为匹敌分布式练习(adversarial distributional training, ADT)的新型框架。11月26日清华大学较量机系博士生董胤蓬,为人人具体解读此前沿研究。

识别二维码,入群一路看直播。

《【奇亿平台网址】不到1000行代码,GitHub 1400星,天才黑客开源深度学习框架tinygrad》

【奇亿平台】【奇亿娱乐如何注册】

智能家居老兵王雄辉:押注“原生全宅”,只做真智能

只做,老兵,智能家居,智能,押注

点赞