营销网站搭建建议,松江网站开发培训课程,广告网站建设最专业,建网站电话【编者按】在开源与人工智能的灿烂星河里#xff0c;贾扬清的名字都格外地耀眼。因为导师 Trevor Darrell 教授的一句“你是想多花时间写一篇大家估计不是很在意的毕业论文#xff0c;还是写一个将来大家都会用的框架#xff1f;”#xff0c;学生贾扬清一头扎进了创 Caffe… 【编者按】在开源与人工智能的灿烂星河里贾扬清的名字都格外地耀眼。因为导师 Trevor Darrell 教授的一句“你是想多花时间写一篇大家估计不是很在意的毕业论文还是写一个将来大家都会用的框架”学生贾扬清一头扎进了创 Caffe 的世界。Caffe 成了贾扬清的代表作而贾扬清的开源与 AI 征途还将走得更远。
采访 | 刘韧云算科技董事长、《知识英雄》作者、DoNews 创始人
作者 | 李欣欣 刘韧 周扬 责编 | 唐小引
出品 | 《新程序员》编辑部
2013 年 6 月伯克利大学。28 岁的贾扬清见图 1正在写 DecafCaffe 的前身。3 个月后贾扬清博士毕业此刻他在和伯克利心理学系的 Thomas Griffith 教授合作研究一个心理学课题──人类在个人成长过程中是如何形成“类别”概念的。研究中贾扬清用一个概率框架来表达人的行为但从图像中提取到的人的行为特征较弱很难推导出完整的结论。 图 1 伯克利时期的贾扬清
一天贾扬清看到一篇获得 2012 年 ILSVRC 比赛第一名的论文“Advances in neural information processing systems”提到深度学习 AlexNet 模型用 Convolutional Neural Network卷积神经网络简称 CNN技术击败了其它非神经网络的算法只用两块 GPU 即可替代此前 Google 1 万 CPU 方案。一台机器顶一万台机器且错误率从 25%降到 15%。这篇论文一石击水震惊行业。此前神经网络一直不被业内人看好。
贾扬清受到启发思考着将论文里的 CNN 提取特征技术运用到他手头的心理学项目研究上。于是贾扬清找到 Alex KrizhevskyAlexNet 模型的作者之一问他是否可以分享 AlexNet 的源代码Alex 这样回复抱歉我开了公司正在创业因知识产权问题无法直接给代码但你在研究过程中遇到问题时可随时问我。
恰在此时贾扬清得到 NVIDIA 的学术捐赠计划收到了一块 K20 的 GPU见图 2对学生来说“GPU 是很贵的”于是正在写毕业论文的贾扬清动手攒了一台机器利用空闲时间复现 AlexNet 框架用以提取图像中的特征。 图 2 最早做框架的 GPU
此时的贾扬清每日搭乘地铁去 Google 公司实习。坐在地铁座位上贾扬清打开电脑摊在双腿上见缝插针地继续写框架。作为 GPU 的初学者万事开头难但贾扬清沉迷其中“写代码可能和玩游戏上瘾差不多。”“我花在编程上的时间从 20%、40%、80%……逐渐递增。”在 Google贾扬清每天都要喝数杯咖啡“这样不好”贾扬清把正写着的框架命名为 Decaf是想警醒自己戒咖啡。
此时贾扬清的任务清单里有⒈博士毕业论文⒉心理学研究课题⒊找工作⒋复现 AlexNet 框架。比起前三项任务贾扬清把更多的时间花在了最后一项写论文的时间被严重挤压。他找导师 Trevor Darrell计算机科学家、伯克利教授寻求建议导师只问了一个问题“你是想多花时间写一篇大家估计不是很在意的毕业论文呢还是多花时间写一个将来大家都会用的框架”
导师的话鼓舞了贾扬清他把论文搁在了一边一头扎进 Decaf。“导师总能教会我分清主次。”
贾扬清写好了脚手架小规模“跑起来”后他把 Decaf 放到了伯克利的小组里让同学们试用大家都觉得“还挺好用的”。Evan Shelhamer、Jonathan Long、Jeff Donahue、Sergio Guadarrama 和贾扬清一拍即合决定组成一个“核心小团伙”在日常科研和工程工作以外一起开发 Decaf。很快“小团伙”复现出 AlexNet 模型。
Decaf 需要基于 cuda-convnet 来训练但是通过 Decaf 验证深度学习特征能够利用学习范例进行深入实验大家觉得干脆二次开发做成一个完整的深度学习框架让它成为通用又干净的 AI 框架工具。
因为 GPU 飞快的速度贾扬清忖思着把 Decaf 改为 Caffe伯克利小组的同学们更喜欢 Caffe 的叫法。于是Decaf 更名为 Caffe。两个月后Caffe 写完了。贾扬清特意跟导师申请了一笔费用买来一台冰滴式咖啡机放在研究室。此后Evan Shelhamer 经常给大家做咖啡喝这导致本想戒掉咖啡的贾扬清“最终也没能戒掉咖啡”大家索性把对外接洽咨询工作的邮箱也改为了 caffe-coldpress。 图 3 贾扬清最早用来开发 Caffe 的电脑主机
贾扬清面临一个难题该用哪种方式公布 Caffe是像 Alex Krizhevsky 一样成立创业公司商业化运作还是作为程序库纯粹支持科研还是开源贾扬清举棋不定而其他 Caffe 开发者的意见也各有倾向莫衷一是。
贾扬清有心开源 Caffe。他想到过去几个月若是有一个公开的深度学习框架能获取代码和算法的细节自己就不必再浪费精力复现。而且“当学生时我内心深处就有‘做出一个东西放到开源上’的愿望”“我在伯克利所用到的代码绝大多数都是开源的”“只有把市场做大大家才可能都有蛋糕吃”“开源并不会抹灭个人的技术能力”“反正买咖啡喝我还是买得起的夫复何求呢。”
该如何让大家同意呢“这可比写 Caffe 难多了”。贾扬清决定挨个找核心开发的同学们谈。有的同学好谈有的则难辩贾扬清急了脱口说出气话“这是我写的框架所以我应该有决定权”的时候也有前后谈了 7 天最后所幸同学们都同意 Caffe 开源。
2013 年 12 月Caffe 放到 GitHub 上正式开源。得知消息的 Alex Krizhevsky 也很开心。贾扬清的导师建议把伯克利大学写在 Caffe 的说明上贾扬清也很乐意“Caffe 以伯克利大学的名义开源大家很骄傲觉得为母校争光了。”
在 Google 实习时贾扬清拿到了 Google 的正式 Offer只等毕业后入职。不再想找工作的贾扬清完全放飞索性毕业论文也不写了最初研究的心理学课题也不了了之。
Caffe 开始吸引用户和开发人员借由 Caffe 光环贾扬清结识了许多业内人士。两个月后贾扬清意外收到英伟达公司的邮件英伟达提出将为伯克利研究所提供计算的资源派工程师和贾扬清他们一起做框架优化提升 Caffe 的应用稳定性。贾扬清同意合作他看中英伟达在系统侧的优势。接下来的一年汲取各方的力量的 Caffe走在加速发展的路上。
Google 工作之余贾扬清继续和伯克利的同事们一起维护 Caffe。贾扬清开始重新设计 Caffe 的一些结构使它更模块化更能适配各种环境下部署。有开源社区经验的 Evan Shelhamer 主导和各方进行合作Jeff Donahue 帮助 Pinterest 建立了一个深度学习系统Jonathan Long 给 Caffe 提供了包括 Python 接口在内的诸多新特性……在社区建设上由 GitHub 和 caffe-users 邮件组一起组成了松散、自由的组织依靠 Caffe 的使用者们自发管理。
做 Caffe贾扬清经历了从 0~1 的完整项目经验积累“Caffe 应该算是我第一个 C 的项目。”整体上“对我的锻炼很大从组团开发、到如何推广、如何获取反馈、如何改进流程我亲历了每个环节。”离开伯克利的第二年 5 月贾扬清才终于完成了博士毕业论文。 小镇青年上清华
1984 年贾扬清生在绍兴上虞县。父母都是中学语文老师。1 岁时贾扬清最爱听故事妈妈常拿着图画书给他讲故事。3 岁时贾扬清已识两三百个字常常捧着一本书读得入迷。5 岁父母带他去新华书店贾扬清挑了《安徒生童话》妈妈惊讶地问书里的字你能看懂吗贾扬清点了点头。
贾扬清一家人住在校园安宁平静生活规律。6 点父母起床去守早自习贾扬清也跟着起来了。小学六年级贾扬清从父母所在的学校插班到上虞市中心学校新环境贾扬清感到好奇之余也有点自卑感他更加努力学习想通过成绩来证明自己。中考贾扬清以上虞区第三名的成绩考进春晖中学。
初二流行学计算机尽管学校有机房贾扬清父母还是花 7000 多元给他买了台奔腾Ⅱ。贾扬清凭感觉在机器上捣鼓试装各种软件、玩扫雷游戏……有一次贾扬清去同学家玩看到同学用鼠标在计算机屏幕上的图形界面上点来点去并向他演示自己在学编程贾扬清觉得好玩。回家后他摸索着用 BASIC 写出一个小程序──在方框里输入一个年份数字屏幕上显示出年份所对应的生肖。
计算机让贾扬清觉得“可以创造出一个新东西。”“很开心。”但贾扬清听父母话为高考的目标仍把精力放在学习上。初中语文老师教同学们写文学评论贾扬清把《论西厢记里诗歌的描写和艺术》当选题老师很诧异跟贾扬清的妈妈说让孩子看《西厢记》是否太早了妈妈则说“看吧没关系。”父母教语文贾扬清家里文学类书多他常随意从父母的书架上抽出一本书翻看。拿下一本钱钟书的《谈艺录》翻了翻当然“看不懂又放了回去。”贾扬清看《西方文学史》《荷马史诗》感觉“外面的世界和我生活的小城是不一样的。”贾扬清看《十四行诗》发现西方的诗歌讲究韵脚类似中国古代诗歌平仄。“居然可以相互印证很有意思……”贾扬清一直对文学感兴趣但他选了理科。“比起文科理科可以靠自己的努力走得更远一点。”又或许受当时人人都说“学好数理化走遍天下都不怕”的大环境影响。
高中贾扬清拿到了全国物理和化学竞赛两个一等奖英语也获得了综合能力二等奖。数学不突出父母给他买了“洪恩在线”光盘大量刷题。“不会做的题也会买一整本练习题来做直到熟悉运用为止。”贾扬清数学成绩逐渐好起来获得了全国数学联赛二等奖。
2002 年高考物理试卷的最后一题贾扬清失误了痛失 27 分结果考了 686 分。贾扬清心之所向是清华计算机系在跟清华招生办老师讨论后稳妥起见第一志愿上填写了“清华大学自动化系”。当贾扬清打开通知书看到封面写着“清华是你一生的骄傲”这句话时很开心。 开启人工智能研究
清华图书馆早上 8 点开门7 点多贾扬清已和几位要好的同学站在门前排队等待自习。班里 27 个同学贾扬清成绩很快又排到了前几名。本科四年除了学习贾扬清的生活还是学习。课余贾扬清把微积分当作研究课题做《吉米多维奇数学分析习题集》。
清华信息学院由自动化系、计算机系和电子系组成三个系所学基础科目相同计算机系偏理论和软件。“自动化系本质上就干两件事——烧锅炉和开电梯。烧锅炉要让温度迅速升高到达一定高温后要让温度维持稳定这就是控制理论要解决的问题。开电梯也同理。”
⼤三贾扬清选修了张长⽔教授的《模式识别和智能系统》课贾扬清忽然意识到人工智能最让他着迷的是——从固有经验里突破出去为可能性去探路。“这就有事儿可以干了”而且“人工智能的算法我们只能说以多少正确率、大概去做某些东西的识别很多问题既无知也无解。”贾扬清对“机器学习”产生了浓厚的兴趣。“让机器自动帮人做事把人从低级、重复的劳动中解放出来是一件有趣、有意义的事。”论⽂阅读课贾扬清找到《科学》杂志Science朗读了 Geoffrey Hinton 的《基于神经网络的数据降维》Reducing the Dimensionality of Data with Neural Networks文章。课后贾扬清找“神经⽹络”相关的资料自学他去了解“玻尔兹曼机”等概念……尽管当时在人工智能领域“神经⽹络”处在低潮期。
毕业前夕贾扬清凭兴趣做了一个课程设计——在交通拥挤的情况下识别单辆汽车。若能识别出有多少辆单辆汽车便能判定当前路段的拥堵情况。贾扬清和同学们站在四环路上的每一个天桥上用相机拍了许多经过桥下车辆的照片手工在照片上做标识。“当时还没深度学习我用了计算机视觉的经典方法看识别车辆能到什么程度。”“我觉得这个问题好玩有挑战就去探索也不是上来就能解决掉若是已经有一个正确方法就没意思了。”
2006 年 7 月“好学生”贾扬清本科毕业免试升入本校读硕士研究生。贾扬清跟随张长⽔教授攻读模式识别和智能系统专业正式走上人工智能研究之路。 一人独讲 5 篇国际论文
2008 年 7 月芝加哥计算机国际学术会议。天气炎热穿短袖的贾扬清被会议厅巨冷的空调吹得瑟瑟发抖。贾扬清心里也忐忑不安他要反复上台用英文讲 5 篇国际论文其中 4 篇都是他陌生的领域而台下都是来自世界各地的专业人士。
实验室 5 位同学论文入围但只有贾扬清拿到了美国签证。无奈之下贾扬清只好“依葫芦画瓢”代讲。导师鼓励他“你放心讲得烂别人都不会记得你没那么重要。放心讲就行了。”“搞砸了人家记不住你搞好了人家会说这个人还不错哦” 学术会议上欧美同行乐于主动展示自己的风气对贾扬清冲击很大。国内实验室大家普遍闷头做自己的科研欧美人则非常希望自己的科研让更多人看见他们主动找人攀谈在讲台旁边支起易拉宝努力宣传自己的项目。他们讲起自己正做的事便眉飞色舞眼里放光浑身洋溢着自豪感。贾扬清被深深感染。“我学会了跟别人沟通自己做科研背后的想法。当时我们普遍欠缺这种能力。”
2009 年夏天25 岁的贾扬清从清华研究生毕业一口气申请了十几所国外大学的博士生其中加州大学伯克利分校计算机系提供全奖学校在加州也甚合贾扬清的心意。那时人工智能的研究处于摸索场景应用的初级阶段语音识别、机器翻译、物体识别……就业方向局限在算法领域从事数据科学家、数据挖掘等工作还未单独成为招聘门类。 Google 实习
伯克利研讨会上一位大厂同行主动找到贾扬清说“我们很喜欢 Caffe。代码里居然有单元测试很多时候搞科研的人写出来的代码真是没法看啊但你们写的还不错”这得益于贾扬清在 Google 实习学写代码时养成了好习惯。
每年的 5 月下旬到 8 月伯克利放暑假学生们为培养工业实践经验多数都会去大厂实习。2011 年夏天贾扬清在 NEC 实验室实习第⼀次接触到稀疏编码Sparse Coding贾扬清做了⼀个⾃动学习每个特征的感知域算法在 CIFAR 数据集上获得了当时最好的准确率。
博士二年级暑假Google 邀请贾扬清到公司面试随即便留下实习。Google 的实习分产品工程和研究院两个方向。贾扬清在研究院导师是华人韩玫现任平安科技硅谷研究院院长。贾扬清做图像识别和视觉图像上视频理解的研究和图像搜索的团队一起做精准识别模型致力提升识别的正确率。后来他所参与的工作被集成到 Google Photos 的个人相册里。
置身 Google贾扬清感受到几万名工程师分布式协同工作的极致高效。Google 的工程实践流程体系健全写代码的过程用规范固定下来要求写程序时要把单元测试方式写到旁边方便他人修改后测试要求用标准的格式写文档。短时间内贾扬清写代码的能力被迅速提升。“这一方面得益于我从众多开源软件中学习另一方面我觉得好奇心是衡量学习的普世标准。看到好的代码自己动手试一试多写几次不断改进。”“每个人都有好奇心就像儿童敢吃任何东西是因为儿童没有吃的经验尝试吃新东西的边际收益大世界真美味的欢乐大于偶尔吃到泥巴的苦。”“上了年纪可借鉴的经验数据越来越多就需要用哲学代替经济学用信仰强行将自己置于探索行动中而非总是科学理性地在经验中深度学习选优。”
在 Google 实习贾扬清“一边学东西一边改善生活”。Google 食堂饭菜丰盛有款名为“十磅”的甜点小蛋糕寓意在 Google 待上一年体重会涨 10 斤贾扬清用 Google 的实习工资换了一辆新车。在 Google 养成的良好工作习惯留痕在 Caffe 的代码里。
2013 年贾扬清从伯克利毕业获计算机博士学位。 从 TensorFlow 到 PyTorch
贾扬清到西班牙开会患重感冒深夜去药店买药不懂西班牙语打开 Google 翻译的照相机翻译顺着货架一排排扫描过去居然找到了布洛芬。
紧急情况下用自己开发的功能解决了问题“感觉很奇妙”。Google 收购而来的 OCR 算法本来较简单无法识别复杂的字体和文字在云上识别速度慢贾扬清和作者一起第一次将深度学习 OCR 模型做到了手机上。
2013 年贾扬清入职 Google Brain2023 年 4 月Google Brain 与 DeepMind 合并为 Google DeepMind两年后贾扬清成为 TensorFlow 的创始团队一员。“TensorFlow 第⼀代框架的作者大多还在 Google二代框架做得深入又完备。被 Google 的产品广泛采用。”TensorFlow 被 Google 公司开源一度成为 GitHub 上 Star 数超高的项目。在 Google贾扬清找到了个人的”比较“优势。“我先从 AI 的科研开始和科学家们有共同语言做工程工程师们觉得我写代码不错。”“我能够让两边沟通协作。”
2016 年贾扬清加入 Facebook 公司现 Meta。Facebook 需要搭建一个支持广告、Feed、搜索推荐、图像识别、自然语言处理、混合现实等所有产品的 AI 底座平台。贾扬清的 4 人团队小而高效。在 Caffe 的基础上开发 Caffe2。Caffe2 发布时“增强现实和虚拟现实”突然流行Caffe2 仅用了 2 个月的时间就嵌入了手机端。扎克伯格非常开心亲自发了条动态官宣了艺术家风格转换功能见图 3。这是深度学习⽹络首次在超过 10 亿台手机应用。 图 3 扎克伯格亲自官宣艺术家风格转换的功能
就在贾扬清做 Caffe2 的同时纽约的 Facebook 人工智能研究院主导的 PyTorch 获得成功。2018 年在贾扬清的主导下Caffe2 的后端、PyTorch 的前端、ONNX 的标准合成⼀个完整的框架命名为 PyTorch1.0。“如果说 TensorFlow 像一个庞大又复杂的联合收割机PyTorch 则更像是一辆灵活又便捷的单车。” 问答实录
刘韧机器翻译靠什么突破
贾扬清以往机器翻译依赖建立语法规则实现但两种语言间的句法差异巨大很难用手写的方式穷尽定义语法规则。现在用神经网络再借助互联网收集数据训练神经网络逐步优化、提升其精准度。
刘韧规则方式和神经网络方式不同在哪
贾扬清程序员写规则就会陷入到无尽的规则中进入规则沼泽例外之外还有例外是一个无穷尽的问题。用神经网络用模糊的方式模糊地解决问题再通过数据训练逐步提高预测准确率。
刘韧深度学习和强化深度学习有什么不同
贾扬清强化深度学习意思是如何把将来获得的收益或惩罚回归到现在。
刘韧人工智能会在哪个方向上和人争工作
贾扬清简单重复的人类劳动被替换是个好事人解放出来的时间可以想更多的可能性。达芬奇有幅非常著名的画叫《岩间圣母》Virgin of the Rocks圣母的主体是达芬奇画的背景的花草石头是达芬奇的助手画的达芬奇也需要助手。今天很多画家他画主体再找助手把背景填上去。他也可以让 AI 来填背景。就像达·芬奇的助手一样AI 能提升画家的效率。
刘韧中美的技术差距体现在哪方面
贾扬清好奇心。我们最优秀的人才在追求执行力解决具体问题。欧美人更喜欢搞新东西。不得不承认美国人已经解决温饱很长时间因此他们玩得更多玩得多总能玩出一些新东西。我们在很多方面要追这事急不来。
关于《开源英雄》
《开源英雄》是由 CSDN 创始人董事长、极客帮创投创始合伙人蒋涛发起中国著名 IT 记者、DoNews 创始人刘韧领衔CSDN、《新程序员》联合出品的专访栏目。通过开源开放的 CSDN 写作班深入访谈全球顶尖开源人物为广大开发者传递更多、更高质量的信息透过他们的人生及成长寻找共鸣、共舞开源世界。
自栏目推出至今我们专访了 Vue 作者尤雨溪、LVS 创始人章文嵩、Linux 内核守护者吴峰光、中国 Linux 第一人宫敏、小米开源奠基者崔宝秋、Caffe 作者贾扬清如果你有想让我们报道的开源人物欢迎在 GitCode 上提交 Issues 或 PR。
地址https://gitcode.net/programmer_editor/Open-Source-Heroes
推荐阅读
