网络爬虫app在线网页爬虫工具网络编程技术总结

　　对此，袁进辉已经在采访中坦言，“推理框架是兵家必争之地，各人都有掌控它的希望

　　对此，袁进辉已经在采访中坦言，“推理框架是兵家必争之地，各人都有掌控它的希望。在做硅基活动之前，我们的合作敌手就是这些搞框架的大厂。”

　　为了与 Open-Sora 完成交互，潞晨科技还供给了能够自行一键布置的 Gradio 使用。Gradio 作为一个 Python 包，许可开辟者经由过程界说模子的输入和输出，主动天生一个网页界面。

　　而海内的付费风俗则遭到管帐系统的影响，企业很难给无实体的软件订价——海内财政做预算制，会采购牢固资产，而软件凡是作为效劳而非牢固资产。

　　在散布式深度进修框架的创业范畴，真正可以完成打破的团队屈指可数，袁进辉和尤洋能够说是最早动身的那一批人。

　　在外洋，曾经有了一套为定阅软件付费的成熟办法：用户经由过程信誉卡每月缴费后，背景体系就会主动发送软件，见告怎样停止后续操纵下载装置。在海内与客户协作却只能走不成连续的项目制。

　　同在这一年，袁进辉也在与圈内助会商时提到，当深度进修模子的参数变得愈来愈大后，模子的锻炼就不是TensorFlow收集编程手艺总结、MXNet 或 Caffe 等框架能操作把持的。

　　谈及此中启事，袁进辉曾深思道，“手艺上的猎奇心在 OneFlow 期间已满意，还未满意的、未完成的希望寻求次要是贸易层面。作为一个创业公司，素质上终极要看贸易胜利，仍是要让客户用真金白银来投票。”

　　彼时的 OneFlow 从头界说了散布式计较的完成方法，完成了让多卡散布式体系编程变得像单卡一样直观和便利。

　　基于此，Colossal-AI 体系供给同一的并行锻炼推理体系，以协助开辟者完成数据并行、管道并行在线网页爬虫东西、张量并行和序列并行等多种并行手艺的无缝集成。

　　2023 年，跟着 ChatGPT 的横空出生避世，“百模大战”打响第一枪。而因为大模子有必然门坎，袁进辉在综合思索资金、资本整合和贸易化成绩后，挑选了和王慧文协作，OneFlow 并入光年以外。

　　俗语说，淘金先富卖铲人，谁都想在这场 AI 海潮中“分一杯羹”，不但巨子在争当“卖铲人”，也有很多创业公司从中发明了新的机缘。

　　假如将大模子使用开辟比做“淘金”，那末构建大模子基座所必须的算力和东西系统，则是不成或缺的“铲子”。

　　也就是在这年，尤洋带来了潞晨科技的新故事，彼时研讨高机能计较的他方才从美国加利福尼亚大学伯克利分校结业并得到博士学位。

　　“有亮点但不敷以改变场面。”袁进辉曾如许评价，“ PyTorch 生态和高低流完整，综合来讲，必定是基于 PyTorch 去干事情，更有益于产物的推行。”

　　从本钱方面思索，锻炼大模子在资金、GPU 等方面的高门坎，让对口的公司不计其数，而且客户集合、议价才能很强，创业公司的贸易化并欠好做。与之比拟，有宏大的算力不是进入推理Infra范畴的条件早提。

　　别的，锻炼有阶段性限定，数据集较为牢固，而推理具有连续性，效劳上线后数据是无尽头的，只需用户利用便不会截至。以 OpenAI 为例，在推理阶段，其一天能天生 1-2 万亿 tokens，一周天生的数据量就可以超越锻炼的数据量。

　　别的，海内由渠道决议贩卖，仅做出引擎还不敷，得是产物形状，以是在海内需求耗损产物贸易化探究的资本。而外洋优先思索产物力，做出环球有合作力的产物在外洋就可以卖。

　　晚期，硅基活动次要推行大模子推理引擎，因为外洋的付费风俗、贸易形式都较为成熟，推行也相对更简单。

　　而面临 GPT-3 的出生避世，尤洋也有一种预判——将来大模子很主要，限定大模子在各行业落地的难点必定是计较本钱。他也因而萌发了展开大模子相干创业的设法在线网页爬虫东西。

　　这也同潞晨科技的转型思绪不约而合——仅靠单一的锻炼东西供给，就算机能再壮大也不敷以站稳脚根，客岁底，潞晨也测验考试推出了训推大模子一体机，为客户供给团体的大模子训推计划。

　　2020年，在 OneFlow 期间，袁进辉率领团队做过许多测验考试——推出过大范围模子锻炼开源东西箱 Libai（李白）等产物，做过面向范畴的加快计划，也有如 AI 开辟平台 OneBrain 等产物。

　　他们二人并肩作战的光阴也其实不长，同年，光年以外被美团收买，坚决创业幻想的袁进辉则挑选了出走重整旗鼓。

　　尔后，好不简单找到打破口，却因短少前提或错过工夫点，使得推行艰难、贸易化程序迟缓。终极，OneFlow 仍是没能构成支出。

　　相称于站在前人肩膀上，潞晨科技在 PyTorch 根底上从头完成了散布式，所做的内容也更切近开源社区。

　　区分于 OneFlow 期间以通用锻炼框架为主，效劳深度模子的消费，硅基活动将重心安排在推理层，效劳大模子使用。其所推出的推理框架 SiliconLLM 作为重新搭建的第三套体系，完整自力于 vLLM 和 TensorRT-LLM 两个支流框架以外。

　　此中，在加快计较赛道，袁进辉率领的硅基活动与尤洋兴办的潞晨科技可谓典范代表，在他们以外，海内晚期能做出散布式体系的团队并未几。

　　值得一提的是，为促进贸易化历程，潞晨科技进一步拓展了产物邦畿，正式推出了文生视频大模子 Open-Sora。比照而言，硅基活动则并未公然过大模子。

　　今朝，从行业共鸣上来看，基于软件做产物和贸易形式上的探究，需求将软件和用户不能不付费的工具分离在一同才可行。

　　差别于袁进辉重新自研框架的思绪，一样对准加快计较赛道，尤洋率领的潞晨科技则挑选了间接基于 PyTorch 打造大模子锻炼推理加快体系 Colossal-AI。

　　袁进辉曾向 AI 科技批评阐发，“如今模子逐步收敛，实在各人的模子构造险些一样了，以是我们的新营业不寻求十分通用的模子，重点就是撑持经济代价、贸易代价最大的模子。”

　　不管是在私有云仍是私有云上，统统都与算力挂钩，一切做产物或使用的客户都要为 GPU、算力、云付费，因而能够把软件和云或算力打包，以效劳用度的情势红利。

　　OneFlow 所做的底层框架，固然 API 与 PyTorch 不异，但底层的算籽实现与框架从上到下的每份代码都是袁进辉率领团队本人写的。

　　虽然云云，袁进辉如故非常悲观：“固然产业尺度没有弄成 PyTorch 的尺度职位，但仍是把手艺的一个无人区、没人探究的工具提早好几年做了，前面也酿成真正盛行开来。”

　　而在云平台营业的展开上，硅基活动无需租用云资本并下载模子，潞晨科技则挑选了展开算力租赁营业，在此根底上帮助模子锻炼、微调、推理加快。

　　可是，开辟外洋市场也意味着要有比在海内更强的合作力，是机缘，也是应战——美国在 AI Infra 的每一个细分赛道都有十分强势的公司，挪动端布置有 AutoML、云端推理效劳有 TogetherAI、FireworksAI、编译器有 ModularML 和 TVM、硬件加快有各类差别的 MPO 公司。

　　不外，在方法上仍是和潞晨科技存在些许差别。硅基活动在大标的目的上的挑选相对简单——间接和别人协作做一体机，主打在效劳器厂商做一体机时，将产物集成出来再让厂商付费。

　　近期，在外洋跑出花样后，硅基活动也优先在海内上线了 SiliConCloud（），而且播种了较为不错的增加势头，日Token天生量达上百亿，今朝已在外洋“登岸”。

　　单就推理框架方历来看，也需求与包罗陈天奇的 OctoAI 、贾扬清的 Lepton AI 等在内的一众创业公司睁开合作。

　　而关于潞晨科技而言，不断以来都次要采纳对海表里营业场景量体裁衣在线网页爬虫东西、同步开展的计谋，在国表里积聚中心客户案例和用户口碑。

　　这也是晚期在聚焦锻炼时，两者最较着的区分地点。现在，大模子“卷”入下半场，正视推理已成为业内共鸣。

　　关于此中启事，尤洋已经向 AI 科技批评注释称，“一方面，把开源社区做好，的确缔造了更大的代价，即便免费也有许多人用；另外一方面，公司终极必定是想上市的，素质上 AI 在 To B 方面最中心的合作力是要和用户成立强信赖绑定干系。”

　　而 PyTorch 的普通化水平，也使得潞晨科技更容易于被承受，与之比拟，OneFlow 则较为小众，吸收开辟者的难度相对较高，就此构成了两者晚期的差别。

　　比照 OneFlow 最后便开源，硅基活动在开源版以外，推出了付费版本以完成免费方面的打破。

　　这也是硅基活动基于云完成红利的一套思绪——推出大模子 API 按需付费的形式，无需租用云资本并下载模子而间接利用 SIliconCloud API，助力开辟者加快开辟天生式 AI 使用。

　　可是，时机不等人，待到次年手艺充足刺眼时，本钱却先一步沉着下来了。气力之上，袁进辉毕竟缺了点命运。

　　海内客户偏好为软硬一体付费，沿着这条途径比单卖软件状况会好一些，固然从团体毛利来看，硬件占比占多数，但对软件的售卖是无益的。

　　直到 2021 年，尤洋的这一设法才正式落地。7 月，他兴办了潞晨科技，并率领团队进一步鞭策了散布式计较的鸿沟。

　　本年3月，潞晨科技颁布发表推出开源类 Sora 架构多模态视频模子——Open-Sora，一经推出便获得业内诸多存眷，抢占大波市场热度。

　　工夫来到 2021 年，这一年， 是 AI Infra 和开源投资的高潮期在线网页爬虫东西，高瓴本钱也在这时候投资了 OneFlow，袁进辉却并未多拿钱，他仍是期望先精进妙手艺后再融资。

　　今朝收集编程手艺总结，外洋各个 AI Infra 公司都可以经由过程云来红利，照观海内，这条途径也存在必然可行性。

　　按照潞晨官方测试，ColossalAI Platform 能帮助大模子预锻炼本钱低落 50%在线网页爬虫东西，根底设备本钱低落10倍，硬件需求本钱低落10倍，项目上线倍。雷峰网(公家号：雷峰网)雷峰网

　　除文本天生模子外，Colossal-AI 的推理框架还撑持了包罗Stable Diffusion3在内的多种图象天生模子的优化。硅基活动则在应战框架大厂方面“野心”尚存。

　　值此之际，两者在打法上又呈现了些许差别。持续团队晚期的思绪，硅基活动的推理框架 SiliconLLM 还是自力于支流框架 vLLM 和 TensorRT-LLM 外的第三套体系，潞晨科技则专注基于 Colossal-AI 框架停止优化。

　　而 2021年正式入局的尤洋，则挑选了一种更加谨慎而高效的方法——在PyTorch这一成熟框架的根底上，停止散布式计较的立异与开辟。

　　而在推理需求逐渐上升确当下，纵观环球，较为支流的推理引擎包罗英伟达的 TensorRT-LLM 和伯克利大学开源的 vLLM 两种，外洋很多 AI Infra 公司都在两者的根底长进行优化。

　　散布底层的 API 挪用也是 PyTorch，尤洋及其团队所做的次要是将上层的算子重写并优化通讯服从及显存占用，让散布式计较愈加高效和易于利用。

　　同时，海内即使是市场化的企业，也更偏向于提早订价，偏好一次性买断。外洋则不风俗预支，更倾向于“用一付一”。

　　潞晨科技此前为何能红利？缘故原由有两点。“一是潞晨的价钱比其他公司自制，二是潞晨不但单供给大模子的构建才能，还供给底层 AI Infra 的锻炼才能。”知恋人士向 AI 科技批评阐发。

　　本年 2 月，两者正式协力推出⼀体化的 AI 开辟和布置平台——ColossalAI Platform 和潞晨昇腾训推一体机，以赋能传统企业在当地经由过程私无数据锻炼、微调私有垂类大模子。

　　“如今险些天天都有老外的邮件过来洽商，网站注释了是怎样免费的，但仍是有其他成绩需求洽商，他们也会问愿不情愿用其他方法，总之协作挺多。”袁进辉曾对 AI 科技批评引见。

　　从海内来看，潞晨科技今朝以传统行业客户为主。在尤洋看来，传统的车厂、药厂、石油公司、金融机构是有持久付费志愿的。终极，AI 要完成落地，传统行业是不成或缺的使用处景。

　　不外，袁进辉一直抱着悲观的心态：海内软件贸易化的门路并不是不存在，只是如今还没有人探索出来一条明晰可行的途径。

　　据其称，Open-Sora 可以低落 46% 复现本钱，并将模子锻炼输入序列长度扩大至 819K patches。

　　当前，锻炼的“天花板”在全部行业的鞭策下曾经明白，而推理的实践程度与实际程度间仍存有较大差异。

　　从工夫线 年开启创业之旅的袁进辉挑选了突破把持、应战巨子 Meta，其所率领的 OneFlow 也以 Pytorch“应战者”的姿势退场，重新自研锻炼框架。

　　起首，基于开源社区被动获客的性子，潞晨科技在外洋不太需求自动拓展市场，当前在中国、西欧、中东和东南亚都有客户在线网页爬虫东西。

　　就当下状况来看，在海内如若只卖“铲子”，许多厂商不会买账，最好的解法即是将锻炼与推理做成一整套东西箱，再共同大模子去卖。

　　沿着这条途径走，潞晨科技旗下的云平台——潞晨云（），则挑选了展开算力租赁营业，在此根底上帮助模子锻炼收集编程手艺总结、微调、推理加快。

　　2017 年 1 月，袁进辉带着团队正式起程创业，他亲身定名并在北京兴办了 OneFlow。

　　“Colossal-AI 锻炼大模子的道路曾经在挣钱，”尤洋此前向 AI 科技批评流露，“如今我们曾经有许多天下 500 强、2000 强的客户，包罗海内这几家创业公司都是我们的潜伏客户，像阿里通义千问、百度文心一言、MiniMax 能够都用过 Colossal-AI 了。”

　　除此以外，也有业内助士报告 AI 科技批评，“OneFlow 不依靠开源社区，许多基座都是本人做的，以是许多公司假如模子是用 PyTorch 写的，就不太能够会用 OneFlow，除非 OneFlow 跟这家公司大概其他大厂协作。”。

　　潞晨科技对峙晚期聚焦锻炼期间的立异思绪，挑选了基于 Colossal-AI 框架停止研发迭代。本年 5 月，其开源了针对最新 LLaMA-3 模子的推理加快计划，比照支流 vLLM 框架吞吐量能够进步 40% 以上。

　　工夫回到 2020 年6 月，其时，OpenAI 公布了环球范围最大的预锻炼言语模子 GPT-3，考证了袁进辉晚期概念的准确性。

　　值得一提的是，乘着 Sora 的“春风”，潞晨科技进一步拓展了营业邦畿，正式入局了文生视频大模子。

　　举例来说，大模子锻炼的算力操纵率MFU实际上最多为 60% 阁下，而当前英伟达等企业经由过程结合优化，能完成 40%~50%，可提拔空间仅剩下 10%~20% ，但推理的提拔空间最少是十倍。