背景
今天测试 rtx-5090 性能,很多构建好 vllm, docker 镜像,swift, sglang 版本都起不来。
打算从头手动构建 vllm,遇到很多国内网络不通的问题,比如 github, huggingface, dockerhub 等等。
找了几个解决方案,最后是用 clash 解决的,做个记录。
需要
- 飞机场
如果你没有的话,可以试试我在用的(顺便给我赚点机建费):paofu 速度还不错,价格也便宜。 - Clash 客户端
全称Retrieval augmented generation (RAG)
检索增强生成是指对大型语言模型输出进行优化,使其能够在生成响应之前引用训练数据来源之外的权威知识库。
在一般语境下,Agent通常被理解为代理。
在LLM语境下(LLM-based Agent),Agent可以理解为某种能自主理解、规划决策、执行复杂任务的智能体。
Agent的核心功能,类似人类“做事情”的过程,可以归纳为三个步骤的循环:
感知(Perception)、规划(Planning)和行动(Action)。
实际上,我们并不在乎Agent的具体形态,只要它能够完成我们交给它的任务即可称之为Agent。
more >>
因为 python 的性能问题,项目本身对于效率要求比较高,最近想把一些算法工作迁移到 go 实现。
然而在 go 版 TensorFlow 的安装上就花了我一天的时间解决各种问题。
记录一下在 macos-arm64 系统下该如何正确安装 golang 版 TensorFlow。
最近给手头上的 M1 电脑安装 TensorFlow 环境,折腾了好多遍,miniconda 安装了很多次,终于在今天成功了。
借此机会分享出来,希望能帮助大家早日填好坑。
几周前的某一天,发现 GitHub 支持一键使用 web 版 VSCode 打开仓库,只需要按下“.”按钮便可一键打开,同时域名 .com
后缀会变成 .dev
。
如果你的 VSCode 配置了 Settings Sync, VSCode 还会自动同步你的配置和插件,这样在线编程的体验和本地基本一致(如果想要在线运行还可以打开 Codespaces 开发环境)。
看到 VSCode 这么优秀,不仅免费开源、跨平台、还有非常优秀的插件生态,我突然产生了兴趣想去搞懂它底层的运行机制,尤其对它强大的可扩展性特别好奇。
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录(注意不是yilia根目录)执行以下命令:
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置:
jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true