如何在 15 分钟内完成整个英文 Wikipedia 的嵌入
Modal 官方工程博客展示了用 Hugging Face Text Embedding Inference 在 Modal 无服务器平台上为整个英文 Wikipedia 生成嵌入向量的方案,耗时不到 15 分钟,成本约 15 美元。
Modal 官方工程博客展示了用 Hugging Face Text Embedding Inference 在 Modal 无服务器平台上为整个英文 Wikipedia 生成嵌入向量的方案,耗时不到 15 分钟,成本约 15 美元。
LlamaIndex 作者将 25K 文档的索引构建时间从 10-20 分钟降到约 5 分钟,方法是部署 TEI 嵌入服务、RabbitMQ 队列和 EKS worker 集群。文章给出完整架构、CLI 命令和代码仓库 https://github.com/run-llama/llamaindex_aws_ingestion,测试数天花费约 $40CAD,并提醒用完后删除集群资源。
LlamaIndex 发布教程,展示如何用 text-to-SQL 数据集微调 Llama 2 并接入 LlamaIndex 对任意 SQL 数据库做结构化分析。
推荐理由:原文给出了微调 Llama 2 做 text-to-SQL 的完整技术栈和前后对比示例,可帮助读者评估微调对结构化分析场景的实际收益。
LlamaIndex 团队为 Transformers Agents 实现了一个 Text2Image Prompt Assistant 工具,通过索引 10K 条 DiffusionDB 提示词,让 LLM 参考示例改写提示词后再生成图像。
Hugging Face 联合 EleutherAI 与 Stability AI 委托 Trail of Bits 对 Safetensors 库完成独立安全审计,结果证实该库安全可靠,具备成为默认格式的条件。三方组织宣布将推动 Safetensors 作为模型保存的默认格式。完整审计报告已公开发布,相关博客文章将进一步阐述该库的技术背景与后续实施计划。