大牛谏言 Instructions for PhD Students

摘要: Dimitris Papadias是港科大的教授,陶宇飞的导师。他写过一个slides,叫作《Instructions for PhD Students》。虽然是这位大牛是做数据库方向的,但是他的谏言对于每一个博士生都非常有用。置顶,每天欣赏一遍。

阅读更多

Buffer of Thoughts - Thought-Augmented Reasoning with Large Language Models

摘要: 本文介绍了Buffer of Thoughts(BoT),这是一种新颖且多功能的思想增强推理方法,用于提高大型语言模型(LLMs)的准确性、效率和鲁棒性。具体来说,我们提出了meta-buffer,用于存储一系列从不同任务的问题解决过程中提取的有用高级思想,即thought-template。然后,对于每个问题,我们检索相关的thought-template,并自适应地用具体的推理结构实例化它,以进行高效推理。 为了保证可扩展性和稳定性,我们进一步提出了buffer-manager,用于动态更新meta-buffer,从而随着更多任务的解决,增强meta-buffer的容量。 我们在10个具有挑战性的推理密集任务上进行了广泛的实验,取得了显著的性能提升:在24点游戏中提高了11%,在几何图形中提高了20%,在一步将军中提高了51%。进一步的分析表明,我们的BoT具有卓越的泛化能力和模型鲁棒性,而其成本仅为多次查询提示方法(例如,tree/graph of thoughts)的12%。 值得注意的是,我们发现我们的Llama3-8B + BoT有可能超过Llama3-70B模型。

阅读更多

TinyCudaNN

摘要: TinyCudaNN是一个用于训练和查询神经网络的小型、自包含框架。最值得注意的是,它包含一个极快的“全融合”多层感知机(技术论文)、一个多功能的多分辨率哈希编码(技术论文),以及对各种其他输入编码、损失函数和优化器的支持。

阅读更多

3D point network distillation from an open-vocabulary 2D image model via 3D fusion

摘要: “a 3D point network distilled from an open-vocabulary 2D image model through 3D fusion”指的是通过三维融合技术,从一个开放词汇的二维图像模型中提炼出一个三维点网络。在这种情况下,”distilled”表达的是从二维模型中提取和转化信息到三维模型的过程。”3D fusion”则是指结合多个来源或多种类型的数据来增强三维点网络的构建或功能。总的来说,这一技术通过结合二维视觉数据和三维处理技术,实现对三维场景的更精确理解和表示。

阅读更多

gcc与g++的编译及配置

摘要: 在本文中,笔者回答了编程环境配置中的常见问题,即在无root权限情况下,在非系统路径中部署一个与系统默认版本不同的gcc或g++,然后只在我们自己使用时显式指定这个高级版本的库。

阅读更多

MinkowskiEngine安装与配置

摘要: 本文是关于一个巨麻烦的库MinkowskiEngine的安装与配置。在当前时间下,许多新版本的库和系统都用不了这个工具,所以作者甚至直接release了一个docker环境。真的巨麻烦!

阅读更多

Conda Pack

摘要:

移植python环境一般用于以下两种情况:

  1. 别人要运行你的代码,但是没有你的python环境,如果要一个一个python包进行安装,则非常麻烦,并且有时候还安装出现问题。
  2. 有一个包始终安装不上,但是在你的另一个python环境下有,或者在别人的环境中存在,这个时候就可以将python环境打包,移植到你的电脑上,然后激活该环境,运行对应的项目。
阅读更多