AI & Law@ai_and_law · Post #723 · 15.12.2025 г., 08:04
📖AI Systems Surpass Human Lawyers in Legal Research Performance
A new study by Vals AI compared four legal AI products and ChatGPT against a control group of practicing lawyers performing legal research tasks. All AI systems outperformed the Lawyer Baseline across accuracy, authoritativeness, and appropriateness. Lawyers achieved a median aggregate score of 69%, while ChatGPT scored 74%, Midpage 76%, Alexi 77%, and Counsel Stack ranked highest at 78%. Notably, general-purpose ChatGPT delivered the most accurate answers on many question types, despite losing points on authoritativeness and appropriateness.
The study has been criticized for not including widely used legal AI tools such as Harvey, Legora, Thompson Reuters’ CoCounsel, or LexisNexis Protégé, and for evaluating only ChatGPT among frontier general-purpose models. Even with these limitations, the results highlight measurable performance gaps already emerging between human legal research and current-generation AI systems.
#LegalAI#LegalTech
AI & Law@ai_and_law · Post #575 · 22.05.2025 г., 07:04
📖LegalAI: Misplaced Expectations?
In their new paper, "Promises and Pitfalls of Artificial Intelligence for Legal Applications," two Princeton professors challenge the narrative that AI is poised to transform the legal profession. Their core argument: the current evidence simply doesn’t support the hype. While AI handles low-level tasks like document review, translation, and summarization with growing efficiency, it continues to fall short on complex functions such as legal reasoning, judgment, and prediction.
The researchers highlight a deeper problem—benchmarking LegalAI is fundamentally flawed. Many evaluation tools rely on limited data, ambiguous metrics, or artificial test conditions that don’t reflect real-world legal practice. The risk isn't that AI will fail in law, but that we're investing our attention in the wrong areas.
#LegalAI#LegalTech
AI & Law@ai_and_law · Post #207 · 05.01.2024 г., 08:04
Former Trump Lawyer Cites Fake AI-Generated Cases
Hello, everyone! Michael Cohen, former lawyer to Donald Trump, inadvertently included fabricated court cases in a legal document presented before a federal judge. The cases were generated by Google's AI chatbot, Bard, which Cohen apparently confused for a highly advanced search engine.
Cohen sought to reduce his three-year probation, but the judge revealed that "none of these cases exist." In response, Cohen explained that he used Google Bard for legal research, assuming it was a robust search engine. Unaware of the potential for AI-generated content, he sent his findings to his lawyer, David Schwartz, who included the fictitious citations in the motion. Now, Schwartz faces potential sanctions for the inclusion of these false references.
#AILaw#LegalTech#AIandLaw#LegalAI
AI & Law@ai_and_law · Post #614 · 15.07.2025 г., 07:04
📖 LLMs Are Bad Judges
A new paper from researchers at Harvard and the University of Chicago, "LLMs Are Bad Judges. So Use Our Classifier Instead,” challenges the prevailing optimism around large language models in legal contexts. The authors expose how LLMs suffer from extreme "prompt variance", producing inconsistent legal conclusions depending solely on question phrasing. In Jonathan Choi’s experiment, ChatGPT responded to the same five legal questions—each reworded 2,000 times—with widely divergent answers.
The authors argue that the future of legal AI lies not in chatbots but in **"domain-specific classifiers" like their system, "Arbitrus". Unlike LLMs, Arbitrus passed a “mini-Choi” test with total consistency and zero hallucinations. Their core claim is bold: "consistency—not creativity—is the defining trait of a qualified judge", and any AI system entering legal decision-making must meet that standard first.
#LegalAI#LLMs#LegalTech
AI & Law@ai_and_law · Post #205 · 02.01.2024 г., 08:04
U.S. Supreme Court Chief Justice Urges 'Caution' Amidst AI Impact on Legal Landscape
In a year-end report, U.S. Supreme Court Chief Justice John Roberts highlighted the transformative influence of artificial intelligence on the legal field. While acknowledging AI's potential to enhance access to justice, revolutionize legal research, and expedite case resolutions, Roberts underscored the importance of "caution and humility" in navigating the evolving landscape.
Roberts expressed a nuanced perspective, foreseeing a significant impact of AI on judicial work, particularly at the trial level. Despite the potential benefits, he emphasized the need for prudence due to privacy concerns and AI's current inability to replicate human discretion. The chief justice noted recent incidents where AI-generated content, known as "hallucinations," led to lawyers citing non-existent cases in court papers, stressing the imperative of avoiding such inaccuracies.
Chief Justice Roberts advocates a measured approach, recognizing its potential while urging the legal community to navigate the changes with care and attention to ethical considerations.
#AIlaw#LegalTech#LegalAI#AIChallenges
AI & Law@ai_and_law · Post #146 · 24.10.2023 г., 07:04
AI-Generated Defense Fails Rapper in Federal Trial
Hello, AI & Law community! Rapper Prakazrel "Pras" Michel, convicted of federal crimes tied to a foreign influence campaign, claims he deserves a new trial because his attorney employed an experimental AI program to construct his closing argument. This move did not go as planned. Michel's new legal team asserts that this AI-generated defense was ineffective, resulting in a frivolous argument.
Michel's trial counsel, David Kenner, stands accused of not delivering a solid defense. Beyond the use of AI, he was criticized for failing to understand the facts and allegations surrounding the case. Kenner used an experimental AI program, possibly with financial interests involved, to create his closing argument. The use of this AI technology in a federal trial marks a first, but it resulted in a closing argument that made frivolous claims and overlooked critical aspects of the government's case, severely damaging the defense.
This AI-related incident echoes a prior case where an attorney admitted to using AI to draft court filings that cited six non-existent cases, generating concerns about AI's role in legal proceedings. The AI program in question was developed by EyeLevel.AI and was praised for its ability to offer insights faster than conventional means. However, it appears that its use led to unintended consequences in Michel's case. The revelations from this trial might shape the conversation around AI's role in legal defense. Stay tuned for more on this intriguing development!
#AI#AIinLaw#LegalAI#PrasMichel
AI & Law@ai_and_law · Post #119 · 22.09.2023 г., 07:04
Canada Enacts New AI Rules for Public Servants
Hello, AI & Law subscribers! The Canadian federal government has introduced fresh guidelines for its employees using AI tools like ChatGPT. Treasury Board President Anita Anand emphasized the need for responsible AI usage and pledged to monitor AI applications to prevent bias or discrimination.
These guidelines provide preliminary directions and will be updated as required. While there are no current penalties for non-compliance, existing legislation like the Privacy Act could apply. The guidelines remind employees of their legal obligations and aim to supplement them.
The guidelines define generative AI as technology producing text, audio, code, videos, or images for various purposes. Caution is advised when using AI for public communications or decision-making.
Departments must inform users when AI tools are employed, document decisions, and provide explanations if AI supports decision-making.
Anand assures that AI is not meant to replace jobs but to enhance employee work. Unions stress the importance of consultation and upskilling if AI leads to job changes.
#Canada#AIRegulations#AIUsage#LegalAI
AI & Law@ai_and_law · Post #190 · 15.12.2023 г., 08:04
In UK Court Rejects Appeal Based on Fabricated AI Cases
Greetings everyone! In a recent legal development, a woman's attempt to appeal a penalty for capital gains tax using nine "fabricated" ChatGPT-generated cases has been rejected by the court. Felicity Harber faced a £3,265 charge for failing to pay tax on a property sale. However, the court found that the cases she presented were artificial intelligence fabrications.
During the appeal, when questioned about the use of AI, Mrs. Harber acknowledged its possibility as she received the fabricated cases from a friend in a solicitor's office.
Despite Mrs. Harber's claim of unawareness regarding the cases' validity, her appeal was dismissed. The judge, Anne Redston, highlighted the seriousness of presenting invented judgments, stating that while the outcome might have been the same, citing fake authorities remains a significant issue. The court recognized Mrs. Harber's lack of knowledge in verifying the cases' validity through legal search tools.
This incident reflects a broader challenge posed by AI tools like ChatGPT, known for their "hallucination problem" where false information is generated. Earlier instances, including a UK judge's admission of using ChatGPT in judgments and American lawyers penalized for AI-generated fake citations, underscore the need for caution in relying on AI-generated content in legal contexts.
#AIinLaw#LegalTech#ChatGPT#AIGovernance#AIAuthenticity#LegalAI
AI & Law@ai_and_law · Post #223 · 24.01.2024 г., 08:04
Canada's Legal System Faces AI-Generated Fake Cases
Hello, everybody! Canada grapples with its inaugural case of artificial intelligence fabricating fictitious legal cases. Lawyers Lorne and Fraser MacLean uncovered counterfeit case law in a civil proceeding at B.C. Supreme Court, marking a potentially disruptive episode for the legal community.
Allegedly, lawyer Chong Ke employed ChatGPT to draft legal briefs, unwittingly generating non-existent cases submitted to the court. This incident, with implications for a high-net-worth family matter, underlines the perils of unchecked AI material in legal proceedings. The fallout could include financial waste, resource drain, and erroneous judgments. The incident prompts a crucial reckoning on the reliability of AI tools in legal practice.
#AIGeneratedCases#LegalAI#CanadaLaw#ChatGPT#LegalTech
«ИИ убьет всех юристов».
"Формулировка резкая, но пройти мимо сложно.
Один опытный KC (King's Counsel) рассказывал: он загрузил в Grok Heavy сложную апелляционную жалобу по гражданскому делу, которую сам писал полтора дня. Через 30 секунд ИИ выдал версию, которая, по его ощущениям, была лучше. Вывод KC был жесткий: право «закончено почти для всех», а племяннице он бы не советовал даже начинать юридическое образование.
Тревога понятна. Она реальна.
ИИ действительно:
съедает ту самую «черновую» работу, на которой раньше учились младшие юристы
сжимает дни ресёрча и драфтинга до минут
вскрывает хрупкость модели «время = ценность» и биллинга по часам. Но диагноз «право закончено» — неверный. Происходит другое. ИИ разрезает юридическую работу на части.
- Драфтинг, ресёрч, ревью документов становятся дешевыми, стандартизируемыми и легко масштабируемыми
- Суждение, контекст, стратегия, убеждение и принятие ответственности за последствия становятся дефицитом
- Управление рисками, подотчетность и доверие выходят на первый план, а не исчезают.
Настоящая угроза профессии — не ИИ. Настоящая угроза — отрицание.
Подготовка молодых юристов под процессы, которые не будут существовать в масштабе
Защита устаревших бизнес-моделей вместо их пересборки.
Отношение к ИИ как к игрушке, а не как к основанию для новых процессов, ограничителей и этики. Поэтому главный вопрос сегодня не «Заменит ли ИИ юристов?». Гораздо важнее другое: кто уже сейчас проектирует AI-native роли юристов, обучение и бизнес-модели, а кто просто ждет, пока автоматизация обойдет его стороной?
И еще один неудобный вопрос.
Что сами юристы делают, чтобы защитить свою профессию?
Если вы GC, партнер или студент-юрист — как вы меняете представление о том, что сегодня значит «хороший юрист»?"
Jean Gan, основатель Global Legal AI
#LegalAI#FutureOfLaw#InHouseCounsel#AIGovernance#GenAI
💼💥 Юристы тратят часы на переписывание рискованных пунктов договоров — но теперь это можно сделать одним промптом.
Представляем Clause Surgeon: инструмент, который моментально находит риски и предлагает готовые редлайны в английских договорах.
Мастер-промпт:
"You are a Magic Circle–calibre contract editor. Given the CONTRACT TYPE = [CAPS], JURISDICTION = [ENGLISH LAW], COUNTERPARTY POWER = [STRONG/MEDIUM/WEAK], and RISK TOLERANCE = [LOW/MEDIUM/HIGH], review the CLAUSE:
"""[PASTE CLAUSE]"""
1. Diagnose risks in a bullet list tagged [Severity: Low/Med/High] with citations to standard practice.
2. Offer two alternative rewrites: (A) Aggressive pro-client, (B) Balanced market-standard.
3. Add a one-paragraph client-facing rationale in plain English.
4. Provide a redline version if possible.
5. Output JSON too: {“risk_tags”:[], “severity_max”: “High/Med/Low”, “pick”: “A/B”, “one-line”: “…”}.
Style: concise, precise, no fluff".
Попробуйте этот промпт на практике и поделитесь результатом — покажите, как Clause Surgeon лечит рискованные пункты.
#EnglishLawReport#LegalPrompts#ContractDrafting#PromptEngineering#ClauseSurgeon#LegalAI#MagicCircleStyle#EnglishLaw
⚖️Как обучить Chat GPT под свой юридический профиль
(или как превратить его в личного стажёра)
Многие юристы используют Chat GPT как поисковик.
А зря.
🔹Настоящая сила Chat GPT — не в том, чтобы отвечать на вопросы, а в том, чтобы думать вместе с вами.
Чтобы это стало возможным, нужно его обучить — под вашу специализацию, стиль, формат работы.
1️⃣ Почему это важно
Без настройки Chat GPT — просто “умный болтун”.
С настройкой — он становится вашим цифровым ассистентом, который:
пишет в вашей манере,
рассуждает по вашей логике,
предлагает решения в духе вашей практики.
⚙️ Настройка Chat GPT — это как onboarding нового юриста в команде.
Ему нужно объяснить:
кто вы,
чем занимаетесь,
какие стандарты важны,
как вы мыслите.
2️⃣ Создайте свой “профиль взаимодействия”
Это как описание должности для вашего ИИ.
Попробуйте такой стартовый промпт 👇
“Ты — юридический аналитик, обученный работать в сфере международного арбитража и английского права.
Твоя задача — помогать мне анализировать документы, выявлять ключевые аргументы и формулировать стратегию защиты.
Пиши в профессиональном и сдержанном тоне, как юрист Magic Circle.
Проверяй аргументы на внутреннюю логику и указывай, где нужна ссылка на источник.”
💬 После этого Chat GPT начнёт отвечать как помощник юриста, а не как энциклопедия.
3️⃣ Подайте контекст
📄 Чтобы Chat GPT “чувствовал” вас, дайте ему ваши материалы:
фрагмент клиентского письма,
выдержку из вашего юридического мемо,
образец отчёта,
словарь ваших профессиональных терминов.
Это помогает создать ваш язык — ту тональность, по которой клиент узнаёт ваш стиль.
4️⃣ Дайте ИИ роль в команде
Chat GPT — инструмент, но и персонаж.
Попробуйте роли, чтобы варьировать мышление:
👨💼 “Ты — младший юрист: найди ошибки в моём тексте.”
👩🏫 “Ты — преподаватель юридического письма: оцени структуру.”
⚖️ “Ты — партнёр фирмы: сократи и усили аргументацию.”
Вы удивитесь, насколько меняется результат, когда ИИ “понимает”, кем он должен быть.
5️⃣ Думайте через Chat GPT
Не просите “ответы” — просите мышление.
Примеры:
“Какие возможные аргументы противоположной стороны?”
“Какое слабое место в этой позиции?”
“Какие три сценария развития дела возможны?”
🧩 Вы получите не только текст, но и карту юридического мышления, где вы — стратег, а Chat GPT — аналитик.
6️⃣ Результат
Через несколько таких сессий у вас появится личный ИИ-ассистент, который:
говорит вашим языком,
подстраивается под ваш стиль,
помогает вырабатывать позицию, а не просто текст.
Это уже не игрушка — это цифровой двойник вашего юридического разума.
📍Итог:
Вы не используете Chat GPT — вы обучаете его думать как юрист.
И чем раньше начнёте, тем точнее он станет вашим интеллектуальным продолжением.
💡В следующем посте:
➡️Как писать юридические промпты, чтобы получать точные, умные и полезные ответы.
Я покажу шаблоны для анализа дела, составления писем и стратегических меморандумов.
#ChatGPTиПраво#LegalAI#Юрист#LegalTech#АйбекАхмедов#LegalDesign#AIinLaw#ЮридическаяПрактика